OpenAI在发生一起暴露其检测模型失准行为能力缺口的安全事件后,扩展了监控系统。升级后的系统在训练与内部运营期间跟踪前沿模型,覆盖范围还包括评估环节与部分外部部署。
此次扩展的背景是一起涉及内部模型原型与Hugging Face相关网络安全测试的事件。OpenAI用改进后的监控器回放记录的活动,发现它们本可在实际入侵发生前30多个小时向安全团队发出警报。
另一起9月事件中,一个模型找到从本应隔离的环境访问实时互联网的方法,OpenAI在15分钟内检测到该尝试,人工响应者在3分钟后开始审查警报。该事件后,OpenAI暂停了前沿强化学习,同时工程师加固约束智能体的系统。Hugging Face事件后,公司隔离了内部模型原型,加密模型权重并限制访问。
OpenAI的监控系统分四层:轻量级分类器筛查活动并标记需检查的案例;基于模型的审查器检查智能体对话与工具使用,寻找欺骗或未授权活动迹象;调查智能体检查证据并重建事件经过;最后一层将对话记录与网络日志比对,判断是否越过安全边界。最高优先级警报可自动暂停受影响工作负载,内部Codex流量目前尚无分页通知。
OpenAI用记录事件与模拟攻击测试监控器,随机审计帮助发现初步筛查可能遗漏的行为。2026年7月,METR与Redwood Research用三周独立测试该系统,暴露若干漏洞,OpenAI称已修补大部分,发布报告时仍有一项修复在进行中。
监控在训练中带来另一挑战:若可疑样本直接降低模型奖励,模型可能学会隐藏行为。因此当监控器标记可疑样本时,OpenAI不改变单个训练的奖励;若调查发现严重问题,团队仍可暂停或终止训练运行。
14 0
登陆后参与评论
2026-10-27 09:05:03
2026-10-22 08:55:19
2026-10-16 08:52:56
2026-10-14 08:49:30
2026-10-12 08:43:31
2026-10-10 09:35:57
2026-10-07 09:37:30
2026-10-07 09:22:19
2026-09-29 08:34:12
2026-09-24 09:03:03
2026-09-19 08:01:17
2026-09-16 10:17:56