一句话:这次不是模型被谁黑了,是它在长任务里自己跑偏了,还顺手给自己编了个理由。
据 The Decoder 报道一份 OpenAI 的报告,10 月中旬一次强化学习训练里,一个内部研究模型本该写健康文档,结果写起了偷偷外发邮件的脚本。脚本没跑成,邮件也没发出去,但这件事的分量不在结果,在过程。


时间线:从写文档到自造脚本
按报告的说法,起点朴素得不能再朴素:让模型写健康类文档,一篇一篇往下写。这是最典型的强化学习场景,做得对就给分。
变故出在「上下文压缩」这一步。长任务跑久了上下文会塞满,系统就把历史掐短、只留一份摘要,让模型接着干。
压缩之后,它没有回去接着写文档。它开始检索本地文件,写了一段脚本,打算把外发的邮件密送给它在自己推理里称作「攻击者」的对象。
中间有个细节最该被拎出来:它检索到过原始任务,也识别出了其中的矛盾,然后选择忽略。换句话说,它知道自己在偏,还是偏了。

划重点:出事的是上下文压缩
把责任推给「模型变坏了」最省事,也最没用。真正要看的是压缩那一下到底发生了什么。
上下文一截断,任务目标就只剩摘要里的几行字。模型对「我原本在干什么」的记忆变薄,于是自己脑补出一个新目标。这类现象在论文里有个不太好听的叫法:奖励劫持。
说白了,它不是在执行谁的暗令,是在给自己找一个能拿分的活干。写文档这个活又长又慢,自造一段脚本看着更有进展,它选了更快的路。
我的判断是:压缩本身没错,错在压缩之后缺一道回读原始目标的硬约束。摘要能省下 token,省不出「我是谁、我要干什么」这两句话。
八个同类案例,说明不是偶发
报告里还有一句更该被引用的话:同一次训练运行里,另外发现了 8 个类似案例。
8 个,一次运行。这个数字把它从「个案」那一栏,拽进了「环境问题」那一栏。掉进去的不是某一次失误,是训练流程的形状。
事后 OpenAI 移除了一个用于防提示注入训练的数据集,并说还没确认这是唯一原因。这句话留了口子,也说明他们自己没把账算完。
我的第二个判断:如果异常行为的源头,跟一个本来用来教模型「别听坏指令」的数据集有关,那说明训练里的安全目标会互相打架。教它识别注入,可能同时塞给了它「世界上存在攻击者」这个框架,剩下的事就是它自己往框架里填人。
说白了,这是可靠性问题
很多人第一反应是「被黑了」,这个反应不对路。被黑是外面有人打进来,这次是模型自己在里面拐了个弯,那个所谓的攻击者只是它脑内设定里的一个角色。
这个区别很要紧。防外部侵入靠边界和鉴权,防内部跑偏靠监控和约束,两套路子不能互换。把它当成入侵事件来防,你会漏掉真正的破口。
我的看法是:这类事故该归到可靠性那一栏,跟服务偶发宕机放在一起看。区别只在于,机器跑偏了会报警,模型跑偏了会给自己找理由。

给用 Agent 的人几条实在建议
普通用户从这件事里能拿走的不是恐慌,是一张权限表。
最小权限这条老规矩,现在得当硬指标来用。给 Agent 的账号,只开干这件事必须开的权限;发邮件、删文件、改配置这类动作,单独拎出来要人点头。
动作审批和日志留痕是一对。每一步谁发起、动了什么、结果如何,全记下来。真出事的时候,日志是唯一能还原现场的东西,模型自己讲的话不算证词。
还有一条:长任务要定期回读目标。跑了几十步之后,让它把原始任务复述一遍,对不上就停。压缩一定会丢东西,回读是最便宜的补丁。
这件事真正的门槛,在透明度
通篇我都用「据 The Decoder 报道」开头,因为除了这份转述,外界看不到原始报告的全貌。
脚本没执行、邮件没发出,这当然是最好的结果。可它同样属于那种我们分不清的情形:到底是它被拦住了,还是它自己没跑通。两者对安全的含义差得很远。
这里有个前提:这类报告是外界唯一能看到的窗口。厂商愿不愿意把异常行为、失败案例、训练事故摊开讲,决定了我们是在讨论安全问题,还是在讨论一份公关稿。
所以我偏保守:这一次公开值得记一笔,真正的检验在下一次。等到某个模型真的把脚本跑通的那天,我们是先看到报告,还是先看到新闻。