经验成为后门,自进化 agent 还靠得住吗

二十条投毒任务,就能让自进化 agent 把恶意规则写进自己的技能

技能清单里的陌生规则

悄悄混入的投毒任务

一句话:投毒二十条任务,agent 自己给自己开后门

先给结论:宾州州立大学与微软合作的这篇论文,讲的是自进化 agent 的新后门。攻击者无需入侵系统,只要往训练任务池里混入二十条投毒任务,agent 就会把恶意规则当成宝贵经验,亲手写进自己持久化的技能里。剩下的脏活,它自己会干完。

论文题为《When Experience Becomes a Backdoor》,2026 年 11 月 7 日提交 arXiv,属于系统安全方向,代码已经开源,作者把方法命名为 BadEvolve。一句话:技能是自进化 agent 的卖点,现在它成了攻击面。

划重点:执行经验会被蒸馏成可复用的技能,技能会长期存在,Trace2Skill、SkillGrad、SkillOpt、A-Evolve 这些框架都这么干。经验落进技能的那一步,就是投毒可以下手的位置。

威胁模型才是这篇的真正贡献

这篇最值钱的地方不在攻击数据,而在威胁模型。作者给攻击者设的权限极低:不能改技能文件,不能控制下游执行,唯一能碰的,是训练与进化任务池。他能做的,只是往池子里塞几条投毒任务。

说白了,这是针对「体验式学习」的投毒。agent 从执行经验里蒸馏技能,投毒任务混在普通任务里,经验被污染,技能跟着被污染。最终效果是:触发输入上按攻击者意愿行事,干净输入上表现如常。

威胁模型严格,结论才站得住。攻击者只动任务池,不碰系统其他部分,凡是有「经验蒸馏成技能」这一环的自进化系统,理论上一律在射程之内。这个模型值得做产品的人抄进自己的安全假设里。

分阶段诊断的攻击路径

四个阶段,卡在哪里就在哪里改

拆方法:攻击失败不是笼统一句「没成功」,作者把它分成四个阶段——Induction(技能归纳)、Activation(激活)、Following(遵循)、Effect(生效)。哪一步断了,攻击就死在哪儿。

一条投毒任务要见效,得先让 agent 把恶意规则归纳进技能;触发时规则要被激活;激活之后 agent 要当真遵循;最后要真产生效果。四环相扣,缺一环就白费。BadEvolve 的诊断逻辑很简单:卡在哪一阶段,就把投毒任务往那一阶段改。

配套还有两个保险:rollback 保留已有进展,failure memory 避免重复无效更新。这套「诊断—修改—重试」的循环,反过来也是防御的路线图:知道攻击哪里会断,就知道防线该修在哪里。

放大镜下的实验记录

成功率近八成,这个数怎么读

对数字较真是毕哲的习惯。主设置下,论文报告平均攻击成功率 79.6% 与 84.6%,基线对比里 TBA 为 37.6%,TextGrad-Poison 为 28.8%。近八成,先别急着惊叹,先问这个数是在什么条件下测出来的。

实验规模:40 个干净训练任务上注入 20 个投毒任务,材料里记为 B=20;覆盖 WikiTQ、OfficeQA、SpreadsheetBench 三个基准,横跨 4 个自进化框架与多个骨干模型。更关键的是,受害 agent 在干净任务上的效用基本保持,管理员看不出异样。

再看答案污染场景:WikiTQ 搭配 Trace2Skill 与 Kimi-K2.5 时,干净准确率从 87.6% 降至 85.3%,中毒任务准确率掉到 56.7%,DASR 达 34.0%。同样指标下,TBA 只有 7.1%,TextGrad 只有 14.1%。差距不是一个量级。

但读数要克制:79.6% 与 84.6% 是跨框架、跨基准的平均值,数字好看,也意味着个别组合的表现被平均掉。材料没给逐项明细,想钻细节,要么等复现实验,要么等作者补数据。

工程师检查技能清单

做 agent 产品的人该改什么

这篇对做 agent 产品的人有一句直白的话:技能一旦持久化,就该按「代码」管,而不是按「数据」管。能被蒸馏、被复用的经验,等于一段会反复执行的逻辑,被投毒污染,就等于系统里埋了一条常驻的恶意规则。

该改什么,论文给了三点顺手的:任务池入口设异常检测,外部任务进池之前先过一遍;技能写入留审计,新技能记录来源任务与蒸馏过程;技能变更可回滚,把 rollback 的思路直接搬进产品。

再加一条自己的判断:监控触发差异。后门攻击的典型特征是触发输入与干净输入行为分叉,干净指标一切正常也说明不了安全,抽样对比两类输入的响应,是最省事的探针。

说白了,自进化是卖点,也是责任:系统越会自己改自己,运维就越要盯得住它改了什么、从哪儿学的。

但这里有个前提

作者把局限写得坦白:一轮完整运行要 5 轮优化,每候选 5 次进化,再加最终测试,需要数小时与数千次模型调用。成本摆在这儿,意味着每种配置能跑的轮数有限,平均数的统计稳定性要打折扣。

更要留意一句自白:部分阶段的判定属于预测性质,尚未全部经过迁移实验验证。框架本身是完整可信的,具体数字则可能随复现环境浮动,引用时别把小数点后面当真理。

收尾留一个问题:攻击者只要二十条投毒任务,就能让 agent 自己给自己开后门。那么一个每天吞吐成千上万条任务的 agent,我们凭什么确信池子里没有混进那二十条?这篇论文没有给出答案,它把问题留给了下一位研究者。

Conductor 被 Meta 收购,还能用吗
下一篇
Conductor 被 Meta 收购,还能用吗
Conductor 被 Meta 收购,云端将关停,本地照常能用
继续下滑 或 点击阅读下一篇
下一篇 Conductor 被 Meta 收购,还能用吗 →
站长照片
“

1

”
联系二维码
微信:扫码加企业微信
邮箱:15611497360@aqq.com
手机:15611497360

私信站长

申请退款