

一句话:让AI写个会炸的测试,而不是提意见
一句话:大多数AI抓bug的工具,是让AI当reviewer,读代码、提意见。Meta这套叫JiTTests的系统反着来——让AI直接写一个会失败的单元测试,扔到可疑的代码改动上,一跑就炸,代码合入前立刻露馅。
据Meta工程博客报道,这套系统已经从研究原型推进成了生产基础设施,论文「Just-in-Time Catching Test Generation at Meta」(arXiv 2601.22832)也发了,据说是FSE 2026上讲的。
我个人很喜欢这个思路:它把'AI审代码'从聊天式的提意见,变成了一场自动执行的考试。考试不考眼力,考结果。

大多数AI抓bug,还是'人怎么读,AI怎么读'
说白了,现在绝大多数AI代码审查工具,路数和人类reviewer没区别:看一遍diff,找可疑的地方,然后给建议——'这个接口好像没鉴权''这行别打敏感字段'。
问题在于建议是软的。开发者回一句'知道了,下版改',这事就翻篇了;改没改、改对没有,没人兜底。审查靠的是眼力,眼力这东西,是会漏的。
JiTTests把底层逻辑换了:不问你哪里有问题,而是写一个测试直接执行,让结果替人说话。这是'看'和'跑'的区别,也是建议和判决的区别。

划重点:测试是执行,不是建议,结果没有商量余地
为什么'写一个会失败的测试'比'读代码挑刺'聪明?我的理解:测试是执行,不是建议。建议能讨价还价,执行结果没有商量余地,红就是红,绿就是绿。
关键在'故意失败'这四个字。AI不是写常规测试来验证功能正常,而是盯着疑似有问题的改动,专门写一个赌它出错的测试。赌对了,bug当场现形,证据确凿,赖不掉。
实操上还有个便宜:测试是自动跑的,不占人。把关从'等人来review'变成'机器门禁',闸口前不用排队,效率完全是另一回事。

对数字较真:74起SEV,隐私SEV下降20%
划重点:JiTTests不是万金油,它专治一类bug——隐私。据Meta工程博客报道,2026上半年,Catching JiTTests在diff阶段抓到74起SEV隐私bug,隐私SEV发生率整体下降20%。
对数字较真一下:74起SEV,意味着74次可能演变成数据泄露、合规事故的代码合入,在进门之前被拦了下来。但这数字是Meta自己报的,是Meta的数据,不是行业普遍结论,别急着对号入座。
为什么偏隐私?我的猜测:隐私规则大多'可判定'——字段能不能打日志、接口该不该鉴权,都写得成断言。凡是写得成断言的bug,就适合被自动化门禁拦。
而且据博客口径,测试跑在合入前的diff阶段,用的是工程内部环境,不用拿真实用户数据当试验品。抓隐私bug的测试,自己不动隐私数据,这设计挺体面。

把一个diff变成必失败的测试,难在哪
机制听着简单:LLM看完diff,写个测试,跑一下。但工程上全是坑。测试得先能编译、能落地,否则炸的是测试自己,不是bug,门禁就变成了'狼来了'。
据论文口径,系统要押的是'改动前后的行为差异':猜这个diff破坏了哪条约定,再把这约定写成断言。押错了方向,测试要么瞎绿,要么瞎红,都不算数。
说白了,它像出考卷的老师:先摸准这题容易错在哪,再把这处设计成考题。题出得准不准,决定门禁灵不灵。出偏了,漏检;出狠了,误杀正常改动。
还有个我没法核实、但心里存疑的点:LLM生成的测试,本身会不会被写弱、被跳过?系统敢上生产,说明Meta在'测试本身的可信度'上没少下功夫,但这功夫下到什么程度,博客没细说。

但这里有个前提:测不出来的逻辑漏洞呢?
质疑式收尾,得问一句:能被'跑起来的测试'抓住的,是能写成断言的bug。那些测不出来的呢?跨模块的状态污染、要真实流量才复现的竞态,测试写不出来,门禁就拦不住。
还有第二个前提:LLM出题,是题就有偏向。它专攻隐私,其他类型的SEV呢?74起只说明隐私这道闸口开了,不代表整条防线都这么灵。这一点,Meta的博客也没吹牛说全包。
我的判断:JiTTests是把关自动化里一个很聪明的样本,它解决的是'能被测出来'的那部分问题。AI把把关从眼力活变成执行活,这是实打实的进步;但离'自动发现所有bug',还差得远。