AI 员工进了模拟公司,十件事干不成一件

AI 员工在模拟公司里交不了十分之一的活:会做题,不等于会上班

先说结论:会做题,不等于会上班。AI 编码智能体这次被送进了一家「模拟软件公司」当数字员工——环境里有同事、有项目看板、还有聊天记录,跟真办公室差不多。结果呢?据 The Decoder 报道,就算上的是 Claude Opus 5.5 和 GPT-6 Astra 这个级别,能把任务完完整整干下来的,也不到十分之一。

别急着骂 AI 废物。这个实验最有意思的地方,是把「考试」和「上班」这两件事,第一次摆在同一张桌上比了比。

AI 数字员工

我把它们送进了一家模拟公司

先还原一下场景。所谓模拟软件公司,就是不再把一道题丢给模型,而是把它当成一个刚入职的工程师:任务要从看板上领,进度要靠协作推,周围还有同事在工位上打字。

时间轴大概是这样的:早上接到一个需求,需求本身是模糊的,没人把答案写在卷面上;然后它要翻聊天记录、跟同事对齐口径、看着板上的 TODO 自己想下一步;最后交上来的东西,还得过得了验收。这一整套走完,才算「完成一个任务」。

听起来不难?那就看数据:据报道,最强的两个模型,完整完成的任务不到十分之一。一百个这样的任务,能干完的,个位数。

这里必须说清口径:实验的公司规模、任务条数、具体分数,公开信息里都没有,所以这个数字别当精确成绩单看,当方向看就好。

成绩单与工牌

考试快满分,上班却不及格

再看背景。SWE-bench 这类标准编程基准,已经被 AI 考得快满分了——就是那种「考试接近饱和」的状态。如果只看这个,你大概率觉得 AI 编码已经能毕业入职了。

可同一批模型,一进模拟公司,完成率马上掉到十分之一以下。考场接近满分,工位交不了活,两个数字出现在同一个时代,中间的落差,就是这篇文章想聊的东西。

我的第一个判断:基准饱和没帮我们看清差距,反而把差距遮住了。考满分会让人误以为「题库被刷穿等于能力毕业」,其实那只能说明题出完了、分数到顶了。

基准是封闭的:问题、输入、期望输出,全写在卷面上。办公室不是卷面,你面对的是「需求没说清、上下文要自己攒、别人还在等你回话」的开放题。

迷宫与代码

题和活之间,隔着一整个上下文

把考场和办公室掰开看,差距主要在三处。第一,题是隔离的,活是连着的。一道基准题,给代码、给描述、给验收标准,自己玩自己的;一个真实任务,得先搞清楚这需求是谁提的、为什么提、改了会不会碰坏隔壁模块。

第二,协作是隐形成本。办公室里的同事和看板不是摆设——要读聊天记录才能对齐口径,要在看板上认领活,要等别人回话。这些动作一行代码都不产生,但缺一个,活就推不动。

第三,模糊是常态。真实需求里,「做个更好用的界面」是需求,「把这个模块性能提上来」也是需求——答案不在任何地方写着。模型再强,也得先回答「你到底让我干嘛」这一问。

所以在模拟公司里,模型输的往往不是写代码那一步,而是前面「搞懂需求」和中间「跟人协作」这两段。考场里这两段被直接删掉了,删掉的恰好是最难的部分。

面试现场

别按跑分招 AI 员工

这张表摆到面前,对团队和对普通人的启发都很直白:别按跑分买 AI 员工的账。

我的第二个判断:评估 AI 能不能上岗,可以分四步走——第一,先看它在有同事、有看板的环境里能把活交完几次,交几次算几次;第二,看它会不会自己攒上下文,而不是每次都当第一次见面;第三,看它在需求模糊的时候,是停下来问,还是瞎猜着干;第四,跑分只当参考线,不当录用通知。

一句话说穿:面试看分数,试用期看交付。SWE-bench 是面试,模拟公司是试用期,而试用期目前的通过率,不到十分之一。

也别因此把 AI 编码一竿子打死。十分之一这个数字的另一面是:确实有任务被完整干完了。把它当成一个需要盯着的实习生,而不是一个能放手的神,正好是现阶段最不容易翻车的用法。

实习生工位

把它当实习生,别当神

落到具体怎么用:第一,内部先小范围试点,别一上来就全流程自动化;第二,给它真实上下文——聊天记录、看板、相关代码都喂进去,别让它裸奔;第三,验收按实际交付看,不按它自己汇报的完成度看,更不按外部榜单看。

最后补一句我的观察:这一轮实验最值钱的不是「AI 不行」这个结论,而是它给「AI 行不行」换了个考场。以后判断一个 AI 员工靠不靠谱,标准动作应该是把它放进模拟办公室里盯一周,而不是去排行榜上找它的名字。

会做题是本事,会上班是另一门本事。目前看来,第二门课,大家刚开学。

让 AI 自己设计 CPU,能效翻四倍靠谱吗
下一篇
让 AI 自己设计 CPU,能效翻四倍靠谱吗
每瓦 4.59 倍、每面积 8.77 倍:口径拆开再叫好
继续下滑 或 点击阅读下一篇
下一篇 让 AI 自己设计 CPU,能效翻四倍靠谱吗 →
站长照片
“

1

”
联系二维码
微信:扫码加企业微信
邮箱:15611497360@aqq.com
手机:15611497360

私信站长

申请退款