ARC-AGI-2考了81.7%,一题两毛七

开源模型考了 ARC-AGI-2 的 81.7%,一题两毛七。

结论放前面:据 ARC Prize 公布,thinkymachines 的开源模型 Inkling 2 Small,在 ARC-AGI-2 上考了 81.7%,每题成本 0.27 美元。两个基准上,它都是 ARC Prize 评测过的开源权重模型里的最好成绩。分数是硬的,但分数说明什么,得拆开看。

先说基准是什么。ARC-AGI 从 2019 年就存在,考抽象推理:彩色网格上的图形变换,只给几个例子,让模型自己推规律,专门用来抵抗背题库。ARC-AGI-1 如今接近饱和,高分不稀奇;ARC-AGI-2 把难度抬了一大截,前沿模型普遍在 60% 到 80% 之间挣扎,能上80%的没几个。

这张成绩单上还有第三个数字:ARC-AGI-3,只有 2.6%。它和 81.7% 摆在一起,才是这则新闻真正值得看的地方。下面拆三件事:分数段位、单题价格,还有那个不好看的个位数——三个数放在一起,才能读出全貌。

ARC-AGI 抽象推理基准

八成的段位

81.7% 是什么段位

96.5% 那个数先放一边——ARC-AGI-1 接近饱和,高分说明基本功还在,谈不上新闻。真正打分的是 ARC-AGI-2:更难,更抗背题,模型只能照几个例子现场推规则,没有题库可抄,每一道都得现推。

ARC 的题没有常识可借,也没有背景知识可套,模型眼里只有网格和例子。规律藏在变换里,可能是一步旋转,可能是好几步的组合。这类题靠记忆训练集答不出来,只能真推理。这跟考试不一样:考场上至少知道考点范围,ARC 连考什么方向都不给。

但别急着拿它跟人比。ARC-AGI-2 的人类校准基线高于这个分数,官方口径也没把它当人类水平宣传。能确认的只是模型之间的相对位置。而对选模型的人来说,这恰恰是最有用的信息。

同榜对比:赢了,但赢得不多

据 ARC Prize 公布,DeepSeek V4.1 Flash 1017 的成绩是 ARC-AGI-1 94.5%、ARC-AGI-2 78.1%,被 Inkling 2 Small 以微弱优势超过。三分多的差距听着不大,放在 80% 这条线附近,就是过没过线的差别。

有意思的是,换到 ARC-AGI-3,局面反过来了:按 704 美元/次的 provider adapter 跑法,Inkling 2 Small 能到 2.6%,换成 858 美元的标准跑法只有 0.3%,都低于 DeepSeek 同项。同一批技术,换张卷子就被人反超。

这提醒我们:一个榜上的领先,不构成全面领先的证据。成绩单要整张读,别只挑好看的那一格。如果只盯着 ARC-AGI-2,很容易得出「开源最强」的结论——整张表读完,这个结论得打个折。

每任务的花费

一题两毛七,贵不贵

价格同样要拆。据 ARC Prize 公布,ARC-AGI-1 每任务 0.08 美元,ARC-AGI-2 涨到 0.27 美元,差三倍多。价差本身也在说话:题难了,推理要烧更多 token,成本自然跟着走。推理是烧钱大户,答案想得越久,账单越长。

跟人类做题比,这价便宜得有点夸张。一张 ARC-AGI-2 级别的抽象推理题,雇人现做,几分钟工时也远不止两毛七美元。机器答题,在不少场景里就是划算。

但总账要另算。ARC 每一题都是全新推理,成本随题量线性上涨;一万道题丢进去,就是三千美元起步。单价便宜和批量便宜是两件事,别混着说。这账,只有把用量乘进去才算得清。

对开发者来说更实在的是:原型试验可以随便跑,真把推理接进产品,每一单都要付费。模型再便宜,也架不住天天调。

交互环境的难崖

2.6% 才是真信号

这个基准把题目搬进了可交互的游戏环境,要边玩边学,是目前公认的难崖,各家分数普遍个位数。能不能过关,取决于模型敢不敢试错、会不会从反馈里改。

前者练的是读题,后者练的是试错。读题读得好,不等于试错试得对。这个差距不是多烧几次推理就能抹平的,题量、token、价格都补不上。两种能力,训练方式和算力打法都不一样。

静态推理接近饱和,交互学习几乎才起步。96.5%、81.7% 再亮眼,摆到 2.6% 面前,都得重新掂量分量。卷子换了赛道,旧成绩不能自动平移。

分数和成本,得合起来看

现在流行一种说法:两毛七一道题,还能考 81.7%,又便宜又强。这话只对了一半。分数和成本必须对着读,只看一边,结论就会跑偏——同样的分数配上不同的成本,含金量完全不同,2.6% 那组价格口径就是例子。

更要紧的是留个疑问:基准分数只能说明「会做这类题」,说明不了「会做事」。从网格推理到真实任务之间隔着多远,任何一张卷子都回答不了。这是所有基准共同的天花板。

数据其实都摊开了:官方公开了复现仓库 github.com/arcprize/arc-agi-3-benchmarking 和测试政策,榜单在 arcprize.org/leaderboard 可查,模型权重下周发布。开源意味着人人都能自己跑一遍,分数站不站得住,验过才作数。

当静态题接近满分、交互题还是个位数的时候,我们到底该把「智能」考在哪张卷子上?

大模型集体给自己上锁,为什么
下一篇
大模型集体给自己上锁,为什么
大厂新模型集体自我设限,安全过滤让性能损失近一成
继续下滑 或 点击阅读下一篇
下一篇 大模型集体给自己上锁,为什么 →
站长照片
“

1

”
联系二维码
微信:扫码加企业微信
邮箱:15611497360@aqq.com
手机:15611497360

私信站长

申请退款