数学榜第一换了人,但贵了15倍

Gemini 4 Carbon登顶MathArena得85.4%,但成本是对手的15倍

一句话:第一名换了人,分数只差2.6个百分点,账单差了15倍。据The Decoder报道,Google的Gemini 4 Carbon(high思考档)以85.4%登顶MathArena数学基准,取代GPT-6.1 Sol。数学榜的第一,不是只拼“解得对”,还要看账单。

我每次看到新榜单都干同一件事:不急着欢呼,也不急着唱衰,先看三样——数字是多少、误差棒多大、要花多少钱。这期的MathArena也一样,三样看完,结论就出来了。

数学基准测试

榜单第一换了人

先摆榜单。MathArena是一个数学能力基准,模型要在开放题目上给出正确解答来排名。这次Gemini 4 Carbon排第一,得分85.4%,报道口径是±3.0%的置信区间;第二名Claude Fable 5.2,82.8%;上一任第一GPT-6.1 Sol被挤下榜首。

说白了,题型没变,规则没变,变的只是答题的人,而新的答题人比旧的贵了大约15倍。这个替换说明的不只是谁解得更好,还有按什么价格买解题能力。后一个问题比前一个更值得拆。

我的判断:这次登顶不是革命,是换防。旧冠军被一个分数相近、价格贵得多的新选手换掉了。值得看的不是榜单上的数字,是市场接不接受这个价格。

这和以往榜单的区别在哪:以往的榜首之争比的是分差,这次的分差旁边还多了一栏价差。一个榜单,两把尺子,这才是这期有意思的地方。

误差区间

85.4%的成色如何

跟我拆过论文的都知道,第一步是看数字。85.4%对82.8%,差距2.6个百分点,听着像碾压。但口径要抠:报道给的是±3.0%的置信区间。算一笔账:2.6的差距,比3.0的误差棒还小。

差距比误差棒小,意味着什么?在误差范围内,两者可以说是打平。第一第二之间是真差距,还是这次抽题抖出来的,这份数据给不出定论。别急着说谁运气好,数据本身证明不了。我直接说:榜能登顶,但赢的幅度比测量误差还薄。

所以我的结论是:这次登顶,不够硬到算碾压,但够硬到算方向信号——最深推理的模型,在数学能力上正在追上上一代冠军。接下来要看的,是误差棒会不会收窄,还是分数先拉开。

还有个细节。85.4%和82.8%都是解对题的比例,不是推理深度。榜单只看答案对不对,不看过程是否优雅、是否可复现。所以那2.6个百分点的差距,可能来自解得更好,也可能来自别的因素,这份报道没拆开讲。

十五倍账单

15倍账单怎么算

再说成本。据The Decoder的口径,Carbon约为GPT-6.1 Sol的15倍。说白了:同样的题,排第一的模型烧15倍的钱。榜单第一谁都能看到,但这一档价差,你不自己算,它就会被藏在账单里。对多数用模型的人来说,价格比分数更扎眼,因为它是实打实要掏的。

参考价也有。据之前发布口径,Carbon的API输入4美元、输出20美元,每百万token,11月30日前半价。半价不改性质,和家族里便宜的模型比,它依然是最贵的一档。

我就想问一句:日常题目能解对82.8%的便宜模型在旁边,凭什么为多出来的2.6%付15倍?除非你的题真的难,而且答错的代价比溢价高——那又是另一回事。

我的看法:15倍是买稀缺的价格,不是买能力的价格。溢价买的不是“能解”,是“能解更难的题”,而这种题在市场上没有第二个报价。

模型分层

数学能力被做成分层商品

别光看Carbon。Gemini 4家族现在是三款模型:Carbon管最深推理,Argon管编码与分析,Hydrogen管快速日常。Hydrogen每百万token输入1.5美元、输出7.5美元,免费用户也能用。三档价,三种工作量,官方口径已经把答案写好了。

分工很清楚:最难的题一条线,工程一条线,走量一条线。谷歌卖的不是一个“数学能力”的点,而是一套分层商品,付得越多,推理越深。换个说法:数学能力被做成了三档价的商品。

说白了,这是把能力和工作量对上价:Hydrogen解不了的那部分,Carbon也许能解;Carbon能解的那部分,多数任务用不到。分层合不合理见仁见智,但至少价格把选择摆到了明面上。

对用户来说,这意味着用之前先回答一个问题:你的题是难,还是多?难题走深推理那条线,多题走便宜那条线。把多题塞进深推理线,你付的不是能力的钱,是后悔的钱。

划重点:什么时候值得烧Carbon

划重点。值得烧Carbon的场景,是真需要最深推理的少量难题:长链条证明、复杂结构搜索,或者便宜模型试错一轮已经失败的任务。量少,但单次成功价值高,溢价摊得薄。一句话:失败代价高的时候,才买贵的。

不值得烧的场景是日常批量。每天要解几百道常规题,便宜模型能解对82.8%,一年付出去的15倍溢价,比错题的损失贵得多。让顶配啃硬骨头,让便宜的跑量,这才叫把钱花在刀刃上。

提醒一句:11月30日前的半价窗口,更适合试水,不适合直接上生产。如果你的业务真要用Carbon,先在半价里测一遍答得值不值,再谈长期方案。别等优惠结束了,再回头算性价比。

再补一条边界:如果任务要求答案可审计,过程要拿给别人看,那就别只看分数,先测它的输出过程能不能被检查。科研场景里,路径比答案更要命,因为要替你答辩的是路径。

但这里有个前提

但这里有个前提:MathArena考的是“解数学题”,不是“会数学”。答对能进榜单,但过程可能是模式匹配拼出来的链条。榜单第一,和“能替你证明定理、做科研”的能力之间,还隔着验证这一步。

这个分歧之前讨论过:AI解题,人来检查。模型给出的正确答案,只能叫候选解,每一步是否成立,要有人核。这一步自动化不了,榜单第一就永远比真实可靠慢半步。

所以如果你拿这个榜单选模型,建议就加一步:模型答完,后面接验证。这一步能自动化工具化,榜单第一就值得溢价;要人眼看,溢价就得按眼数的多少打个折。

最后的判断留一句:榜第一值得看,账单更值得看。下一代冲榜的,要么把价格打下来,要么把题目变难。不然榜首还是会换人,花的钱只会更多。

今天AI圈5件事:钱包、法庭、坟场、芯片、数学
下一篇
今天AI圈5件事:钱包、法庭、坟场、芯片、数学
五巨头被诉、42%项目阵亡、Gemini接钱包:AI圈结算日
继续下滑 或 点击阅读下一篇
下一篇 今天AI圈5件事:钱包、法庭、坟场、芯片、数学 →
站长照片
“

1

”
联系二维码
微信:扫码加企业微信
邮箱:15611497360@aqq.com
手机:15611497360

私信站长

申请退款