同一个问题问第二遍,凭什么便宜 291 倍

把推理轨迹存成代码复用,同类问题成本最多降 291 倍。

把思考存下来

先把结论撂这儿

先撂结论:同一道题,第一遍让大模型慢慢想,第二遍其实不必再想一遍。NVIDIA 这篇论文的主张是,把第一次的思考过程存成一段能跑的代码,下回直接在 CPU 上跑,大模型一次都不用出山。

据转述该论文的报道,碰到只是换种说法、改个数字的同类问题,成本可以降 16 到 291 倍。省钱只是表面,真正值得盯的是,它给「推理」这件事第一次配了个存档位,存下来的东西还能自己动。

说白了,过去大模型的思考是一次性纸巾,擦完就扔;现在有人想把这块纸巾做成抹布,洗一洗接着用,还能反复用。听上去不体面,可商业上的进步,多半就是这种不体面的节省。至于体不体面,那是账本合上之后才谈的事。

我的判断是,这类方案的野心不在省那几厘推理费,而在把「想过一次」变成可复用的资产。一旦思考能存档、能调用,模型的计价方式就得跟着改,改的是最疼的那一块。

推理过程变成代码

它把推理轨迹变成了什么

所谓推理轨迹,就是模型解题时脑子里那一串中间步骤:先拆条件,再试路径,中途发现走错又退回来重来。平时这些步骤只在上下文里活几秒钟,答完就散,没人留,也没人想过要留。

论文想做的,是把这一整串步骤翻译成代码。打个比方,厨师一边做菜一边念叨的菜谱,被抄成一张工序卡,交给机器照着走,不用再请那位厨师回来掌勺,也不用再付厨师的时薪。

顺手说句难听的:以前我们存的是答案,现在存的是解题的那只手。答案只能应付这一次,手却能应付下一次、下下一次,而且不知疲倦,也不会因为加班跟你要钱。

论文的说法是,复用的地点在 CPU,不必再进一次模型。这意味着同一道题的第二遍,走的不是「智能」那条昂贵通道,而是「执行」那条便宜通道,两者电价完全不同,账也就从这儿拉开了。

复用的齿轮

那个倍数是怎么来的

16 到 291 倍,上下限差了将近二十倍。一个区间能拉得这么开,通常说明省掉的是同一样东西,省下来的比例却因题而异,差异大到不像出自同一个方案。

省掉的那笔开支,是完整走一遍大模型推理;替代它的,是 CPU 上跑一段早就写好的代码。CPU 算账向来便宜,便宜到让人产生错觉,以为这段代码根本不要钱。

我的判断是,凡是只肯给区间、不肯给中位数的技术宣传,都该先问一句:16 倍那一头是不是才是日常。291 倍是海报上那张最好看的对比照,健身房都这么干,卖课的也这么干。

还有一层:这类倍数测的是「最顺的那类题」。问题越像,代码改得越少,倍数越好看;稍微不像,就得动手改代码,省下的钱全贴进修补的工钱里。

隐形的墙

这事的边界在哪

边界一:它只对「变体问题」生效。所谓变体,是改写措辞、替换数字,题目的骨架没动。一旦多出一个条件、换一个领域,存下的代码就跑不通,还是得老老实实回到大模型重想。

边界二:代码是死的,模型是活的。复用一次省一次钱,也把一个可能的错误原样复制一遍,而且复制得飞快。错在源头,CPU 会替你把这个错误批发出去,量大从优,省下的每一分钱都可能是错答案的快递费。

我的判断是,这类方案真正难的环节不是生成代码,是判断「这道题算不算同一道」。判宽了,答错;判窄了,白存。省钱和答对之间,隔着一个小小的判定器,它才是命门。

边界三:存档会过期。问题外壳没变,里头的口径变了,旧代码照样能跑,跑出来的却是旧世界的答案。推理缓存最阴的坑不在算错,在于它错得安静、错得稳定。

省下的时间

对普通人有什么意义

对普通人来说,291 倍这个数字大概率感受不到。能感受到的是另一件事:同一个问题问第二遍,等的时间短了,价格标签也不那么刺眼。技术的红利,最后总是以这种隐形的方式落地。

最先吃到这口饭的,是客服问答、报表口径、表单校验这种高重复场景;写稿、策划、想点子这类每次都得重新想的活,基本用不上。省钱的方案,永远先照顾那些重复劳动的人。

我的判断是,往后会出现一种新的计价习惯:第一次问贵,第二次问便宜,问得越像越便宜。这对天天问同一句话的人是好事,对偶尔才问一次的人,几乎是空头支票。

结尾一句狠话:以后让你觉得 AI 变便宜的,多半不是它更聪明了,而是它学会了把想过的答案裱起来,下次原样挂出来,还顺手收你一笔装裱费。

你的 API 请求被第三方存了,平台悄悄下架 3 家
下一篇
你的 API 请求被第三方存了,平台悄悄下架 3 家
OpenRouter 下架 3 家推理提供商、移除 125 个 ZDR 端点,数据留存是个大问题。
继续下滑 或 点击阅读下一篇
下一篇 你的 API 请求被第三方存了,平台悄悄下架 3 家 →
站长照片
“

1

”
联系二维码
微信:扫码加企业微信
邮箱:15611497360@aqq.com
手机:15611497360

私信站长

申请退款