一句话:OpenAI 想给整个行业装一支共同的温度计。它挑的是困惑度(perplexity)——预训练时那个最原始、最不体面的损失函数。
11 月 23 日那篇《Perplexity and Intelligence》里,它第一次把自己内部的预训练测量摊开,顺手提议:把这个数当成跨实验室比较、甚至当安全门槛的共享指标。
这个提议值得认真看,不是因为它出自 OpenAI,而是因为它第一次把「怎么量一个模型有多强」从榜单和投票,拉回到训练目标本身。但它同时是个很聪明的提议:用一个自己已经跑通的路线上最顺手的刻度,来定义全行业的标准。这两件事得分开看。

一句话:它测的是「猜下一个词有多慌」
困惑度说白了就是:模型平均在每个位置上,相当于在多少个候选词之间犹豫。数学上它等于平均交叉熵取指数,PPL=10 大致可以读成「每次预测都在十个词里挑一个」。数越小,说明它对下一个词的把握越准。
它是预训练目标函数直接算出来的量,不是事后设计的考题。交叉熵损失的公式就一行:负对数似然取平均;再取 exp 就是困惑度。训练时模型本来就在最小化这个数,所以它几乎不花额外成本就能测,而且是连续的,不像 benchmark 那样一段一段地饱和。
OpenAI 那张图用的是 log-perplexity,把困惑度取对数画。原因很实在:困惑度是乘出来的,好几代模型放在线性轴上,尾巴会被压得看不见,取对数才看得清趋势。
图里画了 GPT-3.5 到 GPT-6.2 Astra 的 base model 曲线,还标了一个 internal model 的点位——那个点没名字,位置在曲线下方。

说白了:它凭什么能当共享刻度
因为它是各家共有的那一部分。不管外面挂的是 MMLU、Arena 还是自家造的 Agent 评测,所有前沿实验室在预训练阶段都在优化同一个东西:验证集上的交叉熵。要找一个所有模型都有的数,这是唯一答案。
第二个理由是它够「钝」。现在的能力榜单饱和太快,一道题写完两个月就失去区分度,评测集本身也在被训练数据污染。困惑度没法靠针对性刷题解决,它只看模型对真实文本的预测能力——虽然这也只是半句真话,后面会说。
第三个理由更现实:它便宜。Dan Hendrycks 引用这篇文章算了一笔账,自 GPT-4 以来,达到相同 loss 所需的算力每年缩到原来的 1/3 到 1/5,也就是效率每年提升 3-5 倍;大部分增益来自最近一年,今年可能超过 100 倍。
这个数不是「模型强了 100 倍」,是「同样的水平便宜了 100 倍」。
这个数字解释了很多事。为什么 Scaling 的讨论越来越频繁地滑向「暂停」而不是「加速」——因为拦算力拦不住效率曲线。管制先进 GPU 能拖慢投入,拖不住「同样的钱买到更多 loss 下降」这件事。

划重点:这张图的数字得先看口径
划重点:跨模型比困惑度,必须同一把尺子。三个条件缺一不可——同一个验证集、同一个 tokenizer、同一套评测协议(是不是按 token 平均、要不要算特殊符号)。tokenizer 一变,同一句话的 token 数就变,分母一变,困惑度跟着跳。
所以那张从 GPT-3.5 画到 GPT-6.2 的曲线,严格说不是「同一个模型在进步」的曲线,是「OpenAI 每一代用自己当时的尺子量出来的数」的连线。它能说明趋势,但不能直接拿横坐标去和别家对齐。
第二个口径问题是数据。困惑度在验证集上算,验证集和训练集的重合度直接决定这个数好不好看。去掉重复、清洗污染,都能让曲线漂亮零点几。这不是说谁在造假,是说这个指标天生对「测什么」敏感,而「测什么」由出题人决定。
这也是自报数据的根本问题:现在所有可比的数,都是各家自己测、自己发。OpenAI 这次公开了内部数据,在同类里已经算透明的,但公开的是自己验证集上的自己的数。别人家的点,还得别人自己填。

它测不了什么:能力、意图、对齐
它测不了能力上限。困惑度低,说明模型更会预测人类写过的文本,不等于它更会解数学题、更会用工具、更能在长任务里不出错。这些是后训练和推理时算力堆出来的,一个 base loss 稍差的模型,做完 RL 之后可能更好用。
它测不了意图。loss 好,和它是否诚实、是否会伪装、是否会为了完成任务绕开限制,之间没有任何函数关系。Jakub Pachocki 说超过某个门槛之后的进展,要以「理解 AI 行为的能力」为前提——这句话本身就在承认:困惑度量不出行为。
第三个空白更要命:它测不出分布外。交叉熵是对验证集分布取平均,尾部那些罕见但关键的情形——极端输入、对抗提示、多步工具调用里的状态错乱——在这个平均值里权重很低。loss 降一点,尾部可能一点没动。

红线靠谁验证:军控还是公关
Sam Altman 说希望各前沿实验室「作为朋友就共同限制达成一致」;Greg Brockman 强调要有明确退出标准,比如 CoT monitors 的后继工具问世;Mark Chen 说各家自写安全案例、自设护栏,才让竞赛动态甩不掉。三句话拼起来,其实是一份自我诊断。
问题是,共同上限靠谁测。军控里这套流程叫申报加核查:申报是自报,核查是别人来看。AI 实验室现在只有前半段。第三方拿不到 base model 的权重,也就拿不到那条曲线;验证集不公开、tokenizer 不统一,核查在技术上根本无从下手。
更麻烦的是,退出标准本身也是自评。Brockman 说的「CoT monitors 的后继工具」,谁来判定它算不算问世、够不够可靠?如果答案还是「我们自己判断」,这份协议就退化成一份带时间表的意向书。

我的三个判断
第一,指标统一是好事,净正向。有一个可比的数,比十个人肉榜单强;开源社区会立刻拿它做复现,这对透明度是真加分。这次肯公开内部预训练数据,在行业里也是少见的动作。
第二,把单一指标当红线,一定会被优化。红线要立得住至少三条腿:验证集公开、第三方能核查、退出标准写死。缺一条,它就退化成公关。这不是道德问题,是指标设计的常识——任何被当成门槛的数,都会长出针对它的策略。
第三,由领跑者定义刻度,本身带着结构性优势。谁规定 tokenizer 怎么归一、验证集用哪一份,谁就在给自己已经跑过的路线发合格证。这不是恶意,是位置决定的。所以这套提议真正的考验不在技术,在于它愿不愿意把「怎么测」的决定权交出去一部分。
回到开头。用困惑度当共享温度计,是个诚实的选择——它不酷、不好卖、也刷不动。但它测的是预测,不是行为。这里有个前提:如果各家真愿意让第三方去看那条 loss 曲线,这件事的分量会超过任何一份安全框架;如果最后只是各家发一张自己的图,那就是一次做得非常漂亮的公关。