让AI做3份卷子,答案对上的才是真的

Meta论文:用跨视角一致性替代似然,判断LLM答案可信度

一句话:模型说得越"顺口",可能越不可信;它换三个身份都说一样的,才值得信。

这是 Meta 一篇新论文的核心主张,据 X 博主 Rohan Paul 转述。论文挑战的是很多人习以为常的做法:用"似然"——也就是模型对一段文本打的分、loss——来判断大模型答案的真假,这个标准本身就是错的。

说白了,模型学到的是文本里常见的内容,而不是"真实"。所以单一视角下,loss 低一点,只代表这句话更像它"说过的话",不代表这句话是对的。我读这篇论文的第一反应是:这个论点如果成立,它的价值在于换尺子,不在于堆指标。

下面我把这篇论文拆开讲:似然为什么不行、一致性怎么做、弃答怎么弃,以及它还没关上的前提。先说数字。

多视角验证

不稳定的数值

似然为什么不行:差0.04,准确率从100%到0

论文最有说服力的地方是数字。它给了一个二元示例:在某个点上,loss 0.67 对应 100% 的准确率;而 0.67 和 0.71 这两个只差 0.04 的 loss 值,对应的是 0%。

我较个真。这两个 loss 值近到四舍五入可以一样,对应的准确率却天差地别。这说明似然作为可靠性信号是不连续的、不可靠的:你没法靠"分数低一点"来判断对错。就像一个仪表,指针偏了几个格,读数却可能差出好几个数量级。

我的判断是:一个信号这么敏感,基于它盖出来的任何"可信度分数",都是不确定性的放大器,而不是确定性的来源。所以分数低的那个到底可不可信?单看分数不行,得换信号。如果你平时习惯拿 loss 拍板,这个例子该敲警钟:同一把尺子,在不同区间读数可能完全失真,唯一的办法是换尺子。

三位专家视角

多视角一致性:三份卷子交叉验证

这是论文的替代方案:信任"在不同上下文、不同视角下保持一致"的答案。方法借鉴了物理和哲学的思路:让模型从多个视角作答——论文的例子是三位医学专家的视角——然后取各视角答案的共同部分。

注意,这不是"让模型做三遍题取多数票"。论文强调的是"不同的上下文、不同的视角",换的是题目本身,不是把同一道题问三遍。取出来的共同部分,才是它要信的那部分答案。

这其实是物理实验可重复性的类比:一个实验可信,是因为不同人、在不同实验室能做出同样的结果,搬到 AI 这边就是三份卷子交叉验证:答案对上的,才记进成绩单。一个细节:论文为什么拿医学专家做示例?因为医学是答错代价高、最需要对"不知道"有敬畏的领域,拿它当靶子,说服力最强。

巧妙之处在于:模型学的是"文本里常见的东西",同一个"习惯"很难在不同视角下都稳定出现,三个视角都收敛,才不再是语言上的巧合。说白了,这套方法赌的是:正确的答案对表述方式不敏感——换个身份问,事实部分不变,只有措辞会变。

弃答机制:不知道也是答案

方法的另一半:如果各视角答案没有共同部分,模型输出"不知道",弃答。这是我觉得这篇论文里最容易被低估的一步。

现在很多系统必须给出答案,错了也要说得流利。而这个机制说的是:我宁可弃答,也不猜。对可信度来说,"弃答率"往往比"准确率"更有信息量——弃答不是失败,是信号。

说白了,一个敢说"不知道"的系统,在医疗这种高风险场景里才更接近可用,比一个说得流利但全错的可信。这也解释了论文为什么把示例定在医学。

还有一个读法:弃答率本身可以当选型指标。两个模型准确率一样时,我会选那个更敢弃答的,因为它至少知道自己的边界在哪里。

划重点:这篇论文没做实验

划重点:这篇论文是"理论+示例"性质的,没有做完整的实验验证,论证靠的是一个二元示例加推演。

我希望大家记住这个局限。100% 和 0% 那两个数字来自一个小例子,它说明的是似然信号不连续,还没有证明多视角方法在规模上真的稳。

我的判断:这样的论文应该当"假设+路线图"读,别当"结论+收据"读。一致性到底是不是比似然更靠谱,得等后续大规模实验说话。目前只能说,它提了正确的问题。

但这不代表论证无效。理论型的论文常常先立论、后补实验,关键是它提的问题对不对。在我这里,这个问题是对的。

自我复制的镜子

但这里有个前提

但这里有个前提——模型必须在不同视角下真的"独立思考"。如果底层还是同一套参数,只是换了提示词、换了视角,那取出来的"共识"就是自我复制,一致性越强反而越危险。

物理实验可信,是因为实验彼此独立、由不同的人操作;而模型里的"三位专家"共享同一套参数,这个结构上的差异,论文的论证里还没有解决。如果后续工作能证明不同视角确实能激发模型内部不同的推理路径,那这条路就值得走下去;如果不能,"三份卷子"就只是一道题的精心重复。

我自己的判断:在拿到这个证明之前,多视角一致性的置信度要打个问号,用它的输出做高风险决策时,弃答率比共识度更值得盯着看。

我就想问一句:三个视角都一样的时候,到底是答案对了,还是里面本来就只有同一个模型?这个问题,留给各位读者和论文一起带走。

AI坟场:每十个项目,四个半没活下来
下一篇
AI坟场:每十个项目,四个半没活下来
TechCrunch盘点AI坟场:约42%企业AI项目被母公司放弃
继续下滑 或 点击阅读下一篇
下一篇 AI坟场:每十个项目,四个半没活下来 →
站长照片
“

1

”
联系二维码
微信:扫码加企业微信
邮箱:15611497360@aqq.com
手机:15611497360

私信站长

申请退款