AI 太会顺着你说了,真问题反而没答

8千道题实测:AI 只会顺着答字面问题,深层目标常被放跑

一句话:AI 太会顺着你说话了。你问「怎么用正则解析 XML」,它认真给你讲正则语法,可你真正想要的只是把数据从 XML 里掏出来。AllenAI 联合 CMU、NVIDIA、约翰霍普金斯大学发布的 XYBench 基准,用 8115 条真实问题测了一圈主流模型,结论扎心:字面问题答得又全又稳,深层目标普遍被放跑。

说白了,AI 像个特别配合的客服:你说什么它接什么,就是不问你一句「你到底想干嘛」。下面拆三件事:这个基准怎么设计、数据差在哪、你以后提问该怎么改。

一个人提问机器只答字面意思的水彩插画

机器顺着话头回答的水彩插画

先说结论:AI 太会顺着你说

最硬的一组数字在 Stack Overflow 场景:模型解决字面问题(论文里叫 Y)的比例是 75%-86%,解决深层目标(叫 X)的只有 59%-71%,差了十几个百分点。

再看回答的重心。能把重点放在深层目标上的模型只有 35%-41%,其余都在顺着字面问题往下写——大量的算力,花在帮你完善一个你其实并不想要的方案上。

更狠的对照是拿人当标尺:人类识别出提问者误解的准确率是 79%-90%,最强模型也只有 63% 左右。机器读题的能力,被真人甩开一大截。

这个结果不是单一场景的偶然:四个来源、8 千多道题,结构都差不多——答字面问题轻轻松松,解深层目标集体掉一档。越顺着说,错得越体面。

蛋糕和厨房里的奶油罐水彩插画

XY 问题:你到底想要啥

先讲定义。XY 问题是程序员圈的老梗:你想达成目标 X,误以为方法 Y 可行,于是到处问「怎么做 Y」。问得越具体,别人越当真,越没人发现你问错了题。

例子一:用户问「怎么用正则解析 XML」,深层目标只是「从 XML 里提取数据」。正则和 XML 本来就不是一对,问法一出,所有答案都被带偏。

例子二:有人问「怎么让奶油更黏」,真问题其实是蛋糕太热、奶油挂不住。盯着「更黏」使劲,等于帮别人加固一个错误方案。

这类问题有个共同点:问法越具体,越没人起疑。你连方案里的细节都说清楚了,谁还去琢磨你为什么要这么做。

一摞问题纸条和书本的水彩插画

八千多道题,四个来源

XYBench 一共 8115 条问题,都是带隐误解的那种:嘴上问的 Y 和心里想的 X 对不上。论文发在 EMNLP 2026,代码挂在 GitHub 的 allenai/XYBench,谁都能复现。

四个来源:StackOverflow 1557 条、StackExchange 184 条、人工整理 102 条、WikiHow 日常问题 6268 条。大头是 WikiHow,说明这毛病不止程序员有,普通人问「怎么做」一样踩。

测试阵容挺齐:Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B、DeepSeek-V4 Pro,从旗舰闭源到 9B 的开源小模型,都拉进来遛了一圈。

怎么评的?论文不止看答得对不对,还看两件事:一是回答能不能解决深层目标 X,二是重心放在哪。字面解和深层解分开打分,强调偏置单列一组数据,想糊弄过去都难。

分岔路口往两边走的水彩插画

数据拆开看,差在哪

划重点:四个来源上,模型普遍是 Y 解得比 X 好。Stack Overflow 字面解 75%-86%、深层解 59%-71%,这个结构在其他场景也成立,不是个例。

第二个发现是强调偏置:回答的重心摆在哪。只有 35%-41% 的回答把重点放在 X 上,剩下的默认按你问的字面往下写。模型不是不会,是太会顺着你。

第三个是跟人类参考答案比:识别提问者误解,人类是 79%-90%,最强模型约 63%。注意口径,这是把真人当标尺,机器离这根标尺还有一大截。

这几个数字要连起来看:不是模型不会解 X,是它默认你问的就是答案。75%-86% 的字面解证明能力在线,59%-71% 的深层解说明它没往那边想。

脑袋边飘着拼图块的水彩插画

会选不会写,问题出在哪

最扎心的一组结果在问答之外:多选题里,模型全都表示自己更偏好「先搞清目标的务实回答」;一到自由生成,又老老实实答字面问题。嘴上说要,手上不干。

论文把这叫知识到输出的 gap:模型知道该追问「你到底想干嘛」,生成时却没有这个动作。它学到的统计规律是「问什么答什么」最容易拿高分,追问反而冒险。

顺着还能猜一层训练逻辑:现在的对齐方式奖励「有用」多过「较真」。你问错题它纠正你,容易被判成不配合,于是模型学会了假装听懂。

这种「会选不会写」也不是头一回见:选择题给了提示,模型能选出对的偏好;换到自由生成,真实分布就露馅了。知识在脑子里,动作跟不上。

两人对坐喝咖啡交谈的水彩插画

普通人怎么用:给目标别给方案

对普通用户,启示就一句话:提问别只给方案。说「怎么做 Y」之前,先补一句「我的目标是 X,卡在…」。目标给足,模型才有机会往回纠你。

已经踩坑的也有救:AI 给的东西总不对劲时,先怀疑自己问错了题,别急着换模型。大多数情况是问题没问对,不是模型变笨了。

真要改,先练个说清楚的小动作:一句话带上目标和卡点,比如「我要从 XML 里提取数据,正则老是写不对,有没有更省事的办法」。目标一出来,AI 就不好再装糊涂。

但这里有个前提:基准测的是「模型能不能自己发现误解」,可日常用 AI 的人,本来就未必说得清自己的目标。真问题也许不在模型,在于我们大多数人不会提问。XYBench 把责任钉在模型身上,顺手也把镜子递给了用户。

下一篇 返回列表 →
站长照片
“

1

”
联系二维码
微信:扫码加企业微信
邮箱:15611497360@aqq.com
手机:15611497360

私信站长

申请退款