84.5 分的新药考试,一半题它其实不会

能做题不等于会选药,总分掩盖了关键短板。

一句话:OpenAI 11 月 20 日发布的 MedChemBench,官方定位是评估 AI 在药物化学研究推理任务上的能力。按 OpenAI 发布说明,最强模型在 xhigh 推理档拿了 84.5% 的总分,但最贴近真实药物发现决策的「化合物选择」和「数值性质预测」两类题,得分只有一半左右。能做题,不等于会选药。

药剂师细看试管

摊开的论文与出题笔记

这份考卷是怎么出的

划重点:99 道题,取自 117 篇已发表的论文与专利,覆盖 761 个不同的分子结构(据 OpenAI 发布说明)。题目是从真实研究材料里抽的,不是实验室自己出题自己答——这一条就把很多自嗨型评测比下去了。

这个设计挡住的作弊点是题库泄露:模型训练语料里混着论文原文,但题目被重新组织成问答任务,想靠背答案过关,得先认出这层包装再迁移。

考什么也写得很清楚:分子组装、科学解释、化合物筛选、性质预测,四类能力对应药物研发的不同环节。

换个角度说,从 117 篇里挑出 99 道题,出题人自己也在做取舍——一道题得能区分模型,又不能因为太偏门变成运气题。这个平衡点没公开,是这份基准的隐形变量。

分子结构图与化学式

99 道题,761 个分子

把数字摆开看:99 道题对应 761 个分子,平均每道题背后约 7.7 个分子结构。这不是单点记忆题,是一套要综合多个分子信息才能答的材料题。

但 99 道题的量级也说明,它只能算抽查,不是体检。我的判断是:MedChemBench 测的是能力方向,不是能力全貌——方向对了,强度还得靠更大题库验证。

从论文和专利里选题还有一层好处:答案有出处。每道题都能倒回公开发表的工作,评卷有据可查,比拿模型互评刷出来的榜单硬气。

还有一层:761 个分子覆盖多少个化学骨架、多少个靶点类别,发布说明没展开。我的判断是,分子数量听上去可观,但分布比数量更要紧——要是集中在几类常见骨架,考的还是「熟悉的化学」。

成绩单与红笔批注

总分 84.5,关键子项只有一半

先看代际,按 OpenAI 发布说明,xhigh 推理档下:GPT-6.2 Astra 84.5%,GPT-6 Astra 83.3%,GPT-6.1 Sol 82.0%,上一代 GPT-5.6 Sol 只有 58.2%。两代之间涨了约 26 个百分点,代际进步不假。

信息量在内部结构:化合物选择和数值性质预测——最贴近真实药物发现决策的两类——得分只有总分的一半左右。84.5 里有多少水分,取决于它被哪几类题撑起来。

我的判断:均分在这里会骗人。一个「会讲道理、不会做决定」的模型,总分照样过 80。只看总分,等于只看体检单上的综合评级,不看哪几项亮红灯。

把 58.2 到 84.5 这 26 个百分点摊开问一句:涨的主要是哪类题?要是集中在解释类,那「会选药」那部分可能没怎么动。发布说明没给子项的历史对照,这是最该补的一张表。

折线图与放大镜

分数分布为什么关键

因为两类题的性质不同。分子组装、科学解释有相对标准的答案和清晰的推理链,模型擅长顺着逻辑推;化合物筛选要权衡多个性质做取舍,数值性质预测要的是化学量级的直觉——这两样正是当前模型的短板。两类题掺在一起取平均,短板就被稀释了。

真实药物研发里没人帮你平均。筛选和性质预测正是「拍板」环节:决定哪个分子值得推进、投入合成和实验。这两类恰恰是得分最低的——基准即使无心,也把裂隙晒了出来。

所以我更愿意把这个 84.5 读成「平均分」而不是「能力画像」。发榜只发总分,短板要靠自己拆开看。

这也解释了为什么同样是 80 多分,各家模型的含金量可能差很远——题目配比一变,排名就能翻。看这类基准,先看子项拆解,再看总分,顺序不能反。

白板上的选择与箭头

模型强在解释,弱在判断

对照药物发现流程看更清楚:筛选和性质预测是「拍板」,解释是「复盘」。拍板要为一个决定下注,复盘只要把已经发生的事讲圆。模型强在后者、弱在前者——而真实项目最卡人的恰恰是前者。

说白了,让它解释「为什么这个分子能结合靶点」,它能讲得头头是道;让它从一批候选里挑出更可能成药的那个,它就开始犹豫。解释是对着答案讲故事,判断是对着不确定性下注,两者难度不在一个量级。

这也是这份成绩单最有价值的地方:它没吹「即将替代药化研究员」,反而把强项和弱项分得清清楚楚。

再往深一层:解释类题可以被训练数据喂出来,论文里的机制描述本身就是现成教材;判断类题要靠反馈信号,而药物化学里最贵的反馈是实验,模型拿不到那么多。

天平与问号标记

但这里有个前提

质疑先从口径开始:得分只有一半的两类题,在真实决策里算及格吗?基准只给了百分比,没给及格线——及格线取决于拿它做什么,这道题基准自己答不了。

实验室决策的复杂度也远超纸面:合成难度、毒性预估、专利空间、实验成本,MedChemBench 一道都没考。OpenAI 在发布说明里也明说,这些结果尚不能确定模型能否发现新药,或改善真实实验室里的决策。

把「会做题」翻译成「会选药」,前提是题目等于工作本身——这个前提目前没人证明。分数能当参考,别当结论;真正的下注,还得在人这边。

再留一个反问给读分数的人:将来某版子项分数补齐了,就能说模型会选药了吗?未必——基准考的是「在给出的候选里挑」,真实研发得先自己造出候选。出题和选题,仍是两件事。

这周 AI 工具都在改同一个页面
下一篇
这周 AI 工具都在改同一个页面
五条更新看着不搭界,动的都是账单页
继续下滑 或 点击阅读下一篇
下一篇 这周 AI 工具都在改同一个页面 →
站长照片
“

1

”
联系二维码
微信:扫码加企业微信
邮箱:15611497360@aqq.com
手机:15611497360

私信站长

申请退款