一句话:把一个前沿水平的智能体基座模型训出来,只需要三步——SFT Ⅰ、SFT Ⅱ、强化学习。没有专门的 mid-training,没有 DPO,没有 on-policy distillation(OPD)。这是 Duke University、ByteDance、University of Maryland、University at Buffalo 几家联合的 Axion 1.0 给出的配方,论文标题里就明写着「Simplified」。
两个主模型:Axion 1.0-35B 的基座是 Qwen3.6-35B-A3B,总参 35B、每 token 激活 3B;Axion 1.0-122B 的基座是 Qwen3.5-122B-A10B,总参 122B、激活 10B。论文另外报告了只做 SFT 的 4B 和 9B 变体。成绩上,122B 在限制网站访问的全量 HLE 上得 59.0,FrontierScience Olympiad 87.0,FrontierScience Research 66.7;35B 在 SEAL-0 上得 62.2。
论文自己的出发点很实在:现在一条训练流水线层层嵌套,预训练之后还有 mid-training、DPO、蒸馏、各种后训练,最后没人说得清哪一步真在起作用,复现成本还高得离谱。说白了,他们不是在做加法,是在做减法。而减法要成立,得有人替被砍掉的那几层干活。


三步就够了,别的都砍了
先把三步摊开。第一阶段 SFT Ⅰ 教「自包含推理」,题目自带全部信息,不查外部也能解。第二阶段 SFT Ⅱ 教「工具依赖推理」,答案必须靠搜索、网页访问、学术检索、Python 拿回来。第三阶段是 RL,在智能体和这些工具的真实交互上做异步 GRPO。
三步之间不是简单堆数据。SFT Ⅰ 决定模型能不能想清楚,SFT Ⅱ 决定它会不会用工具,RL 决定它在一堆中间状态里能不能自己找路。三个能力各自对应一个训练阶段,这就是他们敢砍的底气——每一层都有明确的责任田,没有哪一层是「别人都加所以我也加」。
我认这个思路。阶段堆叠最要命的问题是归因困难,跑完一整套你根本不知道涨的那几个点是谁给的。砍到三步,至少能做到改一步看一步,这比多刷几个 benchmark 有价值。

第一刀:让模型自己出题
SFT Ⅰ 真正的看点是数据从哪来。他们的做法是从公开种子题出发,先做一次组合把难度提上去,然后盯住基座模型当前已经能做对的题,用四种变换继续加强:组合、参数化、范围平移、分类讨论。题目难度跟着模型当前的成功策略走,不是一次性定死的。
最后一步比较关键:让模型自己生成解法,只保留推理正确的轨迹。这等于用模型的能力给自己造训练集,难度天然贴合当前水平——太简单没有信息量,太难全是错的,只有刚好卡在边界上的题才有用。
划重点:这套流程里没有人工标注解法,也没有从更强模型那边做蒸馏。数据构造本身把「课程设计」吃进去了,这才是后面能砍阶段的前提。换句话说,被砍掉的东西不是消失了,是被挪进了数据管线。

第二刀:把证据交给工具去找
第二阶段换了目标:不是让模型会想,而是让它会找。任务从公开数据源构造,参考答案由确定性计算程序化确定。注意这一点,答案不是人写的,是程序算出来的,可验证、可重跑。
解题者拿不到数据库,必须通过搜索、网页访问、学术检索、Python 这几样工具自己把证据找回来。这个约束设计得挺狠:它强制模型学会「先查再答」,而不是靠参数里的记忆硬猜。对智能体来说,这比答对一道题更接近真实工作。
我的判断是,这一阶段其实把「可验证性」写进了训练目标。程序化确定的参考答案意味着奖励信号是干净的,这也直接给第三阶段的 RL 铺好了路——终答分和部分分都得建立在「答案可判定」这个前提上,否则后面的账全算不清。

为什么敢砍掉 mid-training 和 DPO
说白了,mid-training 和 DPO 原本解决的是两件事:前者补能力,后者对齐偏好。Axion 的答案是,前者的活交给数据难度自适应,后者的活交给 RL 的奖励设计。
第三阶段用异步 GRPO,训练场就是智能体与搜索、网页、学术检索、Python 的交互。终答正确给满分,经过验证的中间进展可以拿部分分——这一条很重要,长程任务里只认终答,信号会稀疏到几乎训不动。长 rollout 还用 context condensation 切成多个 session 训练,不然一条完整轨迹根本塞不进上下文。
OPD 被砍的理由更直接。on-policy distillation 需要一个更强的老师长期在线,成本和工程复杂度都上去了;如果 RL 的奖励本身足够干净,蒸馏那一步的边际收益就得打个问号。当然这是论文的立场,不是定论,但它至少给出了一个可检验的替代方案。

成本账:240 GPU-hours 是什么概念
按论文 5.1 节的表,两个 SFT 阶段里,122B 用 32 张卡跑 7 小时 30 分,约 240 GPU-hours;35B 用 32 张卡跑 2 小时 48 分,约 90 GPU-hours。RL 部分,122B 约 15 小时,40 张 rollout 卡加 16 张训练卡,40 步;35B 约 30 小时,8 加 8 张卡,20 步。
240 GPU-hours 大概是什么量级?十张卡跑一天。这个数字放在前沿模型的训练开销里几乎可以忽略,它也说明 SFT 阶段本身不是瓶颈——真正的成本压在 RL 的 rollout 上,122B 那边 40 张卡只跑 40 步,采样效率才是要算的账。
超参也摆得很干净:学习率 3e-6 恒定、无 warmup、Adam(0.9, 0.95)、weight decay 0.1、梯度裁剪 1.0、BF16、每个阶段 3 个 epoch、最长序列 128K、global batch size 8,训练样本量约 18K 条。这套配置朴素到有点反常识,18K 条数据配 8 的 batch,赌的明显是数据质量不是数据规模。

开源的深度,和复现的门槛
这次放出来的不只是权重。数据构造、生成、过滤、验证流程、prompt、训练代码全部开源,SFT 用 Swift 加 Megatron-FSDP,RL 用 verl 做异步,Apache 2.0。论文敢在标题里写「Simplified」,很大程度是因为这些东西都能对着看。
但这里有个前提。18K 条样本的构造流程开源,不等于你照着跑就能得到同样的 18K 条——种子题怎么选、难度变换的具体参数、过滤阈值定在哪,这些细节决定了数据分布。开源的是方法和管线,不是那份已经被验证过的数据本身。
第二个前提是基座。两个主模型都建在 Qwen 系列上,35B 和 122B 的 MoE 结构决定了激活量,换成别的基座,三步配方的迁移性要重新验证。论文报的 4B 和 9B 变体只做了 SFT,这也侧面说明 RL 阶段在小模型上的账还没算完。
所以「三步就够了」这句话准确的说法应该是:在给定基座和给定数据构造流程的条件下,三步够了。这个结论的可复现性确实强于大多数训练报告,但它仍然是一个有边界的结论。而把边界写清楚,恰恰是这篇论文最值得看的地方。