SFT 的样本预算
后训练有两条路径。RLVR 让模型自己生成回答,判分器逐条打分,再按分数调整参数;SFT 在固定的题—答对上做逐 token 交叉熵。一般的观察是 RLVR 对旧能力保留得较好,SFT 学新东西快、跨域迁移弱一些。两条路径的开销差一个量级,RLVR 每一步都要重新生成、重新判分。
以前的对比用的是同一批题,题目数对得上,每道题采几条不一样。RL 每题采 8 条,8 条全部进梯度;SFT 从 8 条里挑出答对的那 1 条。造数据还默认找更大的模型(Qwen3-14B)来答题。
本文把 SFT 的轨迹来源与条数按 RL 的实际用量对齐。对齐后跨域成绩由低于 RL 变为追平,来源混合后反超。交叉熵目标与评测集都没有换。
样本量的差距
先用小数目把差在哪说清。假设有 10 道题,每题让模型写 8 条回答,判分器逐条判对错,结果是这样:
| 题号 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
|---|---|---|---|---|---|---|---|---|---|---|
| 8 条里答对几条 | 8 | 6 | 4 | 3 | 3 | 2 | 1 | 0 | 0 | 0 |
一共生成 80 条,答对 27 条,答错 53 条,至少答对过一次的题有 7 道。
RL 那边,这 80 条全部用来更新参数。SFT 那边,每题只留下一条答对的,数据集就变成 7 条。题目数是同一批,实际用于训练的样本差到十倍以上。换成论文的真实规模:约 1.5 万道题,RL 一次更新约 12 万条轨迹,SFT 只有约 1.5 万条,相差 8 倍。
作者补齐的方式就是把上面那三个数逐个对上。第一档按可解题目数对齐,10 道里取 7 道、每道 1 条,得 7 条;真实数据约 10,000 条。第二档按每题答对的条数对齐,题 1 给 8 条、题 2 给 6 条、题 3 给 4 条,一路配下去,得 27 条;真实数据 39,623 条。第三档按总条数对齐,把 53 条答错的也放进去,凑到 80 条;真实数据是 39,623 条正确轨迹加 98,641 条错误终答轨迹,合计约 138,000 条,与 RL 每步的采样量、梯度成本相当。答错的轨迹中间步骤大多正确,逐 token 训练在这些片段上照样产生梯度。
补齐之后,跨域 12 任务平均分从基座 33.8、RL 43.8 追到同一水平;来源按 90% 同源配 10% 强模型混合后高于 RL。域内数学维持在 42.7 至 50.9 之间。
五步与指标
还是用上面那 10 道题、80 条回答,逐步把指标算出来。
第一步,题池构建。 指标是可解率,即至少答对过一次的题占全部题的比例。上例 7 道有答对,可解率 70%。另算每题通过率,即该题答对条数除以 8,题 1 是 8/8,题 8 是 0/8;把通过率按区间分桶,就得到题池的难度分布。
第二步,轨迹采样与判分。 两个数。轨迹预算是题数乘每题采样数,上例 10 乘 8 等于 80 条,即一次更新消耗的采样量。正确轨迹数是答对条数之和,上例 27 条,是 SFT 可用的样本上限;真实数据的 39,623 就是从这个数算出来的。通过率 pass@1 取各题通过率的均值,上例是 27/80。
第三步,数据筛选与配比。 三项。保留率是最终留下的条数与正确轨迹数之比,27 条里只留 7 条即 26%,按答对条数全留即 100%。混合比 $\alpha$ 是外部来源样本占数据集的比例,27 条里插进 3 条强模型数据,强模型占 10%,论文放大后的最优点正是 90% 配 10%。方法覆盖率要在真实规模上算:13.8 万条轨迹由标注模型打上解法标签,合并后得到 138 种解法,出现不足 100 次的不计入,覆盖数除以 138 得到覆盖率;出现次数排最低的 20% 另称为尾部方法。
第四步,目标优化。 SFT 对固定数据算逐 token 交叉熵。RLVR 用 Group Relative Policy Optimization(GRPO),同题 8 条回答按组内相对好坏分配权重,比组内平均好的加分、差的减分,另加重要性比裁剪与相对参考模型的 $\mathrm{KL}(\cdot|\cdot)$ 约束。两类训练能否比较,取决于每更新一步消耗多少条轨迹,上例即 80 条对 7 条。
第五步,评测与归因。 分布内数学用 pass@1。AIME24 只有 30 道题,一题对错就能摆动三个百分点,改用 Avg@32:同一题采 32 次,取 32 次里的正确率,再对 30 道题取平均。跨域推理取 12 个任务,各任务原生指标先归一化到 0 至 100,再对任务等权平均,MMLU-Pro、GPQA-Diamond、BBH、C-Eval 各占十二分之一。归因这一层在评测轨迹上重跑解法标注,看尾部方法用了多少次、靠它解对多少题。
论文动的是第三步。题池、目标、评测集都没换,换的是轨迹从哪个模型来、每道题给几条。
参考文献
Hou, Y., Zhang, F., Cheng, Y., Pan, J., Li, X., & Yang, Z. (2026). Rethinking “RL generalizes, SFT memorizes”: The role of SFT data. arXiv preprint arXiv:2611.14912. https://arxiv.org/abs/2611.14912