核心问题
前沿大模型做后训练，要在保留原有能力的前提下给模型引入新能力。这一问题长期处于两难：
- 监督微调 (SFT)：直接学习专家提供的答案，泛化偏弱，旧能力下降明显。
- 强化学习 (RL)：让模型自身采样成功轨迹再更新，训练稳定、保旧能力也稳，但模型写不出来的难题，组内 rollout 全部错误，奖励方差为零，梯度不存在，这批样本得不到学习。
主流修补都在改学习目标（加 importance-sampling 权重、KL 惩罚、GRPO 上下文等），数据分布本身不做改动。
Karan, Chen, Du 把改动移到数据准备段：把 off-policy 专家轨迹当初始点，用 base model 自身对轨迹的似然做一轮 Metropolis-Hastings 采样，候选仍落在"语义等价正确解"这个集合内（答案对、关键信息不丢），但分布逐步靠拢 base model。算法不动，SFT 仍用交叉熵训练。
后训练链路的三段结构
| 阶段 | 产出 | 关键指标 |
|---|---|---|
| 数据准备段 | 训练样本（off-policy 专家轨迹或 on-policy rollout） | 数据正确率；$\mathrm{KL}(\pi_{\mathrm{data}} | p_{\mathrm{base}})$ |
| 学习算法段 | 微调后参数 | 新任务准确率；OOD 泛化增益 |
| 旧能力保持段 | — | Prior capability retention（微调后 / base model 旧 benchmark 分数） |
这篇论文介入的是第一段，数据准备段。
方法：Metropolis-Hastings 采样
用 base model 自身对轨迹的似然做一轮 Metropolis-Hastings 采样，候选仍落在"语义等价正确解"这个集合内，但分布逐步靠拢 base model。
采样是一个 model-native 算子，作用于数据，不作用于目标函数。
实验结果
- 正确性保留率：在 94% 上下浮动，信息得以保留。
- $\mathrm{KL}(\pi_{\mathrm{data}} | p_{\mathrm{base}})$：随采样步数单调下降。
- 新任务准确率和 OOD 增益：都优于 vanilla SFT，数学任务上 MATH500 增益超过 RL baseline。
- 旧能力保持：vanilla SFT 把五科平均从 base 的 59.7% 降至 52.0%，加这道预处理后回到 58.6%，化学任务的旧能力总损失控制在 1.1% 量级。
参考文献
Karan, A., Chen, S., & Du, Y. (2026). Finetuning with sampling: SFT learns better than you think. arXiv. https://arxiv.org/abs/2610.02140