在处理SFT离线数据带来的知识遗忘问题时，一类常见思路是在损失侧做修正，例如KL正则、重要性采样权重调整，以此兼容off‑policy离线数据。与之形成对比的是数据侧思路：不去修改训练目标，而是直接对数据集本身做分布调整，通过采样手段校正离线专家样本，使其分布贴近基座模型，直接使用标准SFT，就可以获得接近on‑policy训练的抗遗忘与泛化效果。
Chen 等人工作标题为 Retaining by doing。Retain 在该文本语境中指模型保留已习得的旧任务能力，doing 指代由模型自身策略生成训练样本的过程。
固定离线标注集属于off‑policy数据，样本分布独立于模型迭代后的策略分布。在SFT流程中，模型参数更新，策略同步变化，训练数据的分布不再匹配当前策略。该条件下拟合固定样本，就会出现知识遗忘。
RL流程引入KL散度正则项，该正则项配套的优势估计，用来衡量当前策略输出相比参考分布的增益。优势估计以参考分布为基准，约束策略更新幅度，缓解单次更新带来的分布偏移。
基于重要性采样权重的方案，复用存量离线数据，依靠权重补偿分布偏差，适配标注成本高、无法持续生成新样本的场景。但该方案受权重方差困扰，权重尾部容易引入不稳定梯度，这也是损失侧修正手段固有的短板。
基于迭代自生成的方案，由模型当前策略持续产出近似on‑policy样本，样本分布跟随模型同步变化，减少分布错配。缺点是会消耗较多采样算力，对生成链路稳定性有一定要求。
产业落地存在两类典型选择：存量离线样本多、样本标注周期长的场景，存量样本加权的方案使用更多；采样资源充足时，迭代自生成样本的方案能得到更稳定的效果。
Karan等人的研究进一步拓展了数据侧这条路线(Karan et al., 2026)。它不改动SFT损失，也不依赖重要性采样权重做补偿，而是对原始离线专家样本做分布层面的采样增强。在保留样本语义正确性不变的前提下，拉近样本与基座模型的分布距离，将原本off‑policy的数据转化为近似on‑policy的增强数据集。处理完成后直接执行原生SFT，在化学、数学、医学任务上，新任务泛化与旧能力保留两项指标同时优于普通SFT，甚至可以匹敌OPSD、GRPO等on‑policy算法。该采样处理发生在数据集预处理阶段，属于一次性开销；采样迭代步数是可调节的超参数，步数越高，增强样本越贴合基座分布，微调后的模型效果也越好。
仍存在未完成验证的问题。
近似on‑policy的匹配阈值，和抗遗忘收益的对应关系缺少量化边界。
重要性采样权重误差，与样本分布偏移误差之间的权衡缺少实测数据。
风控高维稀疏、分布非平稳的数据流中，两种方案各自失效的条件有待测试。
这类数据采样增强的算力开销、采样步数和下游任务泛化、遗忘之间的权衡，还缺少大规模产业场景验证。
参考文献（APA‑7）
Chen, H., Razin, N., Narasimhan, K., & Chen, D. (2025). Retaining by doing: The role of on‑policy data in mitigating forgetting [Preprint]. arXiv. https://doi.org/10.48550/arXiv.2510.18874
Karan, A., Chen, S., & Du, Y. (2026). Finetuning with sampling: SFT learns better than you think [Preprint]. arXiv. https://doi.org/10.48550/arXiv.2610.02140