2 min read

LLM 的全周期训练

2026/11/12

LLM 的全周期训练

基础模型的常规训练流程分为预训练、midtraining、监督微调（supervised fine-tuning, SFT）与强化学习（reinforcement learning, RL）四段，各段更换数据与学习算法。终局模型能力由训练全程使用的数据、配比、引入时点与算力分配共同决定，分段配方之间的决策相互影响，需要一套能把全程决策放在一起考察的表述方式。

现有研究沿分段展开。预训练侧刻画数据、算力与性能之间的 scaling law；RL 侧单独研究后训练的算力规模；跨阶段的迁移与留存另成一支。预训练、midtraining 与 SFT 使用最大似然拟合，RL 则写成策略优化，代表方法包括 REINFORCE、近端策略优化（proximal policy optimization, PPO）与 GRPO。两类目标函数形式不同，静态语料、示范与模型生成数据无法进入同一个损失；既有把静态数据混入 RL 的做法，通常在 RL 损失上另加一项单独加权的监督项，系数需要单独调节。阶段之间为分布的硬切换，数据不能跨边界复用，前序阶段学到的能力在后段出现下降。

本文把合适的 RL 目标推导为对模型生成目标分布的最大似然拟合，使预训练、midtraining、SFT 与 RL 进入同一个似然训练框架，落地在 RL 目标函数与跨阶段数据混合这一环；阶段式训练成为该框架下混合物权重依次压在单一数据源上的特例。

一、端到端链路与衡量指标

结论：主流视角下链路为预训练 → midtraining → SFT → RL；前两段以语言建模损失衡量，SFT 以示范损失衡量，RL 以奖励与采样通过率衡量，跨阶段用留存、算力、泛化与持续学习起点衡量。

预训练

记模型在提示 $x$ 下对补全 $y$ 的条件分布为 $\pi_\theta(y\mid x)$，提示分布为 $\rho(x)$，训练补全分布为 $\mu(y\mid x)$，联合分布记为 $\rho\circ\mu$。最大似然损失为

$L(\theta;\rho\circ\mu):=-\mathbb{E}{x\sim\rho}\mathbb{E}{y\sim\mu(\cdot\mid x)}[\log \pi_\theta(y\mid x)]$

在留出语料上按非提示 token 求平均，困惑度为 $\exp(L)$。该损失与前向 KL 散度 $\mathbb{E}{x\sim\rho}[\mathrm{KL}(\mu(\cdot\mid x)|\pi\theta(\cdot\mid x))]$ 仅相差一个与 $\theta$ 无关的常数，两者梯度相同。

Midtraining

沿用同一最大似然损失，目标分布换成精选语料 $\mu_{\mathrm{mid}}$。衡量指标为留出精炼语料损失，单位为 nats/token；同时观察该阶段对后续推理任务的前置支撑，留存侧对照预训练损失是否回升。

SFT

损失形式不变，提示 token 权重置零，只对示范回复 token 计权。指标为留出示范数据上的 token 级交叉熵损失与准确率。

RL

期望奖励目标为

$J(\theta):=\mathbb{E}{x\sim\rho}\mathbb{E}{y\sim\pi_\theta(\cdot\mid x)}[r(x,y)],\quad r(x,y)\in{0,1}$

对应策略梯度

$\nabla_\theta J(\theta)=\mathbb{E}{x\sim\rho}\mathbb{E}{y\sim\pi_\theta(\cdot\mid x)}[r(x,y)\nabla_\theta\log\pi_\theta(y\mid x)]$

在答案可验证的任务上，另报告两个采样指标。准确率即 pass@1，指单次采样回复正确的概率；覆盖率即 pass@16，指 16 次采样中至少有一条回复正确的概率，不要求模型识别哪一条正确。每题独立采样 $n=64$ 条回复，其中答对 $c$ 条，无偏估计量为

$\mathrm{pass@}k=1-\frac{\binom{n-c}{k}}{\binom{n}{k}},\quad 1\le k\le n$

当 $n-c<k$ 时组合数取 0。pass@1 取 $k=1$，覆盖率先取 $k=16$；逐题估计后在测试集上平均。

跨阶段指标

留存由两项并行列指标构成。一是留出预训练语言建模损失，单位 nats/token；二是通用基准平均分，包含 MMLU、ARC-Easy、HellaSwag、TruthfulQA MC2、WinoGrande 五项零样本似然评估。

算力按稠密模型近似估计：处理 $T$ 个输入 token，训练约 $6NT$ FLOPs，生成约 $2NT$ FLOPs。受控实验中 $N=123{,}587{,}328$，总算力

$C_{\mathrm{total}}=6N(T_{\mathrm{pre}}+T_{\mathrm{mid}})+8N,T_{\mathrm{rollout}}+6N,T_{\mathrm{mix}}$

其中 RL token 系数 $8N$ 对应生成 $2N$ 加一遍策略训练 $6N$；$C_{\mathrm{additional}}=C_{\mathrm{total}}-6NT_{\mathrm{pre}}$ 用于剔除各运行共享的预训练成本。

泛化指标在训练分布之外、难度更大的题目上测 pass@1 与 pass@16。持续学习起点指前序训练完成后，按同一流程接入新任务时的后续学习表现。

二、介入环节与影响指标

结论：论文介入跨阶段的目标函数与训练器层，重点改写 RL 与静态数据之间的算法边界；把 RL 重写为似然拟合后，四类数据源共用一份加权似然损失、一个 trainer 与一份共享数据缓冲，直接牵动准确率、覆盖率、算力效率、留存与持续学习起点。

理论改动

框架建立在最大似然强化学习（maximum likelihood reinforcement learning, MaxRL）的似然解释之上。二值奖励下，成功条件分布定义为 $\pi_\theta^+(y\mid x):=\pi_\theta(y\mid x,r=1)$，MaxRL 更新等价于对当前策略的成功条件分布做最大似然拟合。生成策略换成固定策略 $\nu$ 时，目标分布为 $\nu^+(\cdot\mid x):=\nu(\cdot\mid x,r=1)$，生成与优化可以异步解耦。框架同时容纳 REINFORCE 与尾部似然强化学习（TailRL）以及连续奖励；REINFORCE 的有效提示分布为 $\rho_{\mathrm{RF}}(x)\propto\rho(x)p_\theta(x)$，其中 $p_\theta(x)$ 为提示 $x$ 上的成功率。

数据混合与损失

第 $t$ 次迭代，数据源 $s$ 对应提示分布 $\rho_{s,t}$ 与目标分布 $\mu_{s,t}$，混合物权重 $\lambda_{s,t}\ge 0$，满足 $\sum_s\lambda_{s,t}=1$，联合分布为

$q_t:=\sum_s\lambda_{s,t}(\rho_{s,t}\circ\mu_{s,t})$

统一似然损失为

$L(\theta;q_t)=-\mathbb{E}{(x,y)\sim q_t}[\log\pi\theta(y\mid x)]$

权重与配比可在训练全程演化，数据源允许相互重叠。批次内的 token 加权负对数似然为

$\hat L(\theta;B):=-\frac{1}{T_B}\sum_{(z,w)\in B}\sum_{\ell=1}^{L}w_\ell\log\pi_\theta(z_\ell\mid z_{<\ell})$

$T_B$ 为批次中非提示 token 总数。每提示采样 $N$ 条回复，通过率估计为 $\hat p=\frac1N\sum_{i=1}^N r(x,y_i)$；正确回复的回复 token 权重 $A=1/\hat p$，错误回复权重为零。

工程实现

生成器从近期权重副本采样 RL 数据，追加到同时保存静态数据的共享缓冲；trainer 从缓冲采样并更新模型，每 $k$ 次更新发布一次权重，生成器在批次之间加载。静态语料、示范与生成数据使用同一份数据格式、同一损失与同一 trainer。

直接影响的指标

准确率（pass@1）：受控推理任务与分布外泛化上，统一训练在相同总算力档位取得更高 pass@1；中等算力档位下，阶段式方案在准确率上仍占优。

覆盖率（pass@16）：混入更多 midtraining 数据通常对应更高覆盖；部分算力档位，阶段式方案在覆盖上更省算力。

算力效率：横轴为累计 FLOPs，统一训练在大算力档与最小预算档取得更好的精度-算力权衡；泛化设定下多数预算点表现更优。

留存：预训练后期混入 midtraining 数据，留出预训练损失与通用基准分接近纯预训练水平；真实数据设定下，非零混合使留出 midtraining 损失低于基座，阶段式方案使其上升。

数据复用：同一语料可在预训练末段与 RL 中多轮使用；阶段式方案对 midtraining 数据量更敏感，超量后终局准确率下降。

持续学习起点：数学训练完成后接入代码 RL，统一模型在 HumanEval+ 与 MBPP+ 上的终局准确率高于阶段式方案。

实验设置的可考证细节：受控实验使用 124M 参数模型、20B token 预训练语料与 510M token midtraining 语料，Base 设置 6000 次更新、Extended 设置 12000 次，每次更新 512 条生成，两个训练种子；推理题参照 Reasoning Gym 构造。真实数据实验使用 0.76B 参数模型，混入 240M token 异构语料，配比区间 0–5%；Math 为 MATH-500 与 GSM8K 等权平均，Coding 为 HumanEval+ 与 MBPP+ 等权平均。

参考文献

Song, Y, Zhang, A, Tajwar, F, Arora, D, Schneider, J, Khashabi, D, Salakhutdinov, R, Bagnell, J. A, Singh, A, & Zanette, A. (2026). Training foundation models with a single algorithm. arXiv:2610.40564. https://arxiv.org/abs/2610.40564