2 min read

奖励方差与边界采样

奖励方差与边界采样

长程智能体任务要求模型在环境中完成多轮交互,后训练需在获得新任务域精度的同时保留域外既有能力,并控制交互成本。本地强化学习中,同一状态下奖励结果若完全一致,组内归一化优势为零,不产生更新;有效信号集中在成败混合、奖励存在方差的边界状态。

SFT 效率较高,但域外性能下降;E2E RL 保留域外能力,全轨迹多轮 rollout 开销高。朴素本地 RL 随机抽取中间步,多数奖励一致、不提供信号;严格匹配示范动作,会把功能等价的其他动作判为失败。

本文以奖励方差为依据定位边界状态,将 rollout 预算集中投入这些状态,配合验证器功能等价奖励;改动落在状态选择与信用分配环节,更新框架仍采用组内相对策略优化(GRPO, Group Relative Policy Optimization)。

一、解决的问题

结论:本文处理后训练中训练效率与泛化保持之间的张力,学习信号以奖励方差为依据。

问题本身是:在固定专家演示数据上后训练,模型既要获得新智能体域的动作能力,又不损失域外既有精度,并控制 rollout 预算。奖励存在方差时组内优势非零,参数获得更新方向;奖励一致时优势为零,该状态不产生梯度。

该问题重要,因为智能体任务由多轮交互构成,单轮示范无法覆盖分支路径;域外能力下降意味着新任务训练挤占数学、代码、通用问答等既有能力;全轨迹采样的交互量限制了方法在生产模型上的部署。

此前卡点:SFT 做条件最大似然,概率质量向示范动作集中,域外分布被挤占;朴素本地 RL 仅在动作与示范完全一致时给奖励,71% 随机步奖励一致、无学习信号,功能等价的其他动作被判失败;E2E RL 按最终成败给奖励,交互成本随全轨迹采样累积。

二、端到端链路与衡量指标

结论:主流后训练链路由状态与演示构建、策略采样与 rollout、奖励与信用分配、策略更新、离线评估五个环节构成,各环节指标如下。

状态与演示构建。 交互轨迹分解为助手决策边界序列 $\tau=(s_0,a_0^,\ldots,s_T,a_T^)$,其中 $s_t$ 为截至第 $t$ 个动作前的完整交互历史,$a_t^*$ 为示范助手完成。状态信息量以奖励方差衡量:对状态 $s$ 采样 $K$ 个本地 rollout,

$\hat\mu(s)=\frac{1}{K}\sum_{k=1}^K r(s,a^{(k)}),\qquad \hat\sigma^2(s)=\frac{1}{K}\sum_{k=1}^K\bigl(r(s,a^{(k)})-\hat\mu(s)\bigr)^2$

保留条件为 $\hat\sigma^2(s)>0$ 且 $\hat\mu(s)<\lambda_{\rm diff}$,$\lambda_{\rm diff}$ 为难度阈值。

策略采样与 rollout。 衡量指标为累计 rollout 轮数与累计挂钟时间。同一状态下采样 $G$ 个动作,组内相对优势按 GRPO(Shao et al, 2024)计算:

$\hat A_i=\frac{r_i-\frac{1}{G}\sum_{j=1}^G r_j}{\mathrm{std}\bigl({r_j}{j=1}^G\bigr)+\epsilon{\rm std}}$

其中 $\epsilon_{\rm std}$ 为数值稳定项。

奖励与信用分配。 严格匹配奖励为 $r_{\rm strict}(s,a)=\mathbf 1[a=a^*(s)]$;功能等价奖励为 $r_{\rm func}(s,a)=\mathbf 1[a\in\mathcal M(s)]$,$\mathcal M(s)$ 为领域验证器判定的本地可接受动作集合。配套指标为错误淘汰率 $\Pr[r_{\rm strict}(s,a)=0\mid r_{\rm func}(s,a)=1]$,即功能正确却被严格匹配判负的比例。

策略更新。 SFT 损失为

$\mathcal L_{\rm SFT}(\theta)=-\mathbb E_{\tau\sim\mathcal D_{\rm SFT},(s_t,a_t^)\sim\tau}\log\pi_\theta(a_t^\mid s_t)$

RL 更新使用 clipped GRPO 目标,重要性权重 $w_i(\theta)=\pi_\theta(a_i\mid s)/\pi_{\rm old}(a_i\mid s)$,KL 正则项 $D_{\rm KL}=\beta,\mathrm{KL}(\pi_\theta(\cdot\mid s)|\pi_0(\cdot\mid s))$,$\pi_0$ 为参考策略,$\beta$ 为 KL 系数。

离线评估。 域内精度为智能体基准上任务成功解出的比例,覆盖 τ²-Bench、SWE-Bench Verified、Terminal-Bench、BrowseComp。域外保持为非智能体基准上相对基座模型的精度变化 $\Delta=\mathrm{acc}{\rm method}-\mathrm{acc}{\rm base}$,基准包括 IFBench、AIME25、MATH500、LiveCodeBench、Scicode、MMLU-Pro、MMLU-ProX、WMT24++,再对各基准取平均。算力效率以达到同等精度所需的 rollout 轮数倍数与挂钟时间倍数衡量。

三、介入环节、改动与影响指标

结论:改动集中在状态选择与奖励信用分配两个环节,上游数据与下游评估不变,更新框架仍为 GRPO。

状态选择环节。 离线用冻结参考策略 $\pi_0$ 对每个候选状态做 $K$ 次本地 rollout,估计奖励均值与方差;保留方差大于零、成功率低于阈值的边界状态,rollout 预算集中投入这些状态,均匀成功或均匀失败的状态不投入交互。

奖励环节。 严格匹配奖励替换为验证器功能奖励,动作落在本地可接受集合 $\mathcal M(s)$ 内即给正奖励,不复现示范路径也可获得信用。

rollout 粒度。 端到端全轨迹 rollout 改为边界状态上的单步本地 rollout;策略更新仍走 clip 与 KL 正则的 GRPO 目标,奖励换成本地验证器奖励,状态集换为筛选后的 $\mathcal D_{\rm pivot}$。

直接影响的指标包括:rollout 轮数与挂钟时间,单步本地 rollout 替代全轨迹后,达到同等精度所需交互量下降;奖励方差与有效梯度信号,奖励一致、优势为零的状态被移除;域内精度,功能等价的其他动作不再被惩罚;域外保持,功能奖励仅抬高可接受动作集合上的概率质量,保持任务无关动作之间的相对排序,KL 更新幅度受限。论文对照中,PivotRL 在四个智能体域平均域内精度较同数据 SFT 高 4.17%,八项非智能体基准平均域外精度高 10.04%;SWE-Bench 上以约 4 倍更少的 rollout 轮数取得与 E2E RL 相当的精度,挂钟时间减少至约 1/5.5。

参考文献

Shao, Z., Bai, X., Huang, Z., Wang, Y., Sun, J., Zhang, K., Li, C., & Zhang, J. (2024). DeepSeekMath: Pushing the limits of mathematical reasoning in open language models. arXiv. https://arxiv.org/abs/2402.03300

Yi, J., Mosk-Aoyama, D., Huang, B., Gala, R., Wang, C., Devare, D., Bhardwaj, K., Gupta, A., Kuchaiev, O., Jiao, J., Zhang, J., & Srinivasan, V. (2026). PivotRL: High accuracy agentic post-training at low compute cost. arXiv:2603.21383. https://arxiv.org/abs/2603.21383