RLVR 训练链路指标

可验证奖励强化学习（Reinforcement Learning with Verifiable Rewards，RLVR）用于大语言模型推理训练，链路按采样 rollout、奖励判定、优势估计、策略更新、推理评测五个环节顺序推进。各环节使用的指标与计算方式如下。

一、采样环节

对同一问题 $q$ 采样一组响应 ${o_1,\dots,o_G}$。训练时每题 8 条 rollout，采样温度 1.0、top_p 1.0；评测时每题生成 $n=300$ 条响应。

衡量采样分布探索程度的指标为策略熵：

$H=-\sum_{j=1}^{|V|}P_j\log P_j$

$|V|$ 为词表大小，$P_j$ 为下一个词在第 $j$ 个词表项上的概率。熵值高表示分布覆盖较大的解空间，熵值趋近零表示分布收敛到确定预测。

二、奖励环节

采用可验证稀疏奖励。第 $t$ 步奖励 $r_t=0$（$t<n$），末步奖励 $r_n\in[0,1]$，表示该响应是否完成任务；回合回报为

$R(q,o)=\sum_{t=1}^{|o|}r(s_t,o_t)$

状态 $s_t=[q,o_{<t}]$ 由问题与已生成 token 组成。

三、优势估计环节

GRPO（Group Relative Policy Optimization）不设独立评论家网络，在每题一组响应内对奖励做组内归一化：

$\hat A_{i,t}=\frac{R_i-\mathrm{mean}(R)}{\mathrm{std}(R)}$

$\hat A_{i,t}$ 为第 $i$ 条响应第 $t$ 步的优势，$\mathrm{mean}(R)$ 与 $\mathrm{std}(R)$ 分别为该组奖励的均值与标准差。

四、策略更新环节

截断代理目标为

$J_{\mathrm{GRPO}}(\pi_\theta)=\mathbb{E}{q\sim Q,{o_i}\sim\pi\theta(\cdot|q)}\left[\frac1G\sum_{i=1}^G\frac1{|o_i|}\sum_{t=1}^{|o_i|}\min\big(\rho_{i,t}\hat A_{i,t},\ \mathrm{clip}(\rho_{i,t},1-\epsilon,1+\epsilon)\hat A_{i,t}\big)\right]$

其中重要性比率 $\rho_{i,t}=\dfrac{\pi_\theta(o_{i,t}|s_{i,t})}{\pi_{\mathrm{old}}(o_{i,t}|s_{i,t})}$。

训练过程中伴随四类监控指标：$\mathrm{KL}$ 散度，度量更新后策略与参考策略之间的偏离；困惑度（Perplexity，PPL），度量语言建模质量；余弦相似度，度量不同层隐藏状态之间的逼近程度；熵变化 $\Delta H^l=H^l_{\mathrm{Output}}-H^l_{\mathrm{Input}}$，$\Delta H^l>0$ 表示模块输出扩大探索空间，$\Delta H^l\approx0$ 表示整合既有知识，$\Delta H^l<0$ 表示在模块内收敛。

五、推理评测环节

报告无偏 Pass@K：

$\mathrm{Pass@K}:=\mathbb{E}_{x\sim D}\left[1-\frac{\binom{n-c}{K}}{\binom{n}{K}}\right]$

$c$ 为 $n$ 条生成响应中答对的条数，$n=300$。另报告 Avg@K，即 Pass@1 在 $K$ 条输出上的平均；AIME24、AIME25 取 $K=32$，MATH500、AMC23 取 $K=16$。

参考文献

Tan, Y, Wang, M, He, S, Liao, H, Zhao, C, Lu, Q, Liang, T, Zhao, J, & Liu, K. (2026). Bottom-up policy optimization: Your language model policy secretly contains internal policies. arXiv preprint arXiv:2512.19673. https://arxiv.org/abs/2512.19673