一、解决的问题
这篇论文处理在线蒸馏（on-policy distillation，OPD）中的监督信号构造问题。学生在自身当前策略采样出的轨迹上，由冻结教师提供稠密监督，研究需要回答从教师模型的哪一部分提取监督。
OPD 兼具在线采样与稠密反馈。SFT 依赖固定示范，存在训练—推理错位；纯 RL 依赖稀疏结果奖励，OPD 处在两者之间，监督信号的质量直接决定学生模型的能力上限。
此前主流做法分两条路线。输出空间路线的监督来自下一 token 概率或对数概率差，教师内部表征编码的知识没有被充分利用。表征路线逐位置匹配师生隐状态，隐维度与特征空间不一致时，跨架构迁移需要额外投影层与校准阶段；直接匹配把学生表征压向教师编码，学生自身的表征自由度受到限制。
二、端到端链路与衡量指标
OPD 的端到端链路由在线响应采样、监督信号构造、学生策略更新、基准评测四个环节组成。
在线响应采样。 学生策略 $\pi_\theta$ 对提示 $x \sim p$ 生成响应 $y=(y_1,\dots,y_T)$，教师 $\pi_T$ 在同一条轨迹上给出监督。衡量指标为 on-policy 覆盖率，即进入训练的轨迹全部来自当前 $\pi_\theta$，而非固定数据集；论文未单列该指标的数值，由训练框架保证。
监督信号构造。 输出空间路线对下一 token 分布做反向 KL。设 $p_{\theta,t}=\pi_\theta(\cdot\mid x,y_{<t})$、$p_{T,t}=\pi_T(\cdot\mid x,y_{<t})$，目标为
$$L_{OPD}(\theta)=\mathbb{E}{x,y}\Big[\sum{t=1}^{T}D_{KL}(p_{\theta,t},|,p_{T,t})\Big].$$
RL 实现中，教师按对数概率差给出 token 奖励 $r_t=\log\pi_T(y_t\mid x,y_{<t})$。表征路线设第 $\ell$ 层、第 $t$ 位置隐状态为 $h_{\theta,t}^{(\ell)}$、$h_{T,t}^{(\ell)}$，归一化后 $\bar h=h/|h|_2$，逐位置误差为
$$\delta_t^{(\ell)}=\big|\bar h_{\theta,t}^{(\ell)}-\mathrm{sg},\bar h_{T,t}^{(\ell)}\big|_2^2,$$
其中 $\mathrm{sg}$ 为停止梯度算子。损失在监督层集合 $\mathcal{I}$ 与监督位置上平均：
$$L_{OPRD}(\theta)=\mathbb{E}{x,y}\Big[\frac{1}{|\mathcal{I}|}\sum{\ell\in\mathcal{I}}\frac{\sum_t m_t\delta_t^{(\ell)}}{\sum_t m_t}\Big],$$
$m_t\in{0,1}$ 标记位置是否受监督。
学生策略更新。 输出空间路线按策略梯度更新，
$$\nabla_\theta J_{OPD}(\theta)=\mathbb{E}{x,y}\Big[\sum{t=1}^{T}r_t\nabla_\theta\log\pi_\theta(y_t\mid x,y_{<t})\Big]$$
表征路线直接对表征损失反传。论文未把更新幅度、KL 量作为对外报告指标。
基准评测。 数学推理在 AIME 2024、AIME 2025、AIMO（AMC 2022/2023）上进行，每题独立采样 16 条响应、温度 0.7，报 Avg@16，即各题正确比例的平均，再在三个基准内取域内均值。代码生成在 HumanEval、MBPP、LeetCode 上按测试执行报 pass@1，即每题采样 1 条响应的测试通过比例，域内取三基准均值。Math Avg 与 Code Avg 先各自平均，再平均得 Overall，分数均为百分比。
三、介入环节与受影响指标
方法名为 SimOPD（Similarity-based On-Policy Distillation）。它介入链路第二环「监督信号构造」中的表征蒸馏分支，把逐位置隐状态直接匹配替换为响应级相似度分布匹配。
信号粒度由逐 token、逐位置隐状态改为整条响应聚合的表征 $z$，由选定层与位置的归一化隐状态平均得到：
$$z=\frac{1}{|\mathcal{I}|T}\sum_{\ell\in\mathcal{I}}\sum_{t=1}^{T}\bar h_t^{(\ell)}.$$
系统维护容量为 $N$ 的成对历史表征数据集，教师数据集 $\mathcal{B}T=(z{T,1},\dots,z_{T,N})$ 与学生数据集 $\mathcal{B}S=(z{S,1},\dots,z_{S,N})$ 的第 $j$ 项对应同一条历史响应 $y_j$。对新响应 $y$，模型 $M\in{T,S}$ 在各自数据集内计算余弦相似度，经温度 $\tau$ 软化成相似度分布：
$$P_M(j\mid y)=\frac{\exp(\mathrm{sim}(z_M^,z_{M,j})/\tau)}{\sum_{r=1}^{N}\exp(\mathrm{sim}(z_M^,z_{M,r})/\tau)}.$$
两个数据集条目指向同一批响应，$P_T$ 与 $P_S$ 面向同一参考集，特征空间不同也可直接比较。训练目标为
$$L_{SimOPD}(\theta)=\mathbb{E}{x,y}\big[D{KL}(P_T(\cdot\mid y),|,P_S(\cdot\mid y))\big].$$
优化时教师与数据集表征固定，梯度只经当前学生表征反传。学生保留自身特征空间，跨架构时不再需要跨模型投影与校准阶段。
训练侧直接受影响的指标为相似度分布 KL 损失，替代或旁路原隐状态 MSE。评测侧影响 Math Avg@16、Code pass@1 与 Overall。同架构设置下，独立训练 Overall 45.0，与 sampled-token OPD 联合训练后 45.6；跨架构设置下，独立训练 Overall 33.7，联合后 35.3。输出空间的 token KL 与奖励不在本方法改动范围内，联合训练时作为互补监督另加。
参考文献
Tang, K., Zheng, X., Wang, H., Zhu, G., Yang, S., Zang, Z., Ma, Y., Song, B., & Wang, W. (2026). SimOPD: Relational knowledge transfer for on-policy distillation. arXiv preprint arXiv:2610.23306. https://arxiv.org/abs/2610.23306