梯度归因与安全筛选

指令微调（supervised fine-tuning, SFT）在适配下游任务的同时，可能削弱大语言模型（large language model, LLM）的安全对齐，而训练样本中并不出现露骨有害内容。Qi et al. (2024) 在 Alpaca、Dolly 这类广泛使用的指令数据集上观察到安全护栏被削弱；He et al. (2024) 进一步发现退化集中在一小部分样本上，而非均匀分布于整个数据集。安全对齐决定模型能否上线交付，数据集规模持续扩大时，足以造成退化的样本数量近似恒定，定位这部分样本成为后训练阶段的前置问题。

主流筛选信号来自文本表面：毒性过滤器与 LLM 安全评委按内容是否有害逐条评判，而拉低安全的样本不含可识别的有害表述，内容侧规则难以标记（Li et al., 2025）。另一条路径是训练数据归因：用样本对模型参数更新的影响衡量其作用方向，但影响力函数需求解 Hessian 逆（Koh & Liang, 2017），逐样本梯度的计算与存储在 LLM 规模下不可行；早期梯度安全过滤只能在小数据集上运行（He et al., 2024）。

Reddy et al. (2026) 提出 SimpleLoRIF（scalable gradient embedding method），在 LoRIF（low-rank influence function, Li et al., 2026）表示基础上去除曲率校正，并将反向传播限制在最后四个 Transformer block。方法落在后训练数据链路的训练前筛选环节：对 Tulu 3（Lambert et al., 2025）全部 939,343 条样本计算梯度嵌入，对照不安全响应目标集打分，移除与不安全梯度最对齐的 20%，保留 80% 用于微调。

一、所处理的学术问题

这篇工作处理的问题，是在后训练数据集中逐一定位把模型推向不安全方向的样本。问题本身有两个特征：其一，退化样本表面良性，文本不包含有害指令、恶意代码或歧视性表述；其二，退化由可识别的子集驱动。He et al. (2024) 选取 100 条梯度与有害样本对齐、与安全样本背离的良性样本微调，攻击成功率升至 70% 以上，同规模随机子集仅为 13%。

问题的重要性在于，微调是模型适配下游任务的主要机制，安全能力在微调阶段被侵蚀后，模型在越狱攻击下更容易服从有害请求；后训练混合数据规模达到百万级，而污染样本所需数量近似恒定（Souly et al., 2025），训练后再发现模型被侵蚀，返工成本高于训练前筛选。

此前卡点分两侧。内容侧过滤器依据文本表述判断，对表面良性样本失效。梯度归因侧，影响力函数以 $g_{\mathrm{te}}^\top H^{-1}g_{\mathrm{tr}}$ 度量样本影响，$H$ 为损失对参数的 Hessian，$H^{-1}$ 曲率项需要近似求解；TracIn（Pruthi et al., 2020）放弃曲率项、以多检查点梯度点积近似，但仍需为每个训练样本计算梯度。逐样本梯度的存储与反传代价，使这类方法难以覆盖完整的 SFT 混合数据。

二、端到端链路与衡量指标

按主流视角，安全后训练的数据链路分为三个环节。

环节一是训练前数据筛选：在微调前为每条候选样本打安全退化风险分，决定保留或剔除。衡量指标为检测区分度 ROC-AUC。定义为风险分把退化样本与对照良性样本分开的能力；计算方式为随机抽取一条退化样本、其得分高于随机抽取一条良性样本的概率：

$\mathrm{AUC}=P\big(\mathrm{score}(z_{\mathrm{insecure}})>\mathrm{score}(z_{\mathrm{secure}})\big)$

AUC 为 0.5 对应随机水平，1.0 对应完全可分。

环节二是安全评测：衡量模型在越狱攻击下服从有害请求的程度，指标为攻击成功率（attack success rate, ASR）。GCG（Greedy Coordinate Gradient, Zou et al., 2023）为白盒单轮攻击，为每条有害提示优化一段对抗后缀并拼接；ActorBreaker（Ren et al., 2025）为黑盒多轮攻击，由相关实体关系构造对话路径。响应由 HarmBench 分类器（Mazeika et al., 2024）判定安全或不安全。ASR 计算方式为

$\mathrm{ASR}=\frac{N_{\mathrm{unsafe}}}{N_{\mathrm{behaviors}}}$

$N_{\mathrm{unsafe}}$ 为被判不安全的行为数，$N_{\mathrm{behaviors}}$ 为受测行为总数，数值越低越好。

环节三是能力评测：约束筛选不牺牲原有能力。通用能力采用 MMLU Pro、IFEval，领域能力采用 MBPP、GSM8K、MATH 500、MedQA，指标为准确率 $N_{\mathrm{correct}}/N_{\mathrm{total}}$，数值越高越好；ORBench 衡量过度拒答率，即把无害问题错误拒答的比例，数值越低越好。

三、介入环节、改动内容与受影响指标

本文介入环节一，即训练前数据筛选与归因，不改动微调目标，也不改动攻击与评测方式。

改动有两处。第一，信号由文本表面内容替换为梯度对齐程度。每条样本在参考模型上诱导逐样本梯度 $g(z)=\nabla_\theta \ell(\theta,z)$，$\ell(\theta,z)$ 为样本损失；梯度经两层随机投影压缩，第 $\ell$ 层投影矩阵为

$M_\ell(z)=(\delta Y_\ell P_{\mathrm{out},\ell}^\top)(X_\ell P_{\mathrm{in},\ell})\in\mathbb{R}^{d_2\times d_1}$

其中 $X_\ell$ 为输入激活，$\delta Y_\ell$ 为输出梯度，$P_{\mathrm{in},\ell},P_{\mathrm{out},\ell}$ 为固定高斯投影矩阵，$d_1=d_2=32$。压缩矩阵按有效低秩分解为秩 1 因子：

$M_\ell(z)\approx u_\ell(z)v_\ell(z)^\top$

样本与目标样本的相似度由因子双线性形式计算：

$s(z_{\mathrm{tr}},z_{\mathrm{te}})=\sum_\ell \big(u_\ell(z_{\mathrm{te}})^\top u_\ell(z_{\mathrm{tr}})\big)\big(v_\ell(z_{\mathrm{te}})^\top v_\ell(z_{\mathrm{tr}})\big)$

第二，相对 LoRIF 有两处简化：丢弃曲率校正 $H^{-1}$，分数仅用于排序，不需要校准后的影响力幅值；反向传播截断到最后四个 Transformer block，前向仍跑完整网络。目标集为 SafeRLHF（Ji et al., 2025）中 43,469 条不安全响应对，先聚类取簇质心，训练样本对质心计算相似度。

方法直接作用于环节一的检测区分度 AUC：在涌现性失准设定（Betley et al., 2025）下，不安全代码样本与安全代码样本在梯度空间分离，Qwen 检查点 AUC 为 0.604，Mistral 检查点为 0.865。筛选后的数据集为 SafeTulu，在 Qwen 3 1.7B、Llama 3.2 1B、Olmo 2 1B 上微调，GCG ASR 分别由 47.7% 降至 37%、38% 降至 30%、48% 降至 41%，ActorBreaker ASR 同步下降；MMLU Pro、IFEval、MBPP、GSM8K、MATH 500、MedQA 准确率与 ORBench 过度拒答率与全量数据训练结果接近。嵌入使用 Qwen 3 0.6B，全部 939,343 条样本在 8 张 H100 上耗时 1 小时 1 分钟。

参考文献

Reddy, S, Abbas, A, Suri, A, Morcos, A, Schwab, D, & Maini, P. (2026). Follow the gradient: Tracing safety degradation back to training data. arXiv:2610.37481. https://arxiv.org/abs/2610.37481