大模型微调的三类评测

Vedant Palit等人2026年10月发布预印本论文，arxiv编号2610.08718，机构包含图宾根马克斯·普朗克智能系统研究所、多伦多大学、斯坦福大学等，论文标题为《When Forgetting is not Catastrophic: On the Mechanics of Spurious Forgetting》。论文基于OLMo‑2‑1B模型、CounterFact事实数据集、合成人物传记数据集完成全部对照实验。实验记录三类可复现的评测流程，全部面向微调阶段的模型遗忘现象。

第一类评测，域内Top‑N召回探测。

实验人员筛选微调之前模型输出正确的事实样本，组成测试集old_test。针对每一条测试样本，划定旧知识候选答案集合，集合剔除本次微调新增的全部业务实体token。模型推理输出完整logits张量，对不属于旧知识候选集合的token施加‑1e9的mask值，仅保留候选集合内部打分结果。

脚本执行以下运算。

import torch
def within_domain_recall(logits, old_candidate_ids, label_id, topk=3):
    mask = torch.full_like(logits, -1e9)
    mask[..., old_candidate_ids] = 0
    masked_logits = logits + mask
    topk_tokens = torch.topk(masked_logits, k=topk).indices
    return label_id in topk_tokens

脚本分别输出两组数值，一组为全局Top‑1准确率，一组为域内Top‑N召回结果。

该评测仅改动推理阶段打分逻辑，不改动模型权重参数，可嵌入微调自动化流水线。该流程仅适配事实问答样本，开放生成类任务无法执行该评测。

第二类评测，延长微调自愈测试。

实验人员保持微调训练集不变，不向训练集追加任何旧样本数据。训练过程按固定间隔存储多份模型checkpoint快照。论文实验设置的快照间隔包含step10、step50、step100、step200、step400。

每一份快照，分别运行新业务指标评测、旧知识全局Top‑1评测、旧知识域内Top‑N召回评测。将全部快照的输出数值绘制时序曲线。

论文记录两种曲线形态。第一种形态，旧知识指标先出现下跌，训练继续推进后，指标出现部分回升，后续再次缓慢下行。第二种形态，旧知识指标随训练步数增加持续单向下降，无回升区段。

论文实验记录，当新样本输入本身可以推导对应答案，时序曲线不会出现回升区段。学习率参数改变指标下跌的幅度，不改变下跌事件是否发生。同一训练任务下，最优新旧能力平衡点不一定出现在训练的最后一步。

第三类评测，权重更新主成分剥离探测。

实验人员读取基座模型权重与微调后模型权重，逐层计算权重更新量ΔW，ΔW等于微调后权重减去基座权重。对每一层ΔW矩阵执行SVD奇异值分解，置零最大奇异值对应的秩‑1分量，生成仅用于评测的探测模型。探测模型不参与训练迭代，仅做离线评估。

脚本执行以下运算。

import torch
def remove_top1_svd(delta_W: torch.Tensor):
    U, S, Vh = torch.linalg.svd(delta_W, full_matrices=False)
    S[0] = 0.0
    delta_probe = U @ torch.diag(S) @ Vh
    return delta_probe

使用原始微调模型、探测模型，分别在同一套旧知识测试集完成推理，记录两组指标差值。

论文明确，该探测得到的模型不可直接投入线上服务，剥离主成分会损害新任务的输出效果。

论文记录三组实验对应的适用边界。

垂直领域微调，训练答案实体高度集中；LoRA微调后旧能力下滑；多轮增量微调，这三类场景，三组评测均可执行。

DPO、RLHF对齐训练，样本答案分布分散；训练目标为覆盖替换原有旧事实，这两类场景，三组评测产出有效信息有限。

论文记录实验后的操作动作。

域内召回高、全局Top‑1低的样本，实验人员记录三类可选操作：调低训练学习率；从多份checkpoint中选取恢复区段快照；推理阶段对旧知识token集合施加logit bias。该场景下，实验不强制向训练集回放旧样本。

域内召回与全局Top‑1同步走低的样本，实验人员记录三类可选操作：向训练集加入旧样本回放；调低学习率，缩短训练步数；LoRA训练场景下调小rank参数。

全部实验观测均在事实问答样本上完成。开放生成任务，论文没有给出对应的完整评测流程。