1 min read

镜像假设:样本颗粒度对齐与提纯方法

在处理异常交易识别问题时,我们常常陷入一个根本性矛盾:由于实际业务场景下,让运营人员对每笔交易逐一审核并标记是否异常,其工作量几乎难以承受。因此,运营人员往往只能从用户维度出发,判断用户是否存在异常交易行为。而模型却在学习 “交易是否异常”,这种识别和打标颗粒度的不对齐,导致实际操作中,运营人员会将 “异常交易用户” 的历史交易全部标记为 “异常”。这种粗放的打标方式,使得训练集充斥着大量 “被误标异常” 的标签噪音,最终造成模型的误打扰率(FP)居高不下。而镜像假设通过反向思维,能够精准解决因颗粒度不一致产生的标签噪音问题,其核心步骤包含以下三步。

一、核心矛盾:标签错位导致的噪音

运营判断用户是否存在异常交易,主要依据用户的长期行为。例如,用户 A 频繁进行小额转账,运营可能会判定其存在异常交易行为。而模型学习交易是否异常,需要判断单笔交易是否存在异常。比如用户 A 的超市消费属于正常交易,但这笔交易在整体判断中,是否指向该用户存在异常交易行为,是模型需要考虑的。然而,在标注过程中,由于识别和打标颗粒度的差异,为了图省事,我们会直接把存在异常交易用户的所有交易标为 “异常”,这就导致训练集产生大量噪音。久而久之,模型逐渐形成 “用户 = 异常交易” 的错误逻辑,进而引发频繁的误判。

二、镜像假设落地三步:从错误交易到噪音清理

(一)镜像假设论文核心思想与方法论迁移

针对大规模黑箱模型提出镜像影响假设,核心是打破 “训练集影响测试集” 的传统认知,创新性地通过前向传播估计训练数据对特定测试样本的影响,无需依赖复杂的反向计算或模型重构(Ko et al., 2024)。该方法可广泛应用于扩散模型数据归因、数据泄露检测、记忆模型分析、语言模型行为分析等场景,其代码库可参考 reds-lab/Forward-INF,为不同领域的模型优化提供了通用的 “数据影响定位” 解决方案,也为异常交易识别模型的噪音清理提供了关键方法论支撑。

传统分析训练数据对测试样本影响的方法存在显著困境,难以适配大规模模型场景:

  1. 重新训练法:若怀疑某训练数据对测试结果有影响,需将其从训练集中剔除后重新训练整个模型,通过对比测试结果变化判断影响程度。但当前模型规模已达千亿参数级别,重新训练一次的时间、算力成本极高,在实际业务中几乎无法落地。

  2. 梯度计算法:通过计算训练数据对测试样本的梯度值,以梯度大小衡量影响权重。但需对每一条训练数据单独计算梯度,当训练数据量达到百万、千万级时,计算量呈指数级增长,内存资源也无法承载,最终导致方法失效。

镜像假设的核心思路在于 “反向操作”:不依赖训练集推导对测试集的影响,而是用少量测试集数据微调模型,通过观察训练集数据在微调后的表现变化,高效定位对测试结果有关键影响的训练样本 —— 其核心依据是 “测试集微调会反向改变训练数据的模型输出结果”。这一思路在不同场景下可实现精准应用:

  • 数据泄露检测:若用某条测试数据微调模型后,少数训练数据的输出变化极其剧烈,大概率说明这些训练数据与测试数据完全一致,存在数据泄露问题。

  • 错误标签检测:输出变化异常的训练数据,可能本身是 “错标样本”(如标签标反、类别混淆等),是导致模型预测偏差的 “问题源”。

  • 数据归因:若排除数据泄露、标签错误等问题,输出变化剧烈的训练数据即为 “影响测试结果的关键因素”,可精准定位模型预测效果好 / 差的根本原因。

在异常交易识别模型优化中,我们基于上述方法论,通过以下三步实现样本颗粒度对齐与噪音清理:

1. 找 “错误交易”

从测试集筛选两类模型判断错误的用户交易数据,以此作为定位训练集噪音的入口:

  • 漏判交易:实际为异常交易用户的交易,但模型误判为 “非异常”。例如,用户 B 在凌晨进行小额转账给陌生账户,由于训练数据中同类场景样本不足导致训练偏差,模型将其漏判为正常交易。

  • 误判交易:实际为非异常交易用户的正常交易,但模型误判为 “异常”。比如用户 C 的信用卡还款行为,因还款金额、时间与部分异常交易特征相似,被模型错误标记为异常交易。

2. 基于镜像假设定位噪音

我们将筛选出的单条错误交易(如用户 C 被误判为异常的还款交易)加入训练集,对模型进行轻量微调(类似少量测试集数据微调的操作)。微调后,监测模型对训练集所有交易 “异常概率” 的输出变化:

  • 真正的异常交易因符合模型固有识别逻辑(如频繁小额转账、陌生账户收款等),其 “异常概率” 变化较小;

  • 被误标的正常交易(如用户 C 日常的超市消费、水电缴费等),由于微调后模型对 “正常交易特征” 的识别能力提升,其 “异常概率” 会出现显著暴跌。

这些 “异常概率” 变化异常剧烈的训练集交易,即为需要重点清理的 bad training data(问题训练数据),需从训练集中进一步复核、处理。

3. 清洗迭代,对齐目标

对定位到的 bad training data,结合业务规则进行针对性处理,实现训练集与模型预测目标的颗粒度对齐:

  • 误标交易(如线上电商消费、正规商户收款被标为异常交易):通过人工复核修正标签,或直接剔除无法修正的样本;

  • 特征干扰交易(如正常代发工资与异常转账的金额、频次特征相似):补充 “商户类型 = 代发”“交易对手为企业账户” 等区分特征,帮助模型精准识别差异。

经过多轮清洗迭代后,模型的判断逻辑从 “依赖用户标签” 转向 “聚焦单笔交易特征”,真正贴合异常交易识别场景中 “识别异常交易” 的核心目标,解决颗粒度不对齐问题。

三、落地效果:精准 + 高效

通过样本提纯有效解决训练集中的 FN(漏报)和 FP(误报)问题,实现模型性能与运营效率双提升:

  • 误报率(FP)下降:精准识别还款、工资代发、日常消费等正常交易,避免对非异常交易用户的误打扰,降低运营复核成本;

  • 漏报风险有效控制:通过清理错误标签噪音,模型对凌晨小额转账、多账户循环转账等异常交易的捕捉更全面,减少潜在异常交易风险遗漏。

最后

模型效果不佳,有时并非算法架构问题,而是训练数据与预测目标 “没对齐”。尤其是在异常交易识别这类 “用户级标签≠交易级预测” 的场景中,识别和打标颗粒度不对齐产生的标签噪音,会严重扭曲模型学习逻辑。镜像假设的核心启发在于:模型判错的交易,正是清理训练集噪音的关键钥匙 —— 其通过 “反向微调 + 前向观察” 的思路,高效定位问题样本,既解决了传统方法的大规模适配难题,又为业务场景提供了可落地的操作路径。

该方法不仅适用于异常交易模型优化,在扩散模型数据归因、数据泄露检测、记忆模型分析、语言模型行为分析等场景同样具有应用潜力,相关理论支撑可参考 Ko 等人(2024)的研究,代码实现可参考 reds-lab/Forward-INF

参考文献

Ko, M., Kang, F., Shi, W., Jin, M., Yu, Z., & Jia, R. (2024). The Mirrored Influence Hypothesis: Efficient Data Influence Estimation by Harnessing Forward Passes. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) (pp. 26286–26295). IEEE Computer Vision Foundation. https://github.com/ruoxi-jia-group/forward-INE