2 min read

支付交易表示预训练

支付活动留下授权、清算、结算、退单、争议若干环节的记录。一笔卡交易在授权时只有金额、币种、时间戳、商户类别码、发卡标识;清算后追加交换费率与批次号;持卡人退单后追加原因码与时限。欺诈检测判断这笔交易是否会被标记为欺诈,网络响应预测发卡方返回的响应码,重试响应预测被拒绝后的重试是否获批,支付优化调整路由。四类任务读的是同一批记录的不同切片。论文中投入生产的推理服务每日处理数百万笔交易,峰值承载每秒 500 笔,单笔推理成本低于 0.0001 美元;单笔记录在商户服务中约 150 个字段,在财资服务中约 300 个字段。

各任务各建一套模型的做法沿用了很久。把整行记录序列化成文本再交给语言模型,句法层面可读,字段语义与决策时点边界随之丢失:授权阶段不可见的结果字段,在文本里与可见字段没有区别。通用表格基础模型的表示面向宽表学习,在跨表迁移与上下文预测上有效,却未处理支付字段的层级语义、延迟到达的标签和毫秒级打分约束。时序基础模型以数值外推为主,图基础模型在批处理、图分区与消息传递的过平滑上付出工程代价。

large payments model(LP(\mathcal M))把交易记录当作一种独立模态处理,用自监督预训练得到字段与交易两个层级的共享表示,再把这层表示接在各任务原有的预测层上。这个动作落在端到端链路的表示构造与表示学习两个环节;语料与评估切分、标签口径、线上决策流程沿用原样。

一、问题

结论:它处理的是结构化交易数据上的领域基础模型构造问题——在字段类型混杂、卡号与商户号这类标识符的取值量级远超常规词表、字段含义随支付阶段变化、历史长且欺诈结果稀疏的数据上,训练一份可跨任务复用的表示。

问题本身。一条交易记录是定长字段的元组 (\mathbf{x}=(x_c)_{c=1}^{C}),(C) 为模式字段数。数值字段取值于实数,类别字段取值于词表 (V_c),文本字段由共享词表的 token 组成。字段的含义由它在模式中的角色确定,事件的可解释性取决于它与前序活动的关系。这里有几重约束同时存在:字段类型混杂,金额的阈值与周期性行为不能由单一线性投影表达;卡号、商户号、账户号的不同取值可以达到百万乃至更大的量级,类别字段的常规处理是为每个取值单列一个 (D) 维向量,取值越多,嵌入表越大,到支付场景的规模,嵌入表本身会成为参数主体,压缩模型其余部分的空间;同一字段在授权阶段与清算阶段的可得性不同,训练时看到的结果字段在推理时并不存在;单笔预测的耗时与内存受限于支付系统的处理节拍。

为什么重要。同一批记录支撑多个任务,任务之间共享的是交易的结构与行为模式,不仅限于标签。每新增一个任务,就要重新积累标签、重新设计聚合特征、重新训练与维护模型。商户服务中欺诈正例的比例以万分之几计,标签积累以月为单位;财资服务中 ACH 与电汇共用清算通道,两者的欺诈人群与复核预算却不同,特征口径无法直接互换。

此前主流做法的卡点。任务专属监督模型把特征与样本按任务隔离,学到的行为模式不能迁移,新任务从零开始。序列化文本路线保留句法,丢失字段语义与生命周期边界。通用表格基础模型擅长跨表迁移,其推理形式却不为低延迟逐笔打分设计,也未编码"授权后才知道"这类信息边界。时序基础模型处理的是数值序列的外推,交易记录中的类别标识与状态码不在其建模范围内。图基础模型能表达实体关联,但大规模预训练时的不规则拓扑给批处理、分区与分布式执行带来代价。

二、链路与指标

结论:主流链路分五段——语料与样本构造、表示与特征构造、表示学习、下游任务建模、适配与线上服务。预测段用排序与分类指标,表示段用邻域与迁移指标,服务段用延迟、吞吐与单笔成本。

第一段,语料与样本构造。此处没有统一指标,工程上以覆盖度与切分合规性衡量。覆盖度指某实体在预训练语料中至少出现一次的占比。均匀随机采样会让高频实体与常见模式占据语料,稀有但运营上重要的活动被稀释,故按实体分层采样。切分合规性指训练窗口与评估窗口是否被间隔隔开,论文的取值是训练五个月、间隔至少一个月、随后两个月出窗测试。

第二段,表示与特征构造。指标是近邻宏 F1:在 (D) 维表示空间中,按余弦距离为每个查询样本取 (k) 个近邻,以多数投票预测属性,逐类计算 (F1_c) 后取宏平均

$$ \mathrm{MacroF1}=\frac{1}{C}\sum_{c=1}^{C}F1_c,\qquad F1_c=\frac{2P_cR_c}{P_c+R_c} $$

辅以置换标签的零假设做对照:保持查询标签与近邻分配不变,随机重排参考样本的标签,取十次置换的均值。另一项是嵌入表规模。若按常规为每个类别值分配 (D) 维向量,参数量为 (V_cD);分区嵌入的参数量为

$$ \big|\theta^{\mathrm{part}}\big|=\sum_{b=1}^{B_c}V_{c,b}D_{c,b},\qquad \sum_{b=1}^{B_c}V_{c,b}=V_c $$

第三段,表示学习。训练期看重建损失:类别字段用交叉熵,数值字段用均方误差,严重不平衡的类别用 focal loss。对外衡量用主干参数冻结、只加轻量适配层之后的相对变化量 (\Delta \mathrm{AP}),表示为

$$ \Delta\mathrm{AP}=\frac{\mathrm{AP}{\mathrm{model}}-\mathrm{AP}{\mathrm{base}}}{\mathrm{AP}_{\mathrm{base}}}\times 100% $$

第四段,下游任务建模。排序类任务用 AP,即精度—召回曲线下的面积,按分数降序排列的阈值点 (n) 累加

$$ \mathrm{AP}=\sum_{n}\left(R_n-R_{n-1}\right)P_n,\qquad P_n=\frac{TP_n}{TP_n+FP_n},\ R_n=\frac{TP_n}{TP_n+FN_n} $$

多分类任务用宏平均 F1,各类等权,防止高频响应码淹没长尾响应。反欺诈在固定复核容量下评估,容量体现为按分数排序后允许人工复核的笔数上限,指标为笔数召回与金额召回

$$ \text{笔数召回}=\frac{\text{被拦截的欺诈交易笔数}}{\text{欺诈交易总笔数}},\qquad \text{金额召回}=\frac{\text{被拦截的欺诈交易金额}}{\text{欺诈交易总金额}} $$

第五段,适配与线上服务。适配指标是 (\Delta\mathrm{AP}) 与可训练参数量,例如线性探针的参数量与低秩适配(low-rank adaptation,LoRA)的参数量。服务指标是 p99 延迟,即 99% 请求的响应时间上界;峰值吞吐,即每秒可承载的请求数;以及单笔推理成本。蒸馏则看学生模型相对教师模型的 (\Delta\mathrm{AP}) 留存。

三、介入点

结论:LP(\mathcal M) 介入链路的第二段与第三段,替换字段编码与自监督目标,新增两种上下文组织方式与一条蒸馏路径。下游预测层、标签口径、评估切分与线上决策流程未改动。直接受影响的是第四段的 AP、宏平均 F1、固定容量召回,第二段的近邻宏 F1 与嵌入表规模,以及第五段的 p99 延迟、峰值吞吐与单笔成本。

字段编码的替换。数值字段不再用单一线性投影,而由原始值、Fourier 分支、分段线性分支拼接后映射到同一宽度 (D)

$$ e^{\mathrm{num}}(x_c)=P_r\big(r_c(x_c)\big)\oplus P_f\big(f_c(x_c)\big)\oplus P_p\big(p_c(x_c)\big) $$

Fourier 分支取多尺度全局变化,分段线性分支在学习的中心点之间插值,取局部阈值附近的解析度

$$ f_c(x_c)=A_c\Big[x_c,\ \big{\sin(\omega_{c,j}x_c),\cos(\omega_{c,j}x_c)\big}_{j=1}^{F}\Big] $$

$$ p_c(x_c)=(1-\alpha_c)\mathbf{v}{c,k}+\alpha_c\mathbf{v}{c,k+1},\qquad \alpha_c=\frac{x_c-a_{c,k}}{a_{c,k+1}-a_{c,k}} $$

高基数标识符按词频或业务分配规则分桶,高频值获得更宽的表示,长尾值获得较窄的表示,全部桶最后汇入同一个公共字段空间。

自监督目标的替换。遮蔽不再逐字段均匀采样,而由三种策略混合:随机遮蔽重建单个字段;逻辑跨度遮蔽一次移除语义相关的字段组,例如全部卡相关字段,要求模型从记录其余部分重建;生命周期遮蔽按决策点的信息边界扣住字段,定价后结果在观测上下文代表授权前信息时被隐去。重建目标为

$$ \mathcal L_{\mathrm{ind}}=\mathbb E_{\mathbf x,\mathcal M}\left[\frac{\sum_{c\in\mathcal M}w_c,\ell_c\big(q_c(H_c^{(L)}),x_c\big)+\lambda_{\mathrm{bot}}\ell^{\mathrm{bot}}\big(q^{\mathrm{bot}}(b_c(H_c^{(L)})) ,x_c\big)}{\sum_{c\in\mathcal M}w_c}\right] $$

其中 (\mathcal M) 为被遮蔽字段的集合,(\ell_c) 为字段 (c) 的预测损失,(w_c) 为字段权重,(\lambda_{\mathrm{bot}}) 控制附加瓶颈目标,取零即关闭。辅助项训练一个低维瓶颈输出 (b_c(H_c^{(L)})),其输出可作为下游树模型的增广特征。

上下文组织的替换。Independent 变体把单笔记录的全部字段联合建模,历史以固定尺寸的聚合字段进入,推理成本与历史长度无关。Sequence 变体直接建模实体关联的历史,每步字段嵌入先压成 (\mathcal M\approx 20%\cdot C) 个压缩通道,再交替堆叠交易内与交易间两类模块

$$ Z^{(\ell)}=\mathrm{CrossIntra}\ell\big(Z^{(\ell-1)},\mathbf{E}\big),\qquad \bar Z^{(\ell)}=\mathrm{CausalInter}\ell\big(Z^{(\ell)}\big) $$

交易内模块在固定时间步上对通道做双向注意力,并以该笔原始字段嵌入作为交叉注意力的键与值;交易间模块对每个通道沿时间独立做因果注意力。监督是稠密时序形式

$$ \mathcal L_{\mathrm{seq}}=\mathbb E_{\mathbf X}\left[\frac{1}{\sum_{k\in\mathcal K}w_k}\sum_{k\in\mathcal K}\frac{w_k}{\sum_{t=1}^{T-\delta_k}\rho_{t,k}}\sum_{t=1}^{T-\delta_k}\rho_{t,k}\ell_k\big(q_k(h_{t,k}),x_{t+\delta_k,k}\big)\right] $$

其中 (\delta_k\in{0,1}) 指该预测层取当期字段((\delta_k=0))或下一笔交易字段((\delta_k=1)),(\rho_{t,k}) 为时间步权重。因果遮蔽与偏移共同阻止未来交易与后续生命周期结果进入 (h_{t,k})。

蒸馏路径的引入。教师输出 (p_T) 与学生输出 (p_S) 之间,按监督项、软标签差异项、排序项三项加权

$$ \mathcal L_{\mathrm{distill}}=\lambda_{\mathrm{sup}}\mathcal L_{\mathrm{sup}}(y,p_S)+\lambda_{\mathrm{soft}}\mathcal D_T(p_T,p_S)+\lambda_{\mathrm{rank}}\mathcal L_{\mathrm{rank}}(p_T,p_S) $$

学生可以是压缩后的同族模型,也可以是梯度提升树。

指标变化。商户服务欺诈检测的 AP 相对任务专属基线提升 62.7%(Independent)与 85.5%(Sequence),Sequence 相对 Independent 多 23 个百分点。网络响应中,100 类响应码的细粒度宏平均 F1 提升 80.0% 与 89.5%,不足 10 类的粗粒度分类提升 4.5% 与 8.4%。重试响应的 AP 两种变体同为 22.8%。财资服务在固定复核容量下,ACH 欺诈的笔数召回提升 27.4%、金额召回 63.5%,电汇欺诈的笔数召回提升 5.6%、金额召回为 0.0%。表示空间的近邻宏 F1 在 ((k=30)) 时为支付方式 0.889、商户类别 0.604、网络响应 0.793,置换标签零假设为 0.098、0.079、0.163。未参与预训练的新目标任务上,线性探针用不到 1 千个可训练参数,AP 低于基线 2.1%;LoRA 用约 67 万参数,AP 高于基线 0.5%。服务端每日处理数百万笔交易,峰值承载每秒 500 笔,99% 请求在 60 毫秒内完成,单笔推理成本低于 0.0001 美元。

参考文献

Raman, N., Manoharan, A., Thuniki, V., Kansara, D., Som, A., Firouzi, H., et al. (2026). Large payments model [Preprint]. arXiv. https://arxiv.org/abs/2611.15814