1 min read

交易序列的监督设计

交易序列的监督设计

预训练交易序列的难点在于,预训练目标本身缺乏与下游对齐的判据。同一份流水可以支撑购买预测、流失预测与风险判别;同一个金额字段既能被描述为落点区间,也能被描述为相对上一笔的增减,还能被描述为相对历史均值的偏离。三种说法对历史表示提出不同要求,而编码器只会保留被要求预测的那部分信息。Zuo et al.(2026)把这件事命名为监督信号的设计问题:训练之前先决定预测什么,比之后调结构更能决定表示里剩下什么。

此前做法的卡点有两处。Babaev et al.(2022)的 CoLES 对齐同一实体的不同子序列视图,Padhi et al.(2021)的 TabBERT 还原被掩码的字段,Moskvoretskii et al.(2024)的 MLEM 把生成与对比两种信号对齐,Li et al.(2025)的 PANTHER 在事件级做序列预训练。这些方法的目标集在训练前已固定,衡量它们的是重建误差、对比损失与下一事件命中率。这类量描述历史是否易于还原或易于预测,与下游排序效果之间不存在单调关系。多目标情形下,各目标按边际似然相加,给定历史后默认彼此条件独立;两个历史可以令每个目标的边际概率相同、联合分布相反,这部分差异不进入梯度。

TAPES(Task-Aligned Joint Predictive Pretraining for Transaction Event Sequences,TAPES)把监督目标写成字段与算子的二元组。它先给每个字段列出适用的几种算子,能真正配出标签的组合构成候选范围;再从中搭出若干套目标集,用短程试跑后的下游探针得分挑出一套;最后用共享离散隐变量把选中的目标合成为一个联合似然。输入字段与编码器结构未作改动,改动落在链路第三环,即预训练监督目标的构造与参数化。

一、环节一:事件输入与字段编码

输入:原始交易事件,含类别字段、金额、时间戳与字段级观测标志。TransRisk 的历史事件含 11 个类别属性,长度上限 300 个事件,当前交易另有 652 维特征(表5)。

操作:类别字段查表嵌入,数值字段标准化或分箱,时间信息拆为绝对时间与事件间隔,字段缺失以独立标记写入输入。

输出:定长事件向量序列。

指标:字段覆盖率为非空观测数除以应有观测数;序列长度取分位数;事件间隔 $\Delta t$ 看分布形态。此段不参与模型选择,只判定输入可用性。

二、环节二:序列编码与历史表示

输入:事件向量序列 $e_{i,1},\dots,e_{i,t}$。

操作:因果编码器逐位更新,$h_{i,t}=f_\theta(H_{i,t})$ 只读取 $t$ 及之前的前缀,取末位有效状态作为整条历史的表示。

输出:$h_{i,T_i}\in\mathbb{R}^{d}$。

指标:线性探针。冻结 $h$,只训练线性读出层,在留出集上计算 AUROC,用以测量表示中是否存在下游信号。

三、环节三:预训练监督目标的构造

输入:相邻事件对 $(H_{i,t},e_{i,t+1})$。

操作:每个目标由字段 $f$ 与算子 $o$ 组成,算子的适用范围由字段本身决定。类别字段可做状态转移、与历史的关系判断、缺失标志,以及基数较低时直接预测原值;数值字段可做落点区间、相邻差分、相对前缀有效观测均值的偏离。配不出标签的组合予以排除:序列第一笔没有上一笔,相邻差分在该位置无从计算;连续数值做分位分箱后才有档位,原值无法直接当作类别。数值量按分位数边界离散化,边界在预训练子集上拟合一次后冻结。

输出:每个目标的离散标签 $y_{i,t,a}$ 与有效性掩码 $m_{i,t,a}\in{0,1}$,缺失本身亦编码为类别。

指标:

  • 联合负对数似然,遍历全部有效相邻事件对 $\mathcal{P}_S$:

$$\mathrm{NLL}=-\frac{1}{|S|,|\mathcal{P}S|}\sum{(i,t)\in\mathcal{P}S}\log p\omega\big(y_{i,t,O_{i,t}(S)}\mid h_{i,t}\big)$$

其中 $O_{i,t}(S)$ 为掩码有效的目标子集,除以 $|S|$ 使不同大小的集合可比。

  • 掩码字段重建的 macro-F1,逐类计算 $F1=2PR/(P+R)$ 后算术平均。

  • 下一事件预测的 top-1 命中率。

  • 对比检索的 Recall@k,用表示做近邻检索,统计同实体片段被召回的比例。

此段指标衡量监督信号自身是否可学,不含下游效用。

四、环节四:下游适配与业务评估

输入:预训练编码器参数与下游标签 $Y_i$。

操作:接仿射任务头 $z_i=W_\psi h_{i,T_i}+b_\psi$,二分类与多标签用 sigmoid、多分类用 softmax,联合损失不再优化。

输出:预测概率 $\hat Y_i$。

指标:

  • AUROC,随机取一正一负,正例得分高于负例的概率,遍历全部正负样本对,与阈值无关:

$$\mathrm{AUROC}=\frac{1}{PN}\sum_{i\in\mathcal{P}}\sum_{j\in\mathcal{N}}\mathbb{1}[\hat s_i>\hat s_j]$$

  • AP,按分数降序逐点累加,沿召回率逐档积分精度:

$$\mathrm{AP}=\sum_{k}(R_k-R_{k-1})P_k$$

  • macro-AUROC,将多分类拆为 $K$ 个一对二分类,逐类算 AUROC 后平均。

  • Recall@top1%,取分数最高的 1% 样本,命中正例数除以全部正例数。

  • 预算内召回,0.5% 干预预算下相对基线多捕获的高风险客户占比。

五、本文改动

候选库默认每个集合 4 个目标,混合成分 $K=2$,候选上限 8 个;下游训练池切成互不相交的预训练、探针、打分三份。每个候选从同一初始化跑 512 次更新,冻结编码器后用 128 步拟合探针,在打分子集上按任务主指标取 $\arg\max$。选中之后把编码器重置回共同初始化重训五个完整轮次(附录A.3),试跑权重不进入最终模型。联合似然为

$$p_\omega(y_{i,t,S}\mid h_{i,t})=\sum_{k=1}^{K}\pi_k(h_{i,t})\prod_{a\in S}q_{a,k}(y_{i,t,a}\mid h_{i,t})$$

式中 $\pi_k$ 为第 $k$ 个成分的权重,$q_{a,k}$ 为该成分下目标 $a$ 的类别分布。成分内部条件独立、成分之间混合,边际相加相当于取 $K=1$。

受影响的指标:AlfaBattle 的 AUROC 较最强基线高 0.43 个百分点,Taobao 高 0.37,MBD-mini 高 0.62,Retail X5 高 0.29(正文5.2);消融中固定集合换为选中集合,AlfaBattle AUROC 与 Retail X5 Macro-F1 分别增加 0.29 与 0.68 个百分点,联合换为边际分别增加 0.26 与 0.29(表4)。冻结表示下 TransRisk 的 Recall@top1% 在 1% 用户参与探针更新时为 9.51%,基线为 3.08%(图5)。Rosbank Churn 上为 82.99,低于 CoLES 的 83.81(表1)。

参考文献

Zuo, R., Han, W., He, H., Jiang, H., Zhao, Z., Sheng, J., Tan, X., Chen, S., & Zhang, T. (2026). TAPES: Task-aligned joint predictive pretraining for transaction event sequences. arXiv:2611.04747. https://arxiv.org/abs/2611.04747