风控评分场景中,多模型分融合是提升风险区分能力的常用方案。该方案将多个独立模型输出的分数作为输入特征,训练融合模型生成最终评分。实际业务中,单个输入模型分可能出现分布波动,若融合模型对单特征依赖度过高,波动会传导至最终输出,引发评分分布偏移,影响业务稳定性。
针对逻辑回归这类线性融合模型,可通过修改损失函数实现输出稳定性约束。逻辑回归的核心输出为线性logit值经sigmoid函数映射后的概率评分,其线性部分表达式为: \(s = w_1x_1 + w_2x_2 + w_3x_3 + b\) (其中 \(w_1、w_2、w_3\) 为各模型分特征权重, \(x_1、x_2、x_3\) 为各模型分, \(b\) 为偏置项),概率评分为 \(\hat{y} = \sigma(s)\) ( \(\sigma\) 为sigmoid函数)。单模型分特征移除前后的输出差异,等价于该特征与对应权重乘积的贡献量。在原始交叉熵分类损失 \(\mathcal{L}_{cls} = -y\log\hat{y} - (1-y)\log(1-\hat{y})\) ( \(y\) 为真实标签)的基础上,加入一致性正则化(Consistency Regularization)项,对每个特征的贡献量施加惩罚,可强制模型学习到单特征移除前后输出差异最小化的参数。该正则项的数学形式为各特征与对应权重乘积的平方期望,总损失公式为: \(\mathcal{L}_{total} = \mathcal{L}_{cls} + \lambda \cdot \mathbb{E}\Big[\; (w_1 x_1)^2 + (w_2 x_2)^2 + (w_3 x_3)^2 \;\Big]\) ,其中 \(\lambda\) 为超参数,用于控制惩罚力度。
针对XGBoost这类树融合模型,因模型结构为分段非线性映射,无显式的特征权重参数,无法直接复用线性模型的权重惩罚方案。适配的一致性约束方案为特征屏蔽一致性训练,训练阶段对每条原始样本,构造移除单个输入模型分特征的变体样本,在损失函数中加入原始样本与变体样本输出评分分布的KL(Kullback-Leibler)散度约束,强制模型在单特征缺失的场景下保持输出稳定。KL散度约束公式为: \(\mathcal{L}_{consist} = (\hat{y} - \hat{y}_{\setminus x_1})^2 + (\hat{y} - \hat{y}_{\setminus x_2})^2 + (\hat{y} - \hat{y}_{\setminus x_3})^2\) (其中 \(\hat{y}\) 为原始样本输出评分, \(\hat{y}_{\setminus x_1}、\hat{y}_{\setminus x_2}、\hat{y}_{\setminus x_3}\) 分别为移除 \(x_1、x_2、x_3\) 后的样本输出评分)。该方案与线性模型的一致性正则化核心逻辑一致,均为在训练阶段引入可控的特征扰动,约束模型输出的分布稳定性。
该方案的核心逻辑基于一致性正则化,该方法在半监督学习、模型鲁棒性优化领域有成熟的学术支撑,其核心思路为对输入施加可控扰动并约束输出一致性,以此提升模型对分布偏移、特征缺失场景的适应能力,在异常检测、风险评分等场景已有所应用,核心优化目标为最小化特征扰动前后输出分布的KL散度。
方案落地过程中,核心验证指标包含两类:一类为风险区分能力指标,包括KS值、AUC值,验证约束引入后模型的风险区分能力无显著下降;另一类为分布稳定性指标,包括单特征移除前后输出评分的KL散度,验证约束对分布稳定性的优化效果。