真实样本不够时,训练常借扩散模型或模拟器生成一批合成样本,与真实样本混在一起。合成样本加到一定量级,验证损失不再下降,反而回升。回升幅度与生成样本偏离真实分布的程度相关,这个程度事先不可知。已有的泛化误差分析把合成样本与真实样本同等计数,推不出最优混合比例,也不区分生成器质量的高低。
这篇文章选核岭回归作为分析容器。N 个真实样本 $(x_n, y_n)$,$y_n = f_\star(x_n)+\varepsilon_n$,噪声零均值、方差 $\sigma^2$。另有一个生成器 $g$,产出 M 个合成样本。把这两类样本放在一起做平方损失最小化,是常见的训练方式。
作者把这个混合目标改写成
$f_N = \arg\min_f \frac{1-\bar\lambda}{N}\sum_{n=1}^N (y_n-f(x_n))^2 + \bar\lambda |f-g|_{\mathcal{H}_K}^2, \quad \bar\lambda = \frac{M}{N+M}.$
第一项拟合真实样本,第二项把解向生成器 $g$ 收缩。$|f-g|_{\mathcal{H}_K}^2$ 是函数空间 $\mathcal{H}K$(由核 $K$ 定义)里的平方范数。这一项在形式上与岭回归里的 $|f|{\mathcal{H}_K}^2$ 同构。岭回归把 $f$ 压向原点,这篇文章把 $f$ 压向 $g$。$\bar\lambda$ 越大,收缩越强,对应合成样本占比越高。
放到偏差方差框架里看。没有合成样本时,估计 $f_N$ 围绕 $f_\star$ 波动,波动幅度由真实样本数 N 和噪声 $\sigma^2$ 决定。混入 M 个合成样本,模型额外获得 M 个数据点的约束,对真实样本的依赖减弱,方差随之下降。代价是这 M 个点不是从真实分布抽的,而是从生成器 $g$ 抽的,它们把 $f$ 往 $g$ 拉。$g$ 与 $f_\star$ 有差距,这个差距就转化为模型的偏差。方差随合成样本比例增大而下降,偏差随合成样本比例增大而上升,两条曲线交叉处就是最优混合比例。这件事在数学上与给核岭回归选一个正则强度 $\lambda$ 完全等价。
文章不改动生成器本身,也不改动下游模型架构。它给出的是数据准备这一环的配比依据:生成器已定、真实样本量已定、标签噪声水平已定时,合成样本应占多大比例。
参考文献
Shidani, A., Farghly, T., Sun, Y., Ganjgahi, H., & Deligiannidis, G. (2025). Beyond real data: Synthetic data through the lens of regularization. arXiv Preprint arXiv:2510.08095, AISTATS 2026. https://arxiv.org/abs/2510.08095