分群策略：解决双重使用数据偏差

一、样本不足的陷阱：分群约束抵御筛选噪声（Freedman, 1983）

当样本量有限而候选变量较多时（如 n=100、p=50），研究者常陷入 “筛选虚假显著变量” 的误区。Freedman（1983）通过模拟实验揭示：即使变量与因变量无真实关联（β≡0），筛选 “看似显著” 的变量后，回归模型仍会呈现虚假的高拟合度 —— 筛选后 R² 达 0.36，F 检验 P 值低至 5×10⁻⁴，仿佛存在强关联。

这一现象的本质的是：任何训练集都是总体分布的抽样，样本不足时会不可避免地包含 “局部分群噪声”（如某小部分样本的偶然变量关联），而无约束的变量筛选会放大这种噪声。Freedman 通过渐近计算进一步证实：当 n→∞、p→∞且 p/n→ρ（变量数与样本量比例固定）时，未筛选的 R² 会趋近于 ρ（仅反映变量数占比），筛选后 R² 则趋近于 g (λ)（g (λ)=E {Z² ||Z|>λ}，Z~N (0,1)），证明噪声被系统性放大。

分群思想的解决方案：需通过 “先验变量约束” 锚定变量选择 —— 例如基于领域理论划分 “关键特征”（如医学研究中按生理机制变量），避免无目标的盲目筛选。这种思路本质是通过分群锁定 “有意义的局部结构”，让筛选聚焦真实关联而非抽样噪声（Freedman, 1983）。

二、模型稳定性：分群鲁棒性保障泛化能力（Bousquet & Elisseeff, 2002）

“稳定的模型” 应当具备 “对分群小改动不敏感” 的特性 —— 删除少量样本或某一局部分群，模型预测性能不应大幅波动。Bousquet 与 Elisseeff（2002）将这一直觉量化为 “均匀稳定性”：对任意训练集 S、任意样本 i，删除 i 后的模型预测损失变化满足

$\forall S,\forall i,\left|\ell \right(A_S,z)-\ell (A_{S\setminus i},z\left)\right|\le \beta$

其中 β 为稳定性阈值，衡量模型对分群局部改动的鲁棒性。

稳定模型的核心优势在于 “适配分群规律而非噪声”：例如 k 近邻（k-NN）算法依赖 “邻居分群” 的局部信息，正则化支持向量机（SVM）通过惩罚项避免过度依赖某一分群，这类模型的泛化误差可被严格界定：

$R\le R_{emp}+2\beta +(4m\beta +M)\sqrt{\frac{\log \left(1/\delta \right)}{2m}}$

（R 为泛化误差，Rₑₘₚ为经验误差，m 为样本量，M 为损失上界，δ 为置信水平）。

分群思想的启示：模型泛化能力的本质是 “分群鲁棒性”—— 既能捕捉分群的稳定规律（如 k-NN 的邻居关联），又不偏科于某一局部分群的噪声。这与 “分群评估验证跨群一致性” 的逻辑高度契合：前者通过稳定性确保 “分群小改动不影响性能”，后者通过跨群分析确保 “分群间性能一致”，共同抵御全局噪声过拟合（Bousquet & Elisseeff, 2002）。

三、选择性推断：多面体约束修正分群筛选偏误（Taylor & Tibshirani, 2015）

数据挖掘中，研究者常先通过分群筛选变量（如前向逐步回归选分群关联变量），再用传统 P 值检验显著性 —— 这种流程会导致 P 值高估，因为传统推断假设 “变量预先指定”，而实际变量是再使用数据筛选的结果。

Taylor 与 Tibshirani（2015）提出 “多面体分群约束”（A y ≤ b）解决这一问题：该约束精准描述 “分群筛选结果不变” 的响应向量 y 范围（如前向逐步回归前两步选 X₅、X₉的所有可能 y）。基于此，变量系数的分布从传统正态分布$\hat{\beta }\sim N(\beta ,{\tau }^2)$，修正为 “截断正态分布”$\hat{\beta }\sim {TN}^{c,d}(\beta ,{\tau }^2)$（c、d 为分群筛选的系数上下限），确保推断考虑分群筛选的依赖关系。

例如在 HIV 数据研究中，传统 P 值显示 6 个突变位点 “显著关联药物抗性”，但多面体约束修正后，仅 2-3 个位点真实显著。此外，“ForwardStop 规则” 可进一步控制虚假发现率（FDR）：

$\hat{k}=max\{k:-\frac{1}{k}{\sum }_{i=1}^k\log (1-p{v}_i)\le \alpha \}$

（pvᵢ为逐步筛选的 P 值，α 为目标 FDR），确保局部样本筛选后的关键特征估计不高估（Taylor & Tibshirani, 2015）。

四、双重数据使用：随机化保护估计独立性（Gradu et al., 2025）

因果推断中，“双重使用数据”（double dipping）是致命陷阱 —— 用同一数据集$D$既做 “因果发现”（估计因果图$\hat{G}$），又做 “效应推断”（估计${\beta }_{\hat{G}}^{(i\to j)}$），会导致$\hat{G}$与$D$强依赖，传统置信区间失效。例如在空因果图中，经典方法的误覆盖率达 50%，远超 5% 的目标水平。

Gradu 等（2025）提出 “随机化因果发现” 方案：通过 noisy-select 与 noisy-ges 算法向因果图评分注入拉普拉斯噪声，保护因果关系估计的独立性。以 noisy-select 为例，对候选图评分 S (G, $D$) 注入噪声${\xi }_G\sim \text{Lap}\left(2\tau /ϵ\right)$（τ 为评分敏感度，ε 为隐私参数），最终选择$\hat{G}=\arg {max}_{G\in G}S(G,D)+{\xi }_G$。

该方案的理论支撑是 “max-information”—— 量化$\hat{G}$与$D$的依赖度：

$I_{\infty }^{\gamma }(\hat{G};D)={max}_O\log \frac{P\left\{\right(\hat{G},D)\in O\}-\gamma }{P\left\{\right(\hat{G},\tilde{D})\in O\}}$

（$\tilde{D}$为$D$的独立副本）。基于此可推导修正误差$\tilde{\alpha }=(\alpha -\gamma )\exp (-\frac{n}{2}{ϵ}^2-ϵ\sqrt{n\log \left(2/\gamma \right)/2})$，确保最终置信区间的误覆盖率≤α（Gradu et al., 2025）。

方案价值：噪声注入避免模型 “记住特定数据集的噪声”—— 即使某数据集因抽样偶然形成分群关联，噪声也会模糊这种关联，让$\hat{G}$反映真实分群结构，而非抽样偏差。

五、验证集重用：噪声保护估计独立性（Dwork et al., 2015）

自适应分析中，验证集（$S_h$）的反复使用会导致过拟合 —— 模型逐渐 “记住验证集的分群细节”，失去对新数据的泛化能力，传统方法需反复收集新验证集，成本高昂。

Dwork 等（2015）提出 “Thresholdout 算法” 解决这一困境：通过比较训练集分群均值与验证集分群均值的差异（$\left|E_{S_t}\right[\varphi ]-E_{S_h}[\varphi \left]\right|$），并注入拉普拉斯噪声 η，仅当差异≤T+η 时使用训练集结果，否则使用带噪声的验证集结果。这种设计不暴露验证集的精确信息，回传给训练集进行优化，确保分群独立性不受破坏。

例如在互联网用户行为分析中，该算法支持指数级次数的验证，且无需额外数据 —— 噪声阻止模型记住 “某一分群用户的偶然点击模式”，让验证始终反映真实分群的泛化能力（Dwork et al., 2015）。

六、变量选择比较：噪声扭曲 LOOCV 结果（Reunanen, 2003）

比较变量选择方法（如 SFS 序贯前向选择、SFFS 序贯前向浮动选择）时，研究者常误用交叉验证（如 LOOCV）结果作为评判标准 —— 但 Reunanen（2003）通过实验证实，LOOCV 会适配训练集的噪声，导致结论偏误。

以 sonar 数据集为例：LOOCV 显示 SFFS 优于 SFS 的比例达 88.3%，但独立测试集显示这一比例仅 49.2%——SFFS 在 LOOCV 中过度拟合 “低相关性变量” 的偶然关联，测试集暴露其真实性能。

结语：分群思想的核心 —— 局部约束，全局可靠

梳理 6 篇论文可见，分群思想的本质是 “通过局部约束实现全局可靠”：

• 对变量筛选，用 “先验变量” 约束筛选范围（Freedman, 1983）；

• 对模型性能，用 “分群鲁棒性” 保障泛化（Bousquet & Elisseeff, 2002）；

• 对推断过程，用 “多面体约束” 修正分群依赖（Taylor & Tibshirani, 2015）；

• 对数据重用，用 “噪声注入” 保护分群独立（Gradu et al., 2025; Dwork et al., 2015）；

• 对方法比较，用 “新数据集” 判断适配性（Reunanen, 2003）。

在数据日益复杂的今天，忽视分群结构的分析易陷入 “虚假显著” 的陷阱，而分群思想为我们提供了思路 —— 它不追求 “完美拟合全局数据”，而是通过对局部分群的保护，实现更可靠的统计推断。

参考文献

1. Bousquet, O., & Elisseeff, A. (2002). Stability and generalization. Journal of Machine Learning Research, 2, 499–526. https://doi.org/10.1162/153244302320981185

2. Dwork, C., Feldman, V., Hardt, M., Pitassi, T., Reingold, O., & Roth, A. L. (2015). Preserving statistical validity in adaptive data analysis. Science, 349(6248), 636–638. https://doi.org/10.1126/science.1260458

3. Freedman, D. A. (1983). A note on screening regression equations. The American Statistician, 37(2), 152–155. https://doi.org/10.1080/01621459.1983.10482817

4. Gradu, P., Zrnic, T., Wang, Y., & Jordan, M. I. (2025). Valid inference after causal discovery. Journal of the American Statistical Association, 120(550), 1127–1138. https://doi.org/10.1080/01621459.2024.2402089

5. Reunanen, J. (2003). Overfitting in making comparisons between variable selection methods. Journal of Machine Learning Research, 3, 1371–1382. https://doi.org/10.1162/153244303322533223

6. Taylor, J., & Tibshirani, R. J. (2015). Statistical learning and selective inference. Proceedings of the National Academy of Sciences, 112(25), 7629–7634. https://doi.org/10.1073/pnas.1507583112