连续变量离散化是统计建模与机器学习的基础预处理步骤，早期等宽、等频等无监督分箱方法，因忽略目标类别信息常导致特征失真。1992年，兰迪·克尔伯（Randy Kerber）在《ChiMerge: Discretization of Numeric Attributes》中提出卡方分箱（ChiMerge）算法，标志着离散化技术从无监督粗放进入有监督精准划分，为后续信用评估、分类建模等领域提供了更可靠的特征处理方案。
历史背景与技术动因
1. 技术起源
卡方分箱的核心框架由 Kerber(1992）提出，其发表于AAAI-92会议的论文仅5页，却首次明确基于类别分布的有监督离散化核心逻辑。当时机器学习领域正处于特征工程规范化初期，分类算法（如早期决策树、神经网络）对输入特征的离散化质量要求较高，而传统无监督方法无法满足精准建模需求，卡方分箱的出现填补了这一技术空白。
2. 传统方法的核心痛点
20世纪90年代初，无监督分箱方法在实际应用中暴露诸多缺陷：
等宽分箱按数值范围均分区间，若数据分布不均，易导致多数样本集中于单一区间（如高薪资与普通薪资同属一区），丢失关键差异信息；
等频分箱按样本数量均分区间，可能割裂变量与类别的自然关联（如中等薪资与极高薪资被划入同一区间）；
动态离散化方法（如C4.5、CART）虽考虑类别信息，但需随算法运行实时拆分区间，无法作为独立预处理步骤，且多区间扩展困难。
3. 核心创新价值
卡方分箱的核心突破在于”以类别分布一致性为依据划分区间”，通过卡方检验（χ²检验）量化相邻区间的类别分布相似度，实现”区间内类别分布均匀、区间间类别分布有差异”的目标。低卡方值表明区间分布差异小可合并，高卡方值则需拆分，既保留变量关键信息，又避免无监督方法的盲目性。这一思路直接影响后续C4.5决策树、信用评分模型等的特征处理逻辑，成为有监督离散化的经典范式。
核心原理与算法流程
1. 核心假设与数学基础
卡方分箱的核心假设是：若两个相邻区间的类别分布无显著差异，则可合并为同一离散区间；反之则需保留独立区间。其数学基础为卡方统计量，公式如下：
\[ \chi^{2} = \sum_{i=1}^{2} \sum_{j=1}^{k} \frac{(A_{ij} - E_{ij})^2}{E_{ij}} \]
其中：
\(A_{i,j}\) 为第i个区间中第j类的实际样本数；
\(E_{i,j}\) 为第i个区间中第j类的期望样本数，计算方式为 \(E_{i,j} = \frac{R_i \times C_j}{N}\) （ \(R_i\) 为第i区间总样本数， \(C_j\) 为第j类总样本数， \(N\) 为总样本数）；
\(k\) 为目标变量的类别数量。
卡方值越低，表明相邻区间的类别分布越相似，合并合理性越强；卡方值越高，表明分布差异越显著，需保持区间独立。
2. 完整算法流程
卡方分箱采用”自底向上”的合并策略，具体步骤如下：
初始化：将连续变量的样本按数值排序，每个样本单独作为一个区间（区间边界位于相邻样本之间）；
迭代合并：计算所有相邻区间对的卡方值，合并卡方值最低的区间对，形成新区间；
终止条件：当所有相邻区间的卡方值均超过设定阈值，或区间数量达到预设的最大/最小值限制时，停止合并。
3. 图表解读（基于论文鸢尾花数据示例）
论文中针对鸢尾花（iris）数据的图表，核心用于展示”特征数值与类别分布的关联”及离散化结果：
- 类别直方图（1）：纵坐标为特征数值（如花萼长度4.3-7.9），右侧符号（
*/○/•）代表不同鸢尾花类别，符号数量对应该数值下的样本数，直观呈现特征与类别的原始关联；
Figure 1: 鸢尾花数据特征分布直方图
- 离散化结果表（2）：列分别为区间（Int）、类别频数（Class frequency）、卡方值（χ²），展示低显著性水平（如0.50显著性水平，χ²=1.4）下的区间划分，区间数量较多；
Figure 2: 低显著性水平下的离散化结果
- 离散化结果表（3）：展示高显著性水平（如0.90显著性水平，χ²=4.6）下的区间划分，区间数量较少。
Figure 3: 高显著性水平下的离散化结果
参数设置与关键优化
1. 核心参数说明
卡方阈值（χ²-threshold）：由显著性水平（常用0.90、0.95、0.99）和自由度（自由度=类别数-1）决定，需通过卡方分布表查询临界值（如3类任务自由度=2，0.90显著性水平对应的阈值=4.6）；
辅助参数：min-intervals（最小区间数，默认1）、max-intervals（最大区间数，默认∞），用于限制区间数量，避免过度合并或拆分。
2. 关键优化措施
期望频数修正：当 \(E_{ij} < 1.0\) 时，将分母设为0.5，避免卡方值被高估；
计算复杂度优化：缓存未受合并影响的区间卡方值，将时间复杂度从 \(O(n^2)\) 降至 \(O(n log n)\) （n为样本数）；
样本量约束：实操中需确保每个区间样本数不小于5，避免因样本量过少导致分布失真。
优势与局限
1. 核心优势
鲁棒性强：极少出现严重离散化缺陷，无需领域专家手动干预；
适配多分类：支持2类以上的多分类任务，应用场景广泛；
自动优化区间数：根据数据特征自动确定区间数量，避免无监督方法的主观性；
可解释性强：离散区间能反映变量与类别的关联，辅助理解数据规律。
2. 主要局限
不支持无监督学习：需依赖类别标签，无法用于聚类等无监督任务；
局部分析局限：仅考虑相邻区间，可能因局部异常影响全局最优区间划分；
样本量敏感性：样本量过大时易生成过多区间，需依赖max-intervals参数限制；
不支持高阶关联：仅捕捉单变量与类别的一阶关联，无法处理变量间的二阶关联。
实际应用建议
参数设置：推荐显著性水平设为0.90-0.99，max-intervals设为5-15，平衡区间粒度与建模效率；
数据预处理：确保每个区间样本数≥5，避免期望频数过小导致的卡方值失真；
局限规避：无类别标签时改用K-means等无监督离散化方法；存在变量交互时，先构建交互项再进行离散化；
结果验证：结合后续分类算法的性能，迭代调整卡方阈值与区间数量限制。
引用格式
Kerber, R. (1992). ChiMerge: Discretization of numeric attributes. In Proceedings of the Ninth National Conference on Artificial Intelligence (pp. 123-128). AAAI Press.