LLM：表格数据特征工程

（一）OCTree：决策树反馈的规则优化框架

Nam等人（2024）提出的OCTree（Optimizing Column feature generator with decision Tree reasoning），核心是将LLM作为特征生成规则的优化器，结合决策树推理提供迭代反馈，无需人工定义搜索空间。

其核心流程包含六个关键步骤：

1. 生成新列名称：通过提示词 \(p_{\text{col}}\) ，让LLM基于任务描述（如“预测疾病是否发生”）生成语义相关的新列名称（如“吸烟状态”），公式表达为 \(\mathrm{c}_{\text{new}} = \text{LLM}(\mathrm{p}_{\text{col}}(\mathrm{C}, \mathrm{c}_{\text{target}}))\) ，其中 \(\mathrm{C}\) 为原始列集合， \(\mathrm{c}_{\text{target}}\) 为目标列名称。
2. 初始规则生成：LLM基于原始特征与新列语义，通过提示词 \(p_{\text{init}}\) 生成初始规则，公式为 \(\mathrm{r}_0 = \text{LLM}(\mathrm{p}_{\text{init}}(\mathrm{C}, \mathrm{c}_{\text{new}}))\) ，例如“发烧且呼吸困难→可能为吸烟者”。
3. 特征生成：按规则扩充数据集，得到 \(\mathcal{D} \oplus \mathrm{r} = {\mathrm{x}_i \oplus \mathrm{r}(\mathrm{x}_i), \mathrm{y}_i}\) ，其中 \(\mathrm{r}(\mathrm{x}_i)\) 为新生成的特征值。
4. 模型训练与推理提取：用扩充数据训练预测模型 \(\mathrm{f}^*\) （如XGBoost、MLP）并计算验证分数 \(\mathrm{s}_t\) ，同时训练CART决策树，提取自然语言形式的推理 \(\mathrm{d}_t = \text{CART}(\mathcal{D}_{\text{train}} \oplus \mathrm{r}_t)\) 。
5. 迭代优化：基于历史轨迹 \(\mathrm{T}_t = {(\mathrm{s}_i, \mathrm{d}_i, \mathrm{r}_i)}_{i=0}^t\) ，让LLM生成更优规则 \(\mathrm{r}_{t+1}\) ，重复迭代后选择验证分数最高的规则。
6. 多特征生成：重复上述流程，基于原始特征与已生成特征迭代生成多个有效特征，直至性能不再提升。

OCTree的优化目标可表示为： \(\min _{\mathrm{r}} \mathcal{L}_{\mathrm{f}^*}\left(\mathcal{D}_{\text{val}} \oplus \mathrm{r}\right) \text{ subject to } \mathrm{f}^*=\underset{\mathrm{f}}{\arg \min } \mathcal{L}_{\mathrm{f}}\left(\mathcal{D}_{\text{train}} \oplus \mathrm{r}\right)\) ，其中 \(\mathcal{L}_{\mathrm{f}}\) 为任务损失函数（如回归任务的平均绝对误差MAE）。

实验结果显示，OCTree在有语言描述的数据集（如Tesla股票、Enefit能源消耗）中，GPT-4o加持下可使Tesla数据集误差降低17.1%，MLP模型在Enefit数据集误差降低35.3%；在无语言描述的19个分类数据集上，平均降低5.0%相对误差，16个数据集实现HyperFast模型性能提升，且7B规模LLM的表现比肩GPT-4组合方法（Nam et al., 2024）。

（二）CAAFE：上下文感知的迭代式特征生成

Hollmann等人（2023）提出的CAAFE（Context-Aware Automated Feature Engineering），是基于LLM的上下文感知自动特征工程方法，核心通过迭代生成语义特征、Python代码及效用解释，以代码为接口融合LLM领域知识与经典机器学习的稳健性。

其核心逻辑为：给定数据集 \(D=(x_i, y_i)_{i=1}^n\) ，目标是找到特征转换函数 \(\phi: X \to X'\) ，最大化学习算法 \(A\) 的性能 \(A(\phi(x_i), y_i)\) 。具体迭代流程为：LLM生成特征代码→执行代码得到扩充后的训练集 \(D_{\text{train}}'\) 和验证集 \(D_{\text{valid}}'\) →10折交叉验证评估性能 \(P'\) →若 \(P'\) 优于原始性能 \(P\) ，则保留特征并更新数据集，重复迭代（默认10轮）。

提示词构造是CAAFE的关键，需包含数据集描述、特征名、数据类型、缺失值比例、10条随机样本，搭配思维链指令和代码模板。其特征工程策略涵盖特征组合（如 df['fever_and_rhinorrhea'] = ((df['temperature'] >= 38.0) & (df['rhinorrhea'] > 0)).astype(int) ）、数值分箱（如年龄分组）、字符串转换等。

实验结果表明，GPT-4版CAAFE在14个数据集（OpenML 10个+Kaggle 4个）上，平均ROC AUC从0.798提升至0.822，11个数据集实现性能改善；而GPT-3.5版仅6个数据集改善，效果显著较弱。此外，CAAFE与传统AutoFE方法结合时，可进一步提升逻辑回归、随机森林等弱分类器的性能（Hollmann et al., 2023）。