从人类主观难度判定到LLM能力适配的客观量化，大型语言模型（LLM）的评估体系始终在贴合模型实际表现的方向迭代。过往依赖年级水平、推理步骤等人类直觉的难度划分，逐渐暴露出与LLM实际感知脱节的问题，而Kordi等人（2025）的研究通过项目反应理论（IRT）构建客观难度标尺，揭示了LLM跨难度泛化的核心局限，为模型训练与业务应用提供了关键参考。
一、传统难度评估的困境：人类直觉与LLM感知的错位
长期以来，LLM的任务难度评估多依赖人类定义的指标，例如ARC数据集的年级划分、GSM8k的推理步骤数、MATH的题目类型分类等。这些指标看似直观，却存在本质缺陷：一方面，人类认为的“易题”可能是LLM的“难题”，如ARC中3年级科学题被LLM普遍答错，另一方面，人类判定的“难题”可能被LLM轻松解决，如GPQA-Extended的研究生级题目在LLM零样本测试中正确率极高（Kordi et al., 2025）。
数据层面，这种错位表现为人类指标与LLM实际表现的弱相关性。Kordi等人（2025）的研究显示，多数数据集的人类难度指标与模型表现的斯皮尔曼相关系数绝对值小于0.3，仅GSM8k的推理步骤数（ρ=0.49）和MATH的答案长度（ρ=0.56）呈现中等相关，而MATH的推理步骤数与模型表现的相关系数甚至低至-0.08。这种错位导致基于人类直觉的难度划分无法支撑LLM泛化能力的精准评估，也让易题训练能否泛化到难题、难题训练是否惠及易题等核心问题陷入结论矛盾。
二、IRT 1PL模型：分离能力与难度的客观量化工具
为解决传统评估的缺陷，Kordi等人（2025）引入项目反应理论（IRT）中的1PL（Rasch）模型，其核心公式为：
\(P(r_{ij} | \theta_j, \beta_i) = \frac{1}{1+e^{-(\theta_{\mathrm{j}} - \beta_{\mathrm{i}})}}\)
其中， \(r_{\mathrm{ij}}\) 代表第j个LLM对第i个任务的正确率（0或1）， \(\theta_{\mathrm{j}}\) 是第j个LLM的固有能力值， \(\beta_{\mathrm{i}}\) 是第i个任务的固有难度值。该公式的核心价值在于分离“模型能力”与“任务难度”两个独立变量，通过数千个LLM的全局表现联合估计，而非依赖单个或少数模型的局部数据。
与传统方法相比，IRT 1PL模型的优势体现在三方面：一是客观性，难度评估基于Open LLM Leaderboard中4354至5870个LLM的表现，避免人类主观偏差；二是细粒度，可将数据集划分为10个等距难度分箱（Bin 0为最易，Bin 9为最难），捕捉细微的难度差异；三是适配性，完全基于LLM自身表现建模，天然贴合模型的能力逻辑（Kordi et al., 2025）。通过未参与模型训练的Qwen3系列验证，其零样本准确率随IRT难度分箱升高单调下降，进一步证实了该量化方法的可靠性。
三、核心发现：LLM跨难度泛化的边界
基于IRT难度分箱与7个不同规模LLM（Qwen2.5系列1.5B至14B参数、Llama3系列1B至8B参数）的有监督微调实验，Kordi等人（2025）得出三项关键结论：
其一，跨难度泛化能力有限。LLM在“易→难”和“难→易”方向的泛化均表现薄弱，仅在相邻难度分箱（差距≤2）能实现少量正向泛化。例如MMLU-Pro数据集中，基于最易分箱（Bin 0）训练的模型，在中等偏难分箱（Bin 5及以上）的准确率甚至低于零样本基线；而基于最难分箱（Bin 9）训练的模型，在易分箱（Bin 0至4）的表现同样下滑。
其二，泛化性能与难度差距负相关。当训练分箱与测试分箱的差距≥3时，模型性能普遍转为负向，即微调后表现不如未训练的零样本状态。这种规律在6个数据集（ARC、BBH、GSM8k、MMLU-Pro、MATH、MuSR）中均成立，与模型参数规模、家族类型无关。
其三，结论具有强一致性。无论是1B参数的小型模型，还是14B参数的大型模型，无论是Qwen2.5系列还是Llama3系列，均呈现相同的泛化模式——参数规模仅影响绝对准确率，不改变跨难度泛化的核心局限（Kordi et al., 2025）。
四、实践启示：从量化难度到全流程适配
LLM跨难度泛化的局限，要求模型训练、评估与业务应用必须围绕难度适配重构逻辑：
在训练层面，需摒弃单一难度捷径。仅训练易题无法让模型掌握难题解决能力，仅堆砌难题也会损害易题表现，必须按IRT难度指标覆盖全难度范围的训练数据，确保每个难度分箱都有充足样本支撑（Kordi et al., 2025）。对于KYC等业务场景，若催收场景以难分箱任务为主，电销场景以易分箱任务为主，需按难度拆分训练，而非按业务场景单独建模，平衡泛化效果与资源效率。
在评估层面，需建立多难度维度体系。仅依赖高难度基准（如AIME、HLE）或低难度数据会导致能力误判，应同时评估模型在易分箱（Bin 0至2）、中分箱（Bin 3至6）、难分箱（Bin 7至9）的表现，全面反映模型的能力边界。
在业务应用层面，需实现难度与场景的精准匹配。教育类LLM的小学生辅导功能，应重点保障易分箱任务的准确率；企业复杂业务推理系统，需强化难分箱任务的训练权重，避免因难度错配导致性能失效。
五、总结
从人类主观判定到IRT客观量化，LLM的难度评估体系完成了一次关键迭代。Kordi等人（2025）的研究以扎实的实验证实，LLM的跨难度泛化存在固有局限，这种局限并非由参数规模或训练方法决定，而是模型能力与任务难度的内在关系所致。未来，基于IRT等LLM-centric的难度量化工具，构建全难度覆盖的训练与评估体系，将成为LLM技术落地的核心方向，让模型能力更精准地匹配实际应用需求。
参考文献
Kordi, Y., Nayak, N. V., Zuo, M., Nguyen, I., & Bach, S. H. (2025). Revisiting generalization across difficulty levels: It’s not so easy. arXiv preprint arXiv:2511.21692.