Verbalized Sampling：分布提示

对齐后的大模型普遍存在模式崩溃现象。经过 RLHF、DPO 等对齐流程，模型安全性、遵循指令的能力得到提升，但输出多样性显著下降。面对同一输入反复生成，模型会反复产出少数刻板回答，预训练阶段具备的长尾、差异化输出能力被掩盖。

很多人应对多样性不足的做法，是通过提示词让模型一次性生成多条答案。但实验现象表明，单纯要求输出多条回答，并不一定能带来真正的多样性。论文中的笑话生成案例可以直观体现该问题：使用普通列表提示，要求模型输出 5 个关于汽车的笑话，最终返回的只是同一个梗的细微改写版本，内核高度趋同。多条输出只是数量上的叠加，没有实现内容层面的多元。

ICML 2026 的论文提出 Verbalized Sampling（口述采样，简称 VS），也就是分布提示。其核心改变不在于输出答案的条数，而在于改写提示承载的任务目标：不再要求模型生成若干独立样本，而是要求模型输出一套附带预估概率的响应分布。

三类提示方式核心差异

提示类型	示例	模型任务目标	输出表现
直接实例提示（Direct）	讲一个关于咖啡的笑话	生成 1 个最优回答	收敛至概率最高的典型回答
普通列表提示（Sequence）	生成 5 个关于咖啡的笑话	生成 5 个独立样例	产出 Top‑K 高频样例，多为变体重复
分布提示 VS	生成 5 个咖啡笑话，并给出每个对应的概率	生成一套自洽的概率分布	逼近基座模型预训练学到的完整分布

普通列表提示，等价于要求模型从集合中取出若干样本，模型可以持续选取相似度高的样本，依旧会落入模式崩溃。分布提示则是让模型去描述集合整体的分布特征。为产出一套具备代表性的分布，模型不能全部输出高度雷同的内容，需要同时兼顾高频主流答案与差异化的长尾候选。

这里需要明确一点：模型文本输出的概率，不等同于模型内部真实 logits，数值本身无法做到完全校准。论文证实，即便概率数值存在偏差，只要提示在语义层面定义了 “输出分布” 这个任务，就可以获得多样性增益。概率字段在这里起到语义开关的作用，用来切换模型的任务视角，而非用于严格数学运算。

底层成因：典型性偏差与锐化机制

过往研究多将模式崩溃归因为算法缺陷或者奖励模型的不足。该论文从数据层面提出典型性偏差这一解释。

源于认知心理学的相关结论，人类标注人员会天然倾向选择熟悉、流畅、可预测的文本。即便多个回答真实任务质量持平，标注依旧会偏向更加典型的内容，该偏见留存于偏好训练数据集。在 RLHF 的优化过程中，典型性偏差会触发锐化机制：放大高概率的典型回答，抑制长尾候选。当大量回答的真实效用接近时，典型性就成为选择的决定性因素，最终造成模式崩溃。

锐化机制本身是中性的，它只是放大当前任务目标所偏好的对象。

在实例类提示之下，任务目标是产出单条优质回答，评判对象是单条回答本身。于是锐化效应就会集中放大那些熟悉、高概率的典型样本，把输出挤压向少数主流结果，压制长尾。
在 VS 分布提示之下，任务目标切换为产出一整套自洽的响应分布，评判对象变成整套分布集合。这里可以类比人类的 MECE（相互独立、完全穷尽）思考逻辑：当人要求自己以 MECE 的闭环逻辑分析问题时，就不会只盯着自己最熟悉、最直观的少数观点，而是主动去覆盖完整可能性空间，兼顾主流与边缘情况。

同理，模型被要求输出一套具备代表性的分布，就需要遵循类似的闭环完备性，不能只堆砌高概率典型回答。依据代表性启发式认知规律，一套具备代表性的分布本身就需要高熵、高多样性。此时同样的锐化机制，会转而放大 “完备、高熵的分布” 这一目标，驱动模型生成多样化的候选集合，释放基座模型原本具备的生成潜力。

可直接复用的 VS 提示模板

VS‑Standard 标准版（通用场景）

生成5个针对该问题的回答，以JSON格式返回，key为responses，数组中每一项包含两个字段：
text：回答正文，不要多余解释
probability：0‑1之间，该回答相对完整分布的预估概率

只输出JSON，不要额外文字。

【你的原始问题写在这里】

VS‑CoT 思维链版本（创意写作、合成数据等复杂任务）

首先输出reasoning字段，写清你的分步思考；
再生成5个回答，JSON key为responses，数组每项包含text、probability（0‑1预估概率）。
只输出JSON，不输出多余解释。

【你的原始问题写在这里】

额外支持多样性调优：可以在提示中增加约束，例如 “每个回答的概率需要低于 0.01”。无需改动 temperature、top‑p 等解码参数，依靠提示本身即可让模型更多采样长尾内容。

实验效果

论文在创意写作、社会对话仿真、合成数学数据、开放式问答、常识推理多个任务开展验证。实验结果表明，VS 能够显著提升输出多样性，在创意写作任务上相比直接提示多样性可提升 1.6‑2.1 倍；在对话仿真、合成数据集构建场景也取得正向结果，同时不会明显损害事实准确性与安全性。但该方法依赖模型能力，会带来额外 token 开销。

结语

Verbalized Sampling 带来的核心启发很简单：改变提示的任务目标，引导模型去输出一整套分布，而不是单个或若干孤立样本，就能够一定程度缓解对齐带来的模式崩溃。这种思路和人类 MECE 式的完备思考逻辑有共通之处。

站在读者视角，这篇论文也存在值得讨论的地方：有一定灌水嫌疑。它没有提出全新模型架构，本质是一套提示工程方案；口头输出的概率并不真实校准，所谓 “分布” 只是语义层面的模拟；很多现象可以用现有的提示工程知识解释，理论推导部分更多是事后对现象做自洽的包装。当然不可否认，它把现象做了系统量化，给出可落地提示范式，也提供了典型性偏差这个有意思的数据层面视角。

参考文献

Zhang, J., Yu, S., Chong, D., Sicilia, A., Tomz, M. R., Manning, C. D., & Shi, W. (2026). Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity. Proceedings of the 43rd International Conference on Machine Learning (ICML). PMLR.