候选打分与概率校准

在有限候选集合内作出选择，并给出可参考的置信度，属于分类、排序与概率校准问题。Agent 系统中的工具选择、模型路由、合规检查、内容分级、上下文筛选都落在这一范围内。判断结果是否可信，决定样本能否自动执行，还是转入兜底或人工复核。

此前这类任务多由生成式大模型承担。模型逐词写出答案文本，再由解析程序提取选项；开放式生成不直接给出候选之间的归一化概率，需要另行读取 logprob、构造 verbalizer 或外挂判别头。模型口头报出的把握程度与经验正确率往往脱节，单请求能够覆盖的判断数量也有限。

Gemini Decision 1 取消答案文本生成，前向传播之后在候选维度直接归一化输出概率。改动落在链路的候选打分环节，并触及概率校准环节。

一、所处理的学术问题

这一工作处理的是闭集候选（closed-set choice）下的判别问题：输入给定，候选范围事先确定，模型需要选出一个选项并输出对应概率。它不承担开放写作，候选数量、类型和评分等级在请求中声明。

该问题在工程链路中重复出现。工具选择要在若干可用工具间归类，模型路由要按问题难度分流，合规检查要判定条件是否成立，内容分级要在有序等级间评分，上下文筛选要判断片段是否相关。这些环节不要求生成自然语言，只要求类别判断与可用于设阈的概率。

此前的主流实现依附于生成路径。逐词解码占用输出 token，延迟随生成长度上升；候选概率不直接可得，需从词表 logprob 间接换算；概率未经校准，阈值设定缺乏依据；多个问题通常串行提交。

二、端到端链路与衡量指标

按主流视角，判别式决策链路分为输入编码、候选打分、概率校准、决策路由、服务性能五个环节。

输入编码将文本、图像、音频、视频、PDF 转为共享表征。该环节以模态覆盖范围与上下文长度衡量，正确率指标体现在下游环节。

候选打分对候选输出类别或概率。打分 logit 记为 $z_j$，候选 $j$ 的归一化概率为

$$p_j=\frac{\exp(z_j)}{\sum_{c}\exp(z_c)}$$

常用指标如下。准确率

$$Accuracy=\frac{1}{N}\sum_{i=1}^{N}\mathbb{1}{\hat y_i=y_i}$$

查准率、查全率、F1：

$$P=\frac{TP}{TP+FP},\quad R=\frac{TP}{TP+FN},\quad F_1=\frac{2PR}{P+R}$$

排序指标：平均倒数排名

$$MRR=\frac{1}{|Q|}\sum_q \frac{1}{\mathrm{rank}_q}$$

召回率 $R@k$ 为正确候选进入 top-$k$ 的样本占比

$$R@k=\frac{#{\text{正确候选进入 top-}k}}{N}$$

概率校准衡量预测概率与经验正确率的对齐程度。期望校准误差（expected calibration error, ECE）将样本按置信度分为 $M$ 个区间 $B_m$：

$$ECE=\sum_{m=1}^{M}\frac{|B_m|}{N}\left|acc(B_m)-conf(B_m)\right|$$

其中 $acc(B_m)$ 为区间内正确率，$conf(B_m)$ 为区间内平均置信度。Brier 分数为

$$BS=\frac{1}{N}\sum_{i=1}^{N}(p_i-y_i)^2$$

多类情形下对各类概率分别求和再取均值。

决策路由按置信度阈值决定自动执行、转入兜底或人工复核。阈值记为 $\theta$，拒绝率

$$\mathrm{Abstain}=\frac{#{p_i<\theta}}{N}$$

覆盖率 Coverage $=1-\mathrm{Abstain}$。另有路由准确率与按错分类型统计的误判成本。

服务性能包含端到端延迟、吞吐与成本。延迟取请求到返回的中位值与分位数，单位 ms；吞吐为单位时间处理请求数；成本由每百万输入 token 单价与输出 token 计费合计。

三、介入环节与直接影响的指标

改动集中在候选打分环节。生成路径中逐 token 解码答案文本的步骤被替换为单次前向传播直接打分，候选概率由 $p_j$ 直接给出，不再经过答案文本解析。三类接口对应三种输出形式：noul 输出条件成立的概率；choice 在 2–255 个候选间返回胜出项与各候选归一化概率；score 返回连续加权分与各等级概率。

直接受影响的指标包括：延迟，模型计算中位 50–100 ms，端到端 150–250 ms；成本，输出 token 计费为零，约为同档 Gemini 3.5 Flash-Lite 配 Interactions API 的五分之一；打分正确率，JevBench 92.2%，9 项基准中 7 项第一；校准误差，Top-1 ECE 0.0250；批量吞吐，单请求判断数上限为 1000。

多模态输入仍沿用 Gemini 基座编码。阈值设定、路由至兜底或人工的策略属于决策路由环节，由上层调用方决定，不在模型内部改动。公告披露的 ECE 为自报结果，独立复核尚未见公开材料。

参考文献

Choi, M, & Yu, F. (2026, November 11). Gemini Decisions API: Fast, calibrated multimodal decisions. Google DeepMind. https://blog.google/innovation-and-ai/technology/developers-tools/gemini-decisions-api/