2 min read

异常检测的多样性影响

异常检测的多样性影响

无标签嵌入数据里混入损坏样本、错标样本与分布外样本时,审查环节需要逐条排序。这篇论文在 ADBench 的图像与文本嵌入数据集上构造 148 个实例,来自 10 个源数据集与 4 种编码器,含多划分;规模到十万条,排序成为复核预算的分配依据。

主流做法以特征空间位置定义异常,每一种分数都先要设定一个东西:怎么切、看几个邻居、球多大、分布长什么样。隔离森林的隔离切分次数、LOF 的局部可达密度、DN2 的近邻距离、随机超球对方法、预训练特征的分布拟合与马氏距离,分别落在其中一种。

Pasarkar 与 Dieng(2026)改用留一影响作分数:移除一个样本,取 Vendi Score(VS)的变化量,方法名 Vendi Anomaly Score(VAS)。改动的只有打分环节,嵌入仍取预训练编码器,相似度按余弦相似度计算,排序与评价不变。

一、问题的位置

无监督异常检测处理的场景很具体:一批没有标注的嵌入向量,要指出其中哪几条是混进来的坏样本。没有标签可用,也没有一份可信的"正常数据"可以对照,只能在这批数据内部自行判断什么是正常。

有监督和半监督两条路在这里走不通:前者要事先标注好的坏样本,后者要一份干净的正常数据;跨模态、跨领域的审查任务里,这两样都不容易凑齐。

无监督的方法得先在数据内部立一个"正常"的说法。各家方法的差别,就在这个说法怎么立。

  • 切分:沿坐标轴逐层把空间切开,看切几层能把一个点单独分出来。要先定怎么切。
  • 近邻:看一个点周围有几个近邻、有多密。要先定看几个。
  • 超球:用一个球把正常数据包住,看谁落在球外。要先定球多大。
  • 分布:假定正常数据服从某个分布,算一个点到这个分布有多远。要先定分布的形状。

这四种说法各有一处会失准的地方。斜着走的边界,用沿轴切分要切很多层才分得开,层数一多就不再具有区分度。密度不均的数据里,同一个近邻数在稠密处取到的是同类,在稀疏处取到的是异类。正常数据在嵌入空间里摊得很开时,一个球包不住。分布形状猜错时,算出来的距离与真实的偏离无关。

还有一处更具体:混进来的坏样本若来自同一个类别,它们彼此相邻,近邻法读到的是很密的邻域,与正常的一类内部读数相同,于是被判为正常。深度方法不必先立这些说法,代价是每换一个数据集就训练一次。

二、链路与指标

链路分五段。前三段没有独立的衡量指标,第四段由复核口径衡量,第五段由 AUROC、AP 与复杂度衡量。

① 表征

  • 动作:预训练编码器把原样本映射为 $x_i\in\mathbb{R}^{D}$,常用 ResNet18、ViT、BERT、RoBERTa、DINOv3 ViT-B/16,不做微调。
  • 指标:无独立指标。质量只在最终的 AUROC 上间接呈现,没有公认的单独度量。

② 相似度构造

  • 动作:对嵌入做 $\ell_2$ 归一化后计算余弦相似度,构成相似度矩阵 $K=XX^\top/N$;等价地写作特征协方差 $\rho=\frac{1}{N}X^\top X$,其中 $\rho$ 为特征协方差矩阵,$\mathrm{Tr}(\rho)=1$。
  • 指标:无独立指标。相似度的取法通过下游排序体现。

③ 打分

  • 动作:输出 $s_i$,数值大表示异常程度高,只有序关系进入后续判断。
  • 指标:AUROC 与 AP。

$$ \mathrm{AUROC}=P(s_{\text{anom}}>s_{\text{norm}})=\frac{U}{n_+n_-}, $$

$U$ 为 Mann–Whitney 统计量,$n_+$、$n_-$ 为异常与正常样本数。它等于随机取一个异常样本与一个正常样本、前者分数更高的概率,与分数的单调变换无关。

$$ \mathrm{AP}=\sum_{k}(R_k-R_{k-1}),P_k, $$

按分数降序逐点计算查准率 $P_k$ 与查全率 $R_k$,以相邻查全率差为权重加权求和。异常占比很低时,只有正类一侧的排序参与计算,AP 比 AUROC 更严格。

④ 排序与阈值

  • 动作:降序排列后取前 $k$ 条,或取阈值 $\tau$ 得到二值判定。
  • 指标:前 $k$ 条的复核口径,记为

$$ \mathrm{Recall@}k=\frac{1}{n_+}\sum_{i=1}^{k}\mathbb{1}\left[y_i=+\right], $$

$y_i$ 为按分数降序排列后第 $i$ 条的真标签。此项为工程口径,论文未使用。

⑤ 评价与成本

  • 指标:汇总 AUROC 与 AP;成本按复杂度计。
  • 成本:对每个样本各重算一次谱,时间为 $O(ND^3)$;压到一次 $D\times D$ 分解后,时间为 $O(ND^2+D^3)$,内存为 $O(ND+D^2)$。

三、介入与指标

VAS 改动的位置在第三段打分,替换的对象是以空间位置定义异常,改为以留一多样性变化定义异常;因此直接受影响的是 AUROC 与 AP,以及近似解与精确解之间的秩相关和运行时间。

分数的定义取两次多样性读数之差,

$$ \Delta(x_i)=\log\mathrm{VS}_q(\rho)-\log\mathrm{VS}q(\rho{-i}), $$

$\rho_{-i}$ 为移除 $x_i$ 后的特征协方差矩阵。VS 的阶 $q$ 沿用 Rényi 熵形式:

$$ \mathrm{VS}q(K)=\exp\left(\frac{1}{1-q}\log\sum{i=1}^{N}\lambda_i(K)^q\right), $$

$\lambda_i(K)$ 为相似度矩阵的第 $i$ 个特征值。$q=1$ 时退化为指数形式的香农熵;$q$ 取值小则尾部特征方向的权重上升。

精确计算需要对每个样本各做一次特征分解。移除一个样本对 $\rho$ 的扰动是秩一的,

$$ \rho_{-i}-\rho=-\frac{x_ix_i^\top-\rho}{N-1},\qquad \left|\rho_{-i}-\rho\right|=O!\left(\frac{1}{N}\right), $$

在 $\log\mathrm{VS}_q$ 上做一阶泰勒展开,误差为 $O(1/N^2)$。展开后各项含同一个常数 $\mathrm{Tr}(G_q\rho)$,该常数对所有样本相同,排序只看剩余项:

$$ \mathrm{VAS}(x_i)=\mathrm{diag}\left(XG_qX^\top\right)_i,\qquad G_q=\frac{q}{(1-q)\mathrm{Tr}(\rho^q)}\rho^{q-1}\ (q\neq1), $$

$G_q$ 为谱权重矩阵。这一步把 $N$ 次特征分解压成一次,复杂度从 $O(ND^3)$ 降至 $O(ND^2+D^3)$。

阶 $q$ 没有验证集可供搜索,改用主特征值确定:

$$ q=\max\left(2(1-\lambda_1),0.1\right), $$

$\lambda_1$ 为 $\rho$ 的最大特征值。文本嵌入的主特征值偏大,$q$ 取值偏小,敏感度落在谱的尾部;图像嵌入的主特征值偏小,$q$ 取值偏大。下界 0.1 用于 $\rho^{q-1}$ 的数值稳定。

成团异常为何仍得高分

结论:这里比较的仍是单个样本,但样本所属分量的份额越小,单次移除对该分量份额的相对削减越大,分数因此越高;团内其余成员是否还在,不改变这个读数。

设总数 100,3 个污染样本占 3%,其余 97 个占 97%。移除其中一个时,它所在分量的份额由 3% 降至 2.02%($2/99$),相对削减约 33%;移除一个正常样本时,大分量由 97% 降至 96.97%($96/99$),相对削减约 0.03%。份额的重新归一化按存量比例分配,盘子大的分量几乎收回全部让出的份额,只占 3% 的分量几乎收不回。

份额的变动再乘上 VS 对该方向的权重。$q=0.5$ 时权重为 $\lambda^{-1/2}$:小分量 $0.03^{-0.5}=5.77$,大分量 $0.97^{-0.5}=1.02$,相差 5.7 倍。两处不对称相乘,得 $\Delta\log\mathrm{VS}$ 分别为 $+0.046$ 与 $-0.0012$,即 VS 下降 4.6% 与上升 0.12%,相距约 40 倍。

分量层面的读法由下式给出,$\pi_c$ 为分量 $c$ 的质量,$\rho_c$ 为该分量的特征协方差矩阵:

$$ \mathbb{E}_{x\sim P_c}\left[x^\top G_qx\right]=\frac{q}{(1-q)\mathrm{Tr}(\rho^q)}\left(\frac{\pi_c}{\mathrm{VS}_q(\rho_c)}\right)^{q-1}, $$

分数取决于分量质量与该分量内部多样性之比。质量小、内部仍分散的分量整体排前,成员彼此相邻并不抵消这一读数。以近邻密度计分的方法在同样的样本上读到与正常类内部相同的密度,成团污染由此躲过;留一影响不读取邻域计数,同一批样本仍然得高分。

受影响的三个指标

  • 排序质量:148 个 ADBench 实例上,VAS 的 AUROC 平均排名为 2.35,与各基线的配对 Wilcoxon 检验 $p$ 值落在 1.34e-08 至 2.08e-25 之间。
  • 近似保真度:与精确留一分数的 Spearman 秩相关在全部实例上平均高于 0.98,AUROC 相对精确解的变化不超过 1.16%,一阶展开保住了序关系。
  • 成本:随 $N$ 增长的时间呈线性,常数项低;代价是对 $D$ 呈二次增长,而 $D$ 由编码器固定。

参考文献

Pasarkar, A. P., & Dieng, A. B. (2026). Vendi anomaly scores for efficient and accurate anomaly detection (arXiv:2611.12871). Retrieved from https://arxiv.org/abs/2611.12871