diffusion model(七)：diffusion model is a zero-shot classifier

type

status

date

slug

summary

背景

最近，出现了一系列大规模的文生图模型，它们极大地增强了我们通过文字生成图片的能力。这些模型可以根据各种提示生成逼真的图片，展现出惊人的综合创作能力。到目前为止，几乎所有的应用都只关注了模型的生成功能，但实际上，这些模型还能提供条件密度估计，这对于处理图像生成之外的任务也很有用。

本篇文章指出类似stable diffusion这样的大规模文本转图像模型所计算出的密度估计，可以被用来进行“零样本分类” (zero-shot classification)，而不需要额外的训练。

方法大意

diffusion model的背景知识

从前面diffusions系列文章中我们知道，diffuison model的去噪过程是一个马尔可夫过程

即：

服从正态分布, 其与无关，可记作

当给定条件时，采样过程可以表述为

由于涉及到积分，直接最大化很难求解，因此diffusion model的训练采用了最小化对数似然的证据下界(Evidence Lower Bound, ELBO)。通过推导得出：最大化相当于优化下界【预测噪声和实际添加噪声差异的期望越小越好】。详细过程可参考文献[1]中的式32-45， 86-92

如何将diffusion model应用到zero-shot classification

对于一个分类模型，给定输入,模型输出类别的概率向量, 即，为了用diffusion model求解，需要用到贝叶斯公式

不妨假设各个类别的先验概率相同，有

式5可写作

根据式4，我们知道，带入上式得

由此我们推导出了基于diffusion model的classifier。

如何求解

我们看到求式7的关键是不同类别下，预测的噪声和实际噪声差异的期望。这里面有两个随机变量，分别是，其中。可以用蒙特卡诺采样对上述期望进行估计，假定依概率对上述两个随机变量采样次，得到，可将式7转化为

当我们求出每一个类别下的,值最大的就是预测出来的类别。

细心的同学发现了，为了准确的估计期望，需要用蒙特卡诺方法采样较多的样本，一个样本意味着需要用diffusion model推理一次得到预测的噪声，当样本量较大时，推理时间会非常大。总的推理次数为 , 为蒙特卡诺的采样的样本数目，为类别数目, 。

在实践中为了减少推理速度，作者修改了对, 这两个随机变量的采样逻辑，也将上面的one-stage分类的范式转化为two-stage。感兴趣的读者可以阅读原文。本文简单介绍核心思路：

对于第一个提速方案：修改采样逻辑。主要基于实验观测，如下图。

（注：横轴表示的采样数目。Uniform, 0, 500, 1000）

对于第二个提速方案：作者将划分了成两个集合, 首先在中根据式7估计的类别。保留概率最高的个类别。随后在集合上对前个可能的类别继续用式7计算概率。此时的计算量从变为。

实验

作者对比同为zero-shot classifier的CLIP，结果如下。zero-shot的能力以及接近了基于renset50的CLIP。但与openCLIP ViT-H/14还有较大差距。其它更多的实验对比请见原始论文。

参考文献

[1] Luo, Calvin. "Understanding diffusion models: A unified perspective." arXiv preprint arXiv:2208.11970 (2022).

[2] Li, Alexander C., et al. "Your diffusion model is secretly a zero-shot classifier." arXiv preprint arXiv:2303.16203 (2023).