Vision Language Transformers: A Survey

# Diffusion-LM模型 - 论文阅读

> Title: Diffusion-LM Improves Controllable Text Generation

> Date: 2022/5/27

> Paper: [http://arxiv.org/abs/2205.14217](http://arxiv.org/abs/2205.14217)

> Code: [https://github.com/XiangLi1999/Diffusion-LM](https://github.com/XiangLi1999/Diffusion-LM)

这篇论文针对的问题是在不重新训练模型的的情况下，可以多语言模型（Language Model）的行为控制，即**可控的文本生成(Controllable Text Generation)**。

![arch](http://images.tonlp.fun/mweb/16858803151300-2023-06-05.jpg)



论文中提出`Diffusion-LM`模型，即上面的架构，：
* `embedding`和对应的`rounding`步骤，放在了$x_0$之前
* 并且设计了`embedding`损失函数，用来学习`embedding`信息
* 也提出了一种技术改进`rounding`的准确性，这一个步骤是把连续的变量转换成离散的`word`序列。
* 提出一种基于**梯度**的方法，增强文本生成的可控性。其迭代地对$Diffusion-LM$的连续潜在变量进行梯度更新，以平衡流畅性和控制满意度。

本论文还通过设计6个可控范围（从细粒度到复杂的结构，如语法树）实验来验证模型。

## 论文特点

1. 相较于之前研究在离散空间上的扩散模型论文研究，该论文是在**连续潜在空间**上应用扩散模型，这使得基于梯度的有效方法有利于可控生成。
2. 针对大部分语言模型都是基于从左到右的自回归模型，这对文本可控并没有利，这是由于自回归`LMs`不能直接以正确的上下文为条件。$Diffusion-LM$可以以观察句子的复杂、全局属性的任意分类器作为条件。
3. `Diffusion-LM`有**即插即用的可控生成**能力，这是通过对潜在变量的连续序列应用**分类器引导(classifier-guided)** 的**梯度更新(gradient update)** 来完成的。

## 可控文本生成
文本生成：从一个训练好的语言模型$p_{lm}(\vec w)$中获取抽取样本$\vec w$，其中$\vec w = [w_1, ..., w_n]$是离散的单词序列，$p_{lm}(\vec w)$是单词序列上的概率分布。
可控文本生成：从一个条件概率分布$p(\vec w \ | \ \vec c)$上抽取样本$\vec w$，其中$\vec c$表示**控制变量**。

论文中采用**即插即用(plug-and-play)** 的可控生成方式，即先从一个**无标签的文本数据** 上训练出一个语言模型$p_{lm}(\vec w)$；然后针对不同`生成控制表达式`使用不同的分类器，即针对每一个任务，给出一个在**较少的标记文本数据**上训练得到的对应分类器$p(\vec c \ | \ \vec w)$，最后通过这两种模型在后验$p(\vec w \ | \ \vec c)$上进行抽样，其中通过贝叶斯公式，可以得到：
$$
\begin{align}
p(\vec w \ | \ \vec c) \propto p_{lm}(\vec w) \cdot p(\vec c \ | \ \vec w)
\end{align}
$$
> $p_{lm}(\vec w)$表示$\vec w$是否流畅，$p(\vec c \ | \ \vec w)$表示$\vec w$是否完成控制。

## Diffusion-LM模型
![model](http://images.tonlp.fun/mweb/16858848717794-2023-06-05.jpg)

### 标准的扩散模型：
* 正向过程：通过一系列随$t$的超参数$\beta$和噪音来确定一个个$x_{t}$。即$x_{t-1} \to x_t$通过$q(x_t \ | \ x_{t-1}) = \mathcal N(x_t \ ; \sqrt{1-\beta_t}x_{t-1}\ , \beta_t I)$。这个过程中没有需要训练的参数。同时，这得到向前扩散中添加的噪音数据信息以及添加噪音后的数据分布，并且通过反转这个过程来预测这个噪音或者数据分布来定义损失函数。
* 方向过程：即$x_{t} \to x_{t-1}$，通过$p_{\theta}(x_{t-1} \ | \ x_t) = \mathcal N (x_{t-1}\ ; \mu_{\theta}(x_t, t), \sum_{\theta}(x_t, t))$，其中$p_{\theta}(x_t) \approx \mathcal N(0, I)$。
    > $\mu_{\theta}和\sum_{\theta}$都是可以通过`U-Net`或者`Transformer`获取。
* 损失函数：最大化边际似然$\mathbb E_{x_0 \sim p_{data}}[log\ p_{\theta}(x_0)]$:
    $$
    \begin{align}
    \mathcal L_{vlb}(x_0) = \mathbb E_{q(x_{1:T}\ | \ x_0)} [log\ \frac{q(x_T \ | \ x_0)}{p_{\theta}(x_T)} + \sum_{t=2}^T\ log\ \frac{q(x_{t-1} \ | \ x_0, x_1)}{p_{\theta}(x_{t-1} \ | \ x_t)} - log\ p_{\theta}(x_0\ | \ x_1)]
    \end{align}
    $$
    > 这个损失函数是不稳定的，需要很多技巧来保证稳定性
* 简化的损失函数：重新权重化$\mathcal L_{vlb}$中的**KL散度项**得到：
    $$
    \begin{align}
    \mathcal L_{simple}(x_0) = \sum_{t=1}^T \mathbb E_{q(x_t\ | \ x_0)}\| \mu_{\theta}(x_t,\ t) - \hat\mu(x_t,\ x_0) \|^2
    \end{align}
    $$
    > 其中$\hat\mu(x_t,\ x_0)$是$q(x_{t-1} \ | \ x_0, x_t)$的后验均值，$\mu_{\theta}(x_t,\ t)$是$p_{\theta}(x_{t-1} | x_t)$模型的预测均值。
    > 这个损失函数不再是有效的下界，但是却更稳定，并且也能提高样本质量。

### Diffusion-LM模型
Diffusion-LM模型相对于标准的扩散模型所做的修改：
* 定义`embedding function`处理离散文本到连续空间的映射。完成这个映射是通过`end-to-end`训练中学习特征表示，即把特征表示的学习加入到**训练目标中(training object)**
* 需要一个`roundding method`把特征表示映射回离散的文本。

#### End-to-end Training
定义一个$Emb(w_i)$函数，把每个单词映射到一个向量$v_i \in R^d$； $n$个词序列的向量$\vec w$可以表示$Emb(\vec w) = [Emb(w_1), ...,Emb(w_n)] \in R^{n \times d}$ 

这个`embedding function`被添加在标准扩散模型的前向过程$x_0$前，即单词序列通过`Emb`得到$x_0$，之后再通过$x_0$计算其他的$x_t$完成标准的扩散过程。其中$\vec w \to x_0$可以通过：
$$
\begin{align}
\text{前向过程：} \qquad q_{\phi}(x_0 \ | \ \vec w) = & \ \mathcal N(Emb(\vec w),\ \sigma_0 \ I) \\

\text{反向过程：} \qquad
p_{\theta}(\vec w \ | \ \vec x_0) = & \prod_{i=1}^n \ p_{\theta}(w_i \ | \ x_i)
\end{align}
$$
> 方向过程公式中的$p_{\theta}(\vec w \ | \ \vec x_0)$是`softmax`分布。

通过上面的定义，则可以确定新的目标函数:
$$
\begin{align}
\mathcal L_{vlb}^{e2e}(\vec w) = & \mathbb E_{q_{\phi}(x_0\ | \ \vec w)}[\ \mathcal L_{vlb}(x_0) + log\ q_{\phi}(x_0 \ | \ w) - log \ p_{\theta} (\vec w \ | \ x_0)\ ] \\

\nonumber \\

\mathcal L_{simple}^{e2e}(\vec w) = & \mathbb E_{q_{\phi}(x_{0:T}\ | \ \vec w)}[\ \mathcal L_{simple}(x_0) + \| Emb(\vec w) - \mu_{\theta}(x_1, \ 1) \|^2 - log\ p_{\theta}(\vec w \ | \ x_0) \ ] 
\end{align}
$$

#### Reducing Rounding Errors

`rounding`过程就是把连续的$x_0$转成离散的文本`ids`。理想情况下，就是在$\vec x_0$的情况下获取最大的$\vec w$，即$\ argmax \ p_{\theta} (\vec w \ | \ x_0) = \prod_{i=1}^n\ p_{\theta}\ (w_i \ | \ x_i)$，可是这并不能保证得到好的`words`。一种解释是：公式(7)中的$\mathcal L_{simple}(x_0)$项不够重视$x_0$的结构建模。

论文中提出解决该问题的方法是**re-parametrizes $\mathcal L_{simple}$**，强制使模型`Diffusion-LM`明确地在公式(7)中的每一项对$x_0$建模：
$$
\begin{align}
\mathcal L_{x_0-simple}^{e2e}(x_0) = \sum_{t=1}^T \mathbb E_{x_t}\ \| \  f_{\theta}(x_t, t) - x_0 \|^2
\end{align}
$$
> 其中$f_{\theta}(x_t, t)$模型直接预测$x_0$。这迫使神经网络预测目标函数每项中的$x_0$，发现用这个目标训练的模型很快就知道$x_0$应该精确地以单词嵌入为中心。
![16858922565859](http://images.tonlp.fun/mweb/16858922565859-2023-06-05.jpg)

相同的思路，在`解码时(decoding time)`也可以使用，论文中称为`clamping trick`。通过$f_{\theta}(x_t, t)$预测得到$x_0$，然后获取$x_{t-1}$可以通过公式(9)替换标准公式，公式(10)是使用`clamping trick`后的公式，`clamping trick`强制预测的向量用于中间扩散步骤的单词，从而使向量预测更加精确并减少舍入误差：
$$
\begin{align}
\text{使用$x_0$-parametrizes}\qquad x_{t-1} & = \sqrt{\bar \alpha} \ f_{\theta}(x_t, t) + \sqrt{1 - \bar \alpha} \ \epsilon  \\

\text{使用clampling trick}\qquad x_{t-1} & = \sqrt{\bar \alpha} \ Clamp(f_{\theta}(x_t, t)) + \sqrt{1 - \bar \alpha} \ \epsilon  \\

 \nonumber \\
\text{其中}\qquad \bar \alpha & = \prod_{s=0}^t (1 - \beta_s); \qquad \epsilon \in \mathcal N(0, I) \nonumber \\
\end{align}
$$
> 通过这个技巧，模型另外也能映射预测的向量$f_{\theta}(x_t, t)$到他自己附近的单词序列特征表示。
![16858934702776](http://images.tonlp.fun/mweb/16858934702776-2023-06-05.jpg)

## Diffusion-LM的解码及可控生成
这里是说明`Diffusion-LM`怎么控制文本生成的。基本原理就是使用公式(1)代替直接在离散的文本数据上。该论文就是通过控制在`Diffusion-LM`上定义的连续潜在变量$x_{0:T}$序列，然后应用`rounding`转换潜在变量到文本数据。

控制$x_{0:T}$生成等同于从后验公式$p(x_{0:T} \ | \ c) = \prod_{t=1}^T \ p(x_{t-1} \ | \ x_t, c)$解码；该论文中通过将这个联合推理问题分解为**每个扩散步骤**的一系列控制问题：
$$
\begin{align}
p(x_{t-1} \ | \ x_t, c) \propto & \ p(x_{t-1} \ | \ x_t) \cdot p(c \ | \ x_{t-1}, x_t) \\
\nonumber \\
\text{其中, 可以简化} \qquad p(c \ | \ x_{t-1}, x_t) = & \ p(c \ | \ x_{t-1}) \qquad \text{(通过条件独立假设)} \\
\nonumber \\
\text{公式(11)即} \qquad p(x_{t-1} \ | \ x_t, c) \propto & \ p(x_{t-1} \ | \ x_t) \cdot p(c \ | \ x_{t-1})
\end{align}
$$
这样我们就可以在第$t$步，通过在$x_{t-1}$上建立**梯度更新**：
$$
\begin{align}
\nabla_{x_{t-1}}\ log\ p(x_{t-1} | x_t, c) = \nabla_{x_{t-1}}\ log \ p(x_{t-1}\ | \ x_t) + \nabla_{x_{t-1}}\ log \ p(c \ | \ x_{t-1})
\end{align}
$$
> 其中$log \ p(x_{t-1}\ | \ x_t)$和$log \ p(c \ | \ x_{t-1})$都是**可微的**；前者是通过`Diffusion-LM`对其参数化，第二项是通过一个**神经网络分类器**参数化。

训练过程：在`扩散潜在变量(diffusion latent variables)`上训练分类器，并且在$x_{t-1}$的潜在空间上执行梯度更新，从而达到令人满意的控制。（这个过程是类似可控图像的方式）

不过论文中针对文本数据以及加速解码过程，又提出了两种方法：
* `fluency regularization`：引入超参数$\lambda$，权衡`fluenncy`和`control`：
    $$
    \begin{align}
    \text{公式(13)可得}\qquad log\ p(x_{t-1} \ | \ x_t, c) \propto & \ log\ p(x_{t-1} \ | \ x_t) + log\ p(c \ | \ x_{t-1}) \nonumber \\
    \nonumber \\
    \text{引入超参数$\lambda$}\qquad log\ p(x_{t-1} \ | \ x_t, c) \propto & \ \lambda \ log\ p(x_{t-1} \ | \ x_t) + log\ p(c \ | \ x_{t-1})
    \end{align}
    $$
    > 虽然现有的扩散可控生成方法在目标中不包括$\lambda\ log\ p(x_{t−1}\ | \ x_t)$项，但我们发现该项有助于生成流畅的文本。
* `multiple gradient steps`：这个是为了提高**控制质量（the control quality）**。通过在每个扩散步骤中执行多次**梯度步骤**：论文中使用的是每个扩散步骤执行`Adgrad`更新的*3个步骤*。
> 其中由于计算量太大，论文中使用`downsample`方法，将扩散步长从2000降到200，这加快了可控生成算法，并且也不会对样本质量造成太大影响。

### 针对单样本高质量生成要求

面对*机器翻译（machine translation）* 或者*句子填充（sentence infilling）* 等任务，这类任务要求输出一个单独且高质量的序列。所以论文中针对这类问题，应用了**Minimum Bayes Risk (MBR)**进行解码，通过聚合从`Diffusion-LM`模型抽取出来的一系列样本集合$S$，然后选择在损失函数$\mathcal L$下可以满足*最小期待风险(the minimum expected risk)* 的样本，从而达到较好的结果：
$$
\begin{align}
\hat w = argmin_{w' \in S}\ \frac{1}{\lvert S \rvert} \mathcal L(w, w')
\end{align}
$$


# 参考文献
1. Li, Xiang Lisa, John Thickstun, Ishaan Gulrajani, Percy Liang和Tatsunori B. Hashimoto. 《Diffusion-LM Improves Controllable Text Generation》. arXiv, 2022年5月27日. http://arxiv.org/abs/2205.14217.

Diffusion-LM模型 - 论文阅读

DDPM - 论文阅读

# BLIP、BLIP2模型以及InstructBLIP应用 - 论文阅读

前两个都是`VLP(Vision-Language Pre-training)`领域的架构，而后一个都是在之前一定基础上做的应用。`BLIP`和`BLIP2`名字相似，但是思路并不一样。`BLIP`是从训练数据角度出发，通过对训练数据的提纯、增强，来达到提高训练效果；`BLIP2`是提出一种新的架构，通过利用现有的视觉大模型和语言大模型，提出`Q-Former`模块来解决两种模态间的隔阂，而`InstructBLIP`是在`BLIP2`的基础上，对输入的数据进行结构化，形成一种**指令输入序列**，其对26个数据集进行转换操作，从而达到不修改`BLIP2`的架构的情况下，实现`VLP`下各种任务的统一。




## BLIP

### 1. 主要解决的问题和思路
该论文任务现在的`VLP`模型都是在大量`web data(image-text pair) with noisy`下训练出来的大模型，这是不是最优的训练数据。又由于人工标注数据是非常昂贵的，所以提出了`BLIP`模型。`BLIP`模型通过两个步骤完成图片相关的文本标注操作：**captioner**和**filter**。前者针对图像信息生成**合成的标题（字幕）**，再通过后者从原始的`text`和合成的`text`中选择其中噪音多的一个去除掉，以此达到数据的优化，从而训练得到更好的模型。

### 2. 模型

#### 2.1 模型结构
![BLIP模型架构](http://images.tonlp.fun/mweb/16844798043395-2023-05-27.jpg)

这个模型有两部分组成：
1. Image Encoder: 使用的`ViT`作为图片编码器，目的是把图片信息转化成`embedding`。采用这个方法的原因：更便于计算，并且大部分其他架构都使用。
    >需要注意的一点是，`[CLS]`作为一个全局图像特征的表征的开始，其被添加到图像patch的前面。代码中体现如下：
    ![CLS被添加的代码实现](http://images.tonlp.fun/mweb/16844805662182-2023-05-27.jpg)

1. Multimodal mixture of encoder-decoder(MED) 组成
    * Unimodal Encoder: 和`BERT`相同的文本编码器
        > 以`[CLS]`作为文本输入的开始token。
    * Image-grounded Text Encoder: 接受文本和图像信息，其中文本信息被`SA`处理，图像信息和处理后的文本信息被`CA`处理。
        > `[Encode] token`被添加到文本token的前面，`[Encode]`的`embedding`作为图像文本对的多模态表征。
    * Image-grounded Text Decoder: 使用`Causal Self-Attention`代替`Bi Self-Attention`。
        > `[Decode]`被添加到文本序列的开始，表示一个序列的开始信号。
> 注意：文本编码器和文本解码器除了`SA`模块，其他模块都共享所有参数。换句话说就是，除了`SA`不同，其他的都是相同的，根据不同任务，可以通过即插即用的方式处理`SA`从而实现特定任务。

#### 2.2 模型模型训练目标
1. ITC(image-text contracstive learning): 用来对齐文本和视觉特征空间。
2. ITM(image-text matching): 用来学习文本图像对的多模态表示，其可以捕捉文本和图像之间的细粒度对齐。
    > 这是个二分类任务（binnary classsification task），输出文本和图像是否匹配
    > 论文中使用`the hard negative mining strategy`：具有**较高对抗相似度**的负数据集对更有可能被选择来计算损失。
3. LM(image conditioned language modeling): 这个主要是用来生成符合给定图像的文本描述。
    > 使用`交叉熵损失(cross entropy loss)`。计算该损失时使用了标签平滑(0.1)的方法
    > 这是使用`LM`,而不是用`MLM`的原因是为了提高模型的**泛化能力**

#### 2.3 CapFilt模块
![CapFilt模块](http://images.tonlp.fun/mweb/16844826352639-2023-05-27.jpg)

这个模块的作用就是处理数据，使数据更纯净，没有噪音。基本思路就是通过少量的人工标注数据训练模型生成标签(标题/字幕)。

两部分组成：
1. captioner: 给定一个web图像，生成对应的caption。
2. filter: 去除原始web文本$T_w$和合成文本$T_s$中的噪声文本，其中，如果`ITM head`预测文本与图像不匹配，则认为文本是噪声的。

### 3. 对于不同任务使用不同的模型形式
![tasks](http://images.tonlp.fun/mweb/16844833186585-2023-05-27.jpg)

### 4. 模型优点
1. 可以达到更好的结果
2. 对下游任务应用范围更广
> 论文中说的....

## BLIP2

### 1. 主要处理的问题和思路
该论文的出发点是任务现在`VLP`模型都是建立在大数据集上的，训练起来非常昂贵，所以提出一种利用现有的模型，固定其原本的参数（**防止微调/训练的时候灾难性遗忘**），通过小参数的模型整合，从而达到低资源大提升的目的。

提出一种轻量级的`Querying Transformer(Q-Former)`，通过`Q-Former`来连接两种模态的预训练模型。主要做法是通过两阶段来训练：第一阶段接受文本图像表征来训练得到一个表示向量`query`；第二阶段通过`Q-Former`的输出来引导一个语言与训练模型达到图像文本生成学习。整体思路如下：
![BLIP2整体思路](http://images.tonlp.fun/mweb/16844846361088-2023-05-27.jpg)
> 整体思路一句话说就是：使用一个可以学习的`query`向量从图像编码器中抽取有用的视觉特征，然后再把这个`query`喂给`LLM`，是其输出渴望的文本。

### 2 模型

### 2.1 模型架构
![BLIP2模型架构-第一阶段](http://images.tonlp.fun/mweb/16844849976879-2023-05-27.jpg)
> 其中只有`Q-Former`是可训练的模块。

`Q-Former`模块组成：
1. 一个图像Transfomer子模块：与固定的图像编码器交互，用于视觉特征提取的图像Transformer
2. 一个文本Transfomer子模块：一种既可以作为文本编码器又可以作为文本解码器的文本Transformer
> 这两个子模块的`SA`是共享的。
> 使用不同的`SA mask`控制`query-text`交互
> 使用32个查询，其中每个查询的维度为768

初始化：
* 对于`Q-Former`，使用与训练好的$BERT_{base}$权重
* 对于`CA`层使用随机初始化参数

固定参数的预训练模型：
* 图像编码器：`ViT-L/14`、`ViT-G/14`
* 文本编码器：`OPT(decoder-based LLMs)`、`FlanT5(encoder-decoder-based LLMs)`
    ![BLIP2模型架构-第二阶段](http://images.tonlp.fun/mweb/16844862713611-2023-05-27.jpg)

全连接层的作用：用于将输出`query embedding`线性投影到与`LLM`的文本嵌入相同的维度中。

#### 2.2 模型模型训练目标
1. ITC(image-text contracstive learning): 用来对齐文本和视觉特征，使他们的互信息最大。
    > 利用`a unimodal self-attention mask`控制`query-text`之间不能互相看见
    > `[CLS]`token作为第一个文本token
2. ITG(Image-grounded Text Generation): 训练`Q-Former`在给定条件文本，生成目标文本
    > 使用`a multimodal causal self-attention mask`控制`query-text`之间交互
    > 用新的`[DEC]`token替换`[CLS]`token作为第一个文本token，以用控制解码任务。
3. ITM(image-text matching): 学习图像和文本表示之间的细粒度对齐。通过将每一个`query`的输出送到一个二分类线性器中，获得`logits`，然后将所有`query`的`logits`平均值作为输出匹配分数
    > 使用`a bi-directional self-attention mask`控制`query-text`交互
    > 使用`the hard negative mining strategy`创建有信息的负性对


## InstructBLIP

### 1. 主要处理的问题和思路
该论文主要是解决`VLP`任务中，不同任务需要不同格式的输入信息这个问题。改论文在`BLIP2`的基础上，对26个数据集，11种任务，做了系统和综合的分析，通过修改数据集格式到统一的形式，即输入信息中包含指令`（instruction-aware）`，可以通过指令信息对视觉特征进行抽取工作，从而完成对应的任务。

相关任务和数据集如下：
![数据集](http://images.tonlp.fun/mweb/16844879518784-2023-05-27.jpg)
> 对于每一项任务，使用10到15个不同的自然语言指令模板。

### 2 模型

#### 2.1 模型架构
![模型](http://images.tonlp.fun/mweb/16844879054511-2023-05-27.jpg)
> 使用`the language modeling loss`来指令微调模型

固定参数的预训练模型：
* 图像编码器：`ViT-G/14`
* 文本编码器：`FlanT5-XL`、`FlanT5-XXL`、`Vicuna-7B`、`Vicuna-13B`


## 参考文献
1. Junnan Li等, 《BLIP: Bootstrapping Language-Image Pre-Training for Unified Vision-Language Understanding and Generation》 (arXiv, 2022年2月15日), http://arxiv.org/abs/2201.12086; 
2. Junnan Li等, 《BLIP-2: Bootstrapping Language-Image Pre-Training with Frozen Image Encoders and Large Language Models》 (arXiv, 2023年1月29日), http://arxiv.org/abs/2301.12597; 
3. Wenliang Dai等, 《InstructBLIP: Towards General-Purpose Vision-Language Models with Instruction Tuning》 (arXiv, 2023年5月10日), http://arxiv.org/abs/2305.06500.

BLIP、BLIP2模型以及InstructBLIP应用 - 论文阅读

# SeViLA模型 - 论文阅读

该论文是基于`BLIP2`模型，对`video-language model`领域中的`Video Localization and Question Answering`任务提出的`SeViLA`模型。

>Title: Self-Chained Image-Language Model for Video Localization and Question Answering
Authors: Shoubin Yu, Jaemin Cho, Prateek Yadav, Mohit Bansal

> Publish Date: 2023-5-11

> Paper: [http://arxiv.org/abs/2305.06988](http://arxiv.org/abs/2305.06988)


> Code: [https://github.com/Yui010206/SeViLA](https://github.com/Yui010206/SeViLA)



## 1. 主要处理的问题和思路

现今为止，对于`Video-Language model`相关的方法基本都是从视频样本中均匀的抽取视频帧序列，然后直接作为视觉输入数据给相关模型，并不考虑视频样本的中的**语言意识（language-aware）**、**时序（temporal）**，这可能会导致丢失很多重要的**视觉暗示（visual cues）**。虽然对于视觉问答中 **视频时刻定位（Video Moment Localization）** 的可以训练一个具有**查询意识的视频时刻定位器（query-aware video moment localizer）**，通常需要昂贵的视频标注和高昂的计算成本。

所以该论文提出了`SeViLA`模型，其两个模块组成：`Localizer`和`Answerer`。这两个模块都是基于`BLIP2`做参数微调得到的。然后基于这两个模块，提出两种链接方法：**级联推理（cascaded inference）**、**自我完善（self-refinement）**。

首先，在前向链中，`Localizer`在视频中找到多个和文本相关的视频关键帧，然后`Answerer`使用这些关键帧来预测答案。其次，在反向链中，`Answerer`生成关键帧伪标签来优化`Localizer`，从而减少了对昂贵的**视频时刻定位标注**的需求。

![两个过程](http://images.tonlp.fun/mweb/16844973296697-2023-05-27.jpg)

## 2 模型

### 2.1 Localization和Answering模块链

![模型架构](http://images.tonlp.fun/mweb/16844977312914-2023-05-27.jpg)

该模型中，基于`BLIP2`构建`Localizer`和`Answerer`模块，其中仍旧保持`BLIP2`中的设定：`ViT`和`Flan-T5`模型参数保持不变，只是使用不同`Q-Former`模块。

两个模块：
* `Localizer`
    1. **目的**：对视频抽取关键帧，并且通过查询变量`q`获取关键帧特征`v`，然后通过使用该关键帧获取每个帧相关的分数，通过`TopK`设置，选择出最高的`k`个关键帧，以便`Answerer`模块使用。
    2. **具体流程**：
        a. 设定$topK$和抽取的视频帧数$n$，其中$topK <= n$
        b. 从视频中选择$n$个视频关键帧，随机初始化一个可学习的变量$q$
        c. $n$个视频关键帧通过图片编码器`ViT`获取关键帧特征向量，然后关键帧特征向量和可学习的变量$q$一起通过`Q-Former`模块，得到文本相关的关键帧特征向量$v$
        d. 每一个文本相关的关键帧特征向量$v$都和`[Question][Options][Loc Prompt]`进行拼接，然后一起送入语言模型`FlanT5`得到关键帧分数
        > $s_i= LLM(concat(v_i, L));  其中i < n$
        > 其中$L$是上面三个选项拼接后得到的向量
        
        e. 选择其中最高的$topK$个关键帧，获取其序号
* `Answerer`：
    1. **目的**：使用`Localizer`得出最高的`TopK`个关键帧（`ViT`处理后的帧特征表示），同时使用新的查询变量`q`传送给`Q-Former`模块，获取文本相关的特征向量，然后再通过语言模型获得最终的答案。
    2. **具体流程**：
        a. 通过`Localizer`可以知道最相关的$topK$个关键帧，随机初始化一个可学习的变量$q$
        b. 通过关键键帧特征向量和可学习的变量$q$一起通过`Q-Former`模块，得到文本相关的关键帧特征向量$v$，把得到的$v$所有向量进行拼接（拉平），再和`[Question][Options][AQ Prompt]`拼接之后送入`FlanT5`获取答案。
        > video-level answer $a = LLM(concat(v_1^k, ..., v_K^k, L))$
        > 其中$L$是上面三个选项拼接后得到的向量


### 2.2 使用Self-Chaning训练视频问答和定位

![训练过程](http://images.tonlp.fun/mweb/16844980231443-2023-05-27.jpg)

训练部分分成了两部分：**前向链**和**反向链**。

**前向链**：在前向链中，`Localizer`利用对`BLIP-2`模型的原始的`image-language`理解，并通过**每个视频关键帧**进行定位提示“Does the information within the frame provide the necessary details to accurately answer the aiven question?”来选择重要的语言感知(language-aware)视频关键帧。然后`Answerer`将**所选关键词的串联**作为视觉输入，以预测视频级别的答案。

**反向链**：在后向链中，我们生成关键帧伪标签来优化`Localizer`。如果`Answerer`可以使用该帧输出正确的答案，我们就可以表示这个视频帧是关键帧。

## 参考文献
1. Shoubin Yu等, 《Self-Chained Image-Language Model for Video Localization and Question Answering》 (arXiv, 2023年5月11日), http://arxiv.org/abs/2305.06988.

Vision Language Transformers: A Survey

0. 概述

Diffusion-LM模型 - 论文阅读

DDPM

DDPM - 论文阅读

BLIP、BLIP2模型以及InstructBLIP应用 - 论文阅读

SeViLA模型 - 论文阅读