谷歌抢先手发布**生成类AIGC，网友：可以定制电影了

2023-02-19 机器之心Pro

机器之心报道

编辑：杜伟、陈萍

AIGC 已经火了很长时间了，出现了文本生成图像、文本生成**、图像生成**等广泛的应用场景，如今谷歌研究院的一项新研究可以让我们根据输入**生成其他**了！

我们知道，生成模型和多模态视觉语言模型的进展已经为具备前所未有生成真实性和多样性的大型文本到图像模型铺平了道路。这些模型提供了新的创作过程，但仅限于合成新图像而非编辑现有图像。为了弥合这一差距，基于文本的直观编辑方法可以对生成和真实图像进行基于文本的编辑，并保留这些图像的一些原始属性。与图像类似，近来文本到**模型也提出了很多，但使用这些模型进行**编辑的方法却很少。

在文本指导的**编辑中，用户提供输入**以及描述生成**预期属性的文本 prompt，如下图 1 所示。目标有以下三个方面，1）对齐，编辑后的**应符合输入文本 prompt；2）**度，编辑后的**应保留原始**的内容，3）质量，编辑后的**应具备高质量。

可以看到，**编辑比图像编辑更加具有挑战性，它需要合成新的动作，而不仅仅是修改视觉外观。此外还需要保持时间上的一致性。因此，将 SDEdit、Prompt-to-Prompt 等图像级别的编辑方法应用于**帧上不足以实现很好的效果。

在近日谷歌研究院等发表在 arXiv 的一篇**中，研究者提出了一种新方法 Dreamix，它受到了 UniTune 的启发，将文本条件**扩散模型（video diffusion model, VDM）应用于**编辑。

**地址：https://arxiv.org/pdf/2302.01329.pdf
项目主页：https://dreamix-video-editing.github.io/

文中方法的核心是通过以下两种主要思路使文本条件 VDM 保持对输入**的高**度。其一不使用纯噪声作为模型初始化，而是使用原始**的降级版本，通过缩小尺寸和添加噪声仅保留低时空信息；其二通过微调原始**上的生成模型来进一步提升对原始**的**度。

微调确保模型了解原始**的高分辨率属性。对输入**的简单微调会促成相对较低的运动可编辑性，这是因为模型学会了更倾向于原始运动而不是遵循文本 prompt。研究者提出了一种新颖的混合微调方法，其中 VDM 也在输入**各个帧的**上进行微调，并丢弃了它们的时序。混合微调显著提升了运动编辑的质量。

研究者进一步利用其**编辑模型提出了一个新的图像动画框架，如下图 2 所示。该框架包含了几个步骤，比如为图像中的对象和背景设置动画、创建动态相机运动等。他们通过帧**或几何图像变换等简单的图像处理*作来实现，从而创建粗糙的**。接着使用 Dreamix **编辑器对**进行编辑。此外研究者还使用其微调方法进行目标驱动的**生成，也即 Dreambooth 的**版本。

在实验展示部分，研究者进行了广泛的定性研究和人工评估，展示了他们方法的强大能力，具体可参考如下动图。

对于谷歌这项研究，有人表示，3D + 运动和编辑工具可能是下一波**的热门主题。

还有人表示：大家可以很快在预算内制作自己的的电影了，你所需要的只是一个绿幕以及这项技术：

方法概览

本文提出了一种新的方法用于**编辑，具体而言：

通过逆向被****进行文本引导**编辑

他们采用级联 VDM（ Video Diffusion Models ），首先通过下采样对输入**就行一定的**，后加入噪声。接下来是级联扩散模型用于采样过程，并以时间 t 为条件，将**升级到最终的时间 - 空间分辨率。

在对输入**进行**处理的这一过程中，首先需要进行下采样*作，以得到基础模型（16 帧 24 × 40），然后加入方差为

高斯噪声，从而进一步**输入**。

对于上述处理好的**，接下来的*作是使用级联 VDM 将损坏掉的低分辨率**映射到与文本对齐的高分辨率**。这里的核心思想是，给定一个嘈杂的、时间空间分辨率非常低的**，有许多完全可行的、高分辨率的**与之对应。本文中基础模型从损坏的**开始，它与时间 s 的扩散过程具有相同的噪声。然后该研究用 VDM 来逆向扩散过程直到时间 0。最后通过超分辨率模型对**进行升级。

混合**图像微调

仅利用输入**进行**扩散模型的微调会**物体运动变化，相反，该研究使用了一种混合目标，即除了原始目标（左下角）之外，本文还对无序的帧集进行了微调，这是通过「masked temporal attention」来完成的，以防止时间注意力和卷积被微调（右下）。这种*作允许向静态**中添加运动。

推理

在应用程序预处理的基础上（Aapplication Dependent Pre-processing，下图左），该研究支持多种应用，能将输入内容转换为统一的**格式。对于图像到**，输入图像被**并被变换，合成带有一些相机运动的粗略**；对于目标驱动**生成，其输入被省略，单独进行微调以维持**度。然后使用 Dreamix Video Editor（右）编辑这个粗糙的**：即前面讲到的，首先通过下采样****，添加噪声。然后应用微调的文本引导**扩散模型，将**升级到最终的时间空间分辨率。