视频生成的扩散模型

文章主要介绍了视频生成建模的各个关键技术与算法原理。首先，文章探讨了扩散模型在图像合成领域的成功应用，并指出当前研究正尝试将其扩展至更具挑战性的视频生成任务。视频生成不仅要在空间维度上合成图像，还需在时间维度上保持帧与帧之间的连续性和一致性，这意味着模型需要能够处理时序信息以及更多的世界知识。此外，与图像数据相比，高质量的文本-视频配对数据更难获得，这也增加了建模难度。

为了在时间维度上生成视频，研究者提出了一种基本方法：在视频帧上添加高斯噪声，然后通过学习逆过程来去除噪声，从而生成清晰的视频内容。文中提到，为了生成视频帧，可以使用DDIM（Denoising Diffusion Implicit Models）更新规则进行逐步去噪。此外，为了避免生成过程中的颜色偏移问题，文章介绍了一种技巧，即通过v-prediction参数化而非直接预测噪声来实现。

在条件视频生成方面，即根据一个给定视频生成新视频，文章提到了一种有效的方法是重建指导采样。这涉及到调整原始的去噪模型，使其在生成过程能够根据给定视频的条件进行调整，同时保留原有视频的内容和动态特性。

文章接着讨论了视频生成模型的架构，主要分为基于U-Net的卷积网络和基于Transformer的DiT（Decoupled Transformer）两大类。其中，3D U-Net是一种代表性的工作，它将2D图像的U-Net扩展到3D空间，并在空间和时间两个维度上进行分解处理。在空间维度，3D U-Net应用2D卷积和自注意力机制，在时间维度则使用1D卷积和时序注意力。这种处理方式旨在降低计算开销，同时通过时序注意力模块增强生成视频的时间一致性。其他工作，如Imagen Video，使用了一系列级联的3D U-Net，并通过时空超分辨率模块逐步提高视频的分辨率。

DiT架构则采用了不同的方法，它将输入视频分解为时空块，然后利用Transformer的自注意力和前馈操作对这些块进行处理。此外，文章还探讨了如何将预训练的文本到图像的扩散模型改编为支持视频生成的方法。这包括在视频数据上进行微调，或通过无需训练的适配方法，如通过潜码的平移变换引入运动动力学，或利用新的跨帧注意力替换原有的帧内自注意力来提高前景对象的一致性。

最后，文章提到了ControlVideo模型，它进一步增强了跨帧交互，并提出了交错帧平滑和分层采样等技术，以提高生成视频的质量。整体而言，文章详细介绍了从扩散模型到Dit模型和3D U-net在视频生成领域所涉及的多种算法原理，展现了当前视频生成技术的发展和挑战。