核心发现
方法论
Mimir是一种端到端训练框架，通过精心设计的Token Fuser融合文本编码器和大语言模型的输出。Token Fuser包括非破坏性融合和语义稳定器，前者利用Zero-Conv层融合编码器和解码器输出，后者通过可学习参数稳定波动的文本特征。
关键结果
- 在VBench数据集上，Mimir在背景一致性、空间关系等指标上超过现有方法，尤其在多物体和空间关系指标上表现突出。
- 用户研究显示，Mimir在指令跟随、物理模拟和视觉质量方面优于其他方法。
- 消融研究表明，Zero-Conv和语义稳定器是提高模型性能的关键。
研究意义
Mimir通过融合大语言模型的文本理解能力，显著提升了视频生成模型的文本理解和生成质量。这一研究为视频生成领域提供了新的思路，尤其在处理短文本和动态变化场景时表现优异。
技术贡献
Mimir引入了Token Fuser，成功融合了文本编码器和大语言模型的输出，解决了特征分布差异问题。该方法不仅提升了文本理解能力，还在生成视频质量上取得了显著进步。
新颖性
Mimir首次将大语言模型的解码器能力与视频扩散模型结合，提出了Token Fuser以解决特征分布差异问题，显著提升了文本到视频生成的效果。
局限性
- Mimir在处理长文本描述时仍存在一定的理解困难，可能导致生成视频与文本不符。
- 模型训练成本较高，尤其在大规模数据集上。
未来方向
未来工作可以探索如何进一步优化Token Fuser，以更好地处理长文本描述，并降低模型的训练成本。
AI 总览摘要
Mimir通过融合文本编码器和大语言模型，解决了现有视频扩散模型在文本理解上的不足。该方法引入了Token Fuser，以非破坏性融合和语义稳定器为核心组件，成功解决了特征分布差异问题。
实验结果表明，Mimir在VBench数据集上的表现优于现有方法，尤其在背景一致性和空间关系等指标上。用户研究进一步证实了其在指令跟随、物理模拟和视觉质量方面的优越性。
尽管Mimir在处理长文本描述时仍面临挑战，但其在短文本和动态变化场景中的表现为视频生成领域提供了新的思路。未来工作将着眼于优化Token Fuser，以提升模型的文本理解能力和降低训练成本。
深度分析
研究背景
视频生成模型近年来取得了显著进展，尤其是基于扩散模型的方法。然而，这些模型在文本理解上仍存在不足，限制了其生成视频的质量。大语言模型的成功展示了其在文本理解上的潜力，但如何将其与视频生成模型有效结合仍是一个挑战。
核心问题
现有视频扩散模型在文本理解上存在局限，尤其是在处理复杂文本描述时。这一问题限制了模型生成视频的准确性和质量。
核心创新
Mimir通过引入Token Fuser，成功融合了文本编码器和大语言模型的输出。非破坏性融合和语义稳定器是其核心创新，前者利用Zero-Conv层解决特征分布差异，后者通过可学习参数稳定文本特征。
方法详解
- �� 使用文本编码器和大语言模型获取文本特征。
- �� 通过Token Fuser融合编码器和解码器输出。
- �� 使用Zero-Conv层实现非破坏性融合。
- �� 通过语义稳定器稳定文本特征。
实验设计
在VBench数据集上进行实验，比较了Mimir与现有方法的性能。使用背景一致性、空间关系等指标进行评估，并通过用户研究验证模型的实际效果。
结果分析
Mimir在VBench数据集上的表现优于现有方法，尤其在背景一致性和空间关系等指标上。用户研究显示，Mimir在指令跟随、物理模拟和视觉质量方面优于其他方法。
应用场景
Mimir可用于需要高质量视频生成的场景，如影视制作、虚拟现实等。其在短文本和动态变化场景中的表现尤为突出。
局限与展望
Mimir在处理长文本描述时仍存在一定的理解困难，可能导致生成视频与文本不符。模型训练成本较高，尤其在大规模数据集上。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭。文本描述就像菜谱，视频生成模型就像厨师。现有的厨师只能理解简单的菜谱，做出的菜品质量有限。Mimir就像一个新厨师，他不仅能理解复杂的菜谱，还能根据菜谱做出更美味的菜品。通过融合不同的菜谱来源，Mimir能更好地理解菜谱的细节，做出符合预期的菜品。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏，你需要根据提示生成一个视频。现有的游戏角色只能理解简单的提示，生成的视频质量不高。Mimir就像一个新角色，他能理解更复杂的提示，生成的视频更符合你的期望。通过融合不同的提示来源，Mimir能更好地理解提示的细节，生成更高质量的视频。
术语表
Token Fuser (令牌融合器)
一种用于融合文本编码器和大语言模型输出的组件，包含非破坏性融合和语义稳定器。
在Mimir中用于解决特征分布差异问题。
Zero-Conv (零卷积)
一种用于实现非破坏性融合的技术，确保训练初期特征为零。
在Token Fuser中用于融合编码器和解码器输出。
Semantic Stabilizer (语义稳定器)
通过可学习参数稳定波动的文本特征，确保生成视频的文本一致性。
在Token Fuser中用于稳定文本特征。
VBench (VBench数据集)
用于评估视频生成模型性能的数据集，包含多种评估指标。
在实验中用于评估Mimir的性能。
Large Language Model (大语言模型)
一种基于解码器的模型，具有强大的文本理解和生成能力。
在Mimir中用于提升文本理解能力。
开放问题 这项研究留下的未解疑问
- 1 如何在不增加训练成本的情况下提升Mimir对长文本的理解能力。
- 2 如何进一步优化Token Fuser以提升模型的文本理解能力。
应用场景
近期应用
影视制作
Mimir可用于生成高质量的影视视频，提升视觉效果。
虚拟现实
在虚拟现实中，Mimir可用于生成更真实的场景，增强用户体验。
远期愿景
智能视频创作
Mimir的技术可用于开发智能视频创作工具，帮助用户轻松生成高质量视频。
原文摘要
Text serves as the key control signal in video generation due to its narrative nature. To render text descriptions into video clips, current video diffusion models borrow features from text encoders yet struggle with limited text comprehension. The recent success of large language models (LLMs) showcases the power of decoder-only transformers, which offers three clear benefits for text-to-video (T2V) generation, namely, precise text understanding resulting from the superior scalability, imagination beyond the input text enabled by next token prediction, and flexibility to prioritize user interests through instruction tuning. Nevertheless, the feature distribution gap emerging from the two different text modeling paradigms hinders the direct use of LLMs in established T2V models. This work addresses this challenge with Mimir, an end-to-end training framework featuring a carefully tailored token fuser to harmonize the outputs from text encoders and LLMs. Such a design allows the T2V model to fully leverage learned video priors while capitalizing on the text-related capability of LLMs. Extensive quantitative and qualitative results demonstrate the effectiveness of Mimir in generating high-quality videos with excellent text comprehension, especially when processing short captions and managing shifting motions. Project page: https://lucaria-academy.github.io/Mimir/