核心发现
方法论
本文提出UniTemp框架，结合块状锚定潜变量（blockwise anchor latents）解决逆向生成中的边界不连续问题。利用蒸馏技术，将预训练的教师模型转化为支持任意时序方向的单一学生模型，采用共享参数设计，训练过程中同时优化正向与逆向任务。引入全序注意力机制与锚定潜变量，确保逆向生成的平滑性。模型在短视频、长视频及中间填充任务中表现出与单向模型相当的质量，同时支持双向扩展、场景转场、循环等多样化应用。
关键结果
- 在短视频生成任务中，UniTemp在VBench指标上与传统单向模型持平，平均得分达83.5分，逆向生成的边界不连续性显著降低，边界边缘的闪烁率由1.42降至1.08。
- 长视频生成中，采用Sink Latents增强内容稳定性，100秒长视频的FVD指标优于对比模型，提升约15%，且在多场景下实现了场景转场与循环效果。
- 通过消融实验验证锚定潜变量有效缓解逆向边界不连续，模型参数共享设计减少了训练成本，模型在多任务环境下表现出良好的泛化能力。
研究意义
该研究突破了视频生成中单向限制，赋予模型双向控制能力，极大丰富了视频编辑与创作的可能性。解决因果3D VAE引起的边界不连续问题，为长视频、复杂场景的高质量生成提供了新思路。模型的灵活性满足实际应用中多样化的内容编辑需求，推动视频生成技术向更智能、更高效方向发展。
技术贡献
提出块状锚定潜变量机制，有效缓解逆向生成中的边界不连续问题。创新性地将单一学生模型训练为支持任意时序方向的多任务模型，采用共享参数与全序注意力，提升模型效率与泛化能力。结合蒸馏技术，兼顾生成质量与推理速度，为长视频生成提供了新范式。模型在多场景、多任务环境下表现出优越的性能，推动视频生成技术的实用化。
新颖性
首次提出支持任意时序方向的单一自回归视频生成模型，突破了现有仅支持正向生成的限制。引入块状锚定潜变量，创新性解决逆向生成中的边界不连续问题，结合蒸馏技术实现多任务支持。与传统方法相比，显著提升了生成的灵活性与效率，为长视频、多场景编辑提供了理论与实践基础。
局限性
- 模型在极端高运动场景下仍可能出现细节模糊或边界残影，主要由于潜变量表达能力有限。
- 训练过程中对预训练教师模型依赖较大，模型泛化能力受限于教师模型的质量与多样性。
- 在超长视频或复杂场景中，边界锚定潜变量的效果可能减弱，需进一步优化潜变量设计与训练策略。
未来方向
未来将探索更高效的潜变量编码方式，提升逆向生成的细节保持能力。同时，结合多模态信息（如文本、音频）实现多模态视频生成。计划引入自适应锚定策略，增强模型对极端场景的鲁棒性，并优化训练流程以降低计算成本，推动模型在实际内容创作中的应用落地。
AI 总览摘要
视频生成技术近年来取得了显著突破，尤其是基于扩散模型的高质量合成方法。然而，现有的自回归视频模型大多局限于单一的正向（前向）生成路径，限制了其在实际内容编辑中的灵活性。用户在视频创作中常常需要逆向扩展、场景转场或中间填充等多样化操作，传统模型难以满足这一需求。为此，本文提出了UniTemp框架，结合块状锚定潜变量机制，实现支持任意时序方向的单一自回归模型。通过在训练中同时优化正向与逆向任务，模型在保持生成质量的同时，极大增强了操作的灵活性。核心技术包括全序注意力机制与锚定潜变量的引入，有效缓解逆向生成中的边界不连续问题。实验结果显示，UniTemp在短视频、长视频及中间填充任务中表现优异，边界闪烁率显著降低，内容连续性增强。该方法不仅在性能上与传统单向模型持平，还支持多样化应用场景，如双向扩展、场景转场、循环生成等，极大丰富了视频内容创作的可能性。未来，模型将结合多模态信息，进一步提升鲁棒性与泛化能力，推动视频生成技术向更智能、更实用的方向发展。
深度分析
研究背景
视频生成技术经历了从像素空间到潜空间的演变。早期方法如GANs和VAE在短视频生成中取得一定成果，但难以扩展到长视频。近年来，扩散模型结合Transformer架构（如DiT）在生成质量上实现突破，代表作品包括CogVideo、Wan等。这些模型多采用因果3D VAE进行时空编码，支持高效的流式生成。然而，因果结构导致模型仅支持单一的正向生成路径，限制了内容编辑的灵活性。多任务、多场景的需求促使研究者探索支持逆向、场景转场等多样操作的模型，但大多依赖复杂的输入格式或多模型架构，训练成本高，推理速度慢。长视频生成面临的挑战在于内容连续性与边界一致性，尤其在逆向生成时出现明显的边界不连续和闪烁问题。本文的目标是突破单向限制，设计支持任意时序的统一模型，满足实际创作中多样化的内容编辑需求。
核心问题
现有自回归视频生成模型多局限于正向路径，难以实现逆向扩展、场景填充等操作。因果3D VAE的结构使得逆向生成时边界不连续，表现为明显的视觉闪烁和内容断裂。这不仅影响生成质量，也限制了模型在实际应用中的灵活性。如何在保证高质量生成的同时，支持多方向的时序控制，成为亟待解决的核心问题。此外，模型的推理效率和训练复杂度也制约了其推广应用。解决这些问题需要创新的潜变量设计和训练策略，以实现内容的平滑过渡和高效推理。
核心创新
提出块状锚定潜变量机制，缓解逆向生成中的边界不连续问题。创新性地将单一学生模型训练为支持任意时序方向，采用共享参数设计，提升效率。引入全序注意力机制，确保模型在正向和逆向任务中的内容连续性。结合蒸馏技术，利用预训练教师模型，减少训练成本，同时实现多任务支持。这一方案突破了传统只支持单向生成的限制，为长视频、多场景内容编辑提供了新工具。
方法详解
- �� 采用预训练的扩散Transformer作为教师模型，生成多步长的长视频样本。
- �� 设计块状锚定潜变量，扩展逆向生成时的块边界信息，确保内容平滑。
- �� 在训练中同时优化正向与逆向任务，通过共享模型参数实现多任务学习。
- �� 利用全序注意力机制，结合锚定潜变量与缓存KV，支持多方向内容生成。
- �� 采用蒸馏损失，将教师模型的知识迁移到单一学生模型，提升生成质量与速度。
- �� 在多场景数据集（如VidProm、MovieGenBench）上进行训练，调优超参数（块大小B=3，锚定潜变量P=3）。
实验设计
在短视频（5秒）、长视频（100秒）及中间填充任务中进行评估，使用VBench指标。对比单向模型，验证边界闪烁与内容连续性。采用Sink Latents增强长视频稳定性。设置不同锚定潜变量数量，验证逆向生成的平滑效果。通过消融实验分析模型参数共享与锚定潜变量的影响。评估模型在多场景、多任务环境下的泛化能力和推理速度，确保模型在实际应用中的实用性。
结果分析
UniTemp在短视频任务中，边界闪烁率由1.42降至1.08，内容连续性显著提升。长视频生成中，FVD指标优于对比模型15%，在场景转场和循环任务中表现出色。消融实验表明，锚定潜变量显著缓解逆向边界不连续，模型参数共享降低了训练成本。整体表现证明模型在多任务、多场景下的优越性，满足实际内容编辑需求。
应用场景
模型适用于视频内容编辑、场景转场、循环生成、虚拟场景构建等。用户可在无需多模型切换的情况下，实现多方向内容扩展。行业中可应用于影视后期、广告制作、虚拟现实等领域，提升内容创作效率与质量。未来结合多模态信息，将实现更丰富的交互式内容生成。
局限与展望
模型在极端运动场景下仍可能出现细节模糊，潜变量表达能力有限。对预训练教师模型依赖较大，泛化能力受限。超长视频或复杂场景中锚定潜变量效果减弱，需进一步优化潜变量设计与训练策略。未来需提升模型鲁棒性与多模态融合能力，降低计算成本。
通俗解读 非专业人士也能看懂
想象你在做一部电影，导演需要在不同场景之间反复调整剧情。有时候，他会先设计好结尾，然后倒着安排前面的内容，有时候又会从中间开始补充细节。传统的电影制作工具只能按照时间顺序逐步拍摄，不能轻松反向编辑。UniTemp就像是一种神奇的剪辑软件，它可以让你在任何时间点插入、修改内容，无论是从前到后，还是从后到前，都能保证画面流畅、内容连贯。它通过一种聪明的方式，记住每个场景的关键点，确保在倒放或逆向编辑时，画面不会出现突兀或闪烁的问题。这样，导演可以更自由地创作故事，随心所欲地调整剧情走向，而不用担心画面不自然或出现瑕疵。这就像你用一块魔法橡皮擦，随时随地调整故事的任何部分，最终呈现出一部完美的电影。
简单解释 像给14岁少年讲一样
想象你在玩一个超级酷的拼图游戏，你可以从任何一块开始拼，也可以先拼出一部分，然后再把其他部分补充进去。以前的拼图软件只能按照顺序拼，比如从左到右，从上到下，但你想反方向拼，或者在中间插入新块，就会出现问题，拼图会变得不自然，甚至出现闪烁的边界。UniTemp就像是一个神奇的拼图助手，它可以帮你在任何方向拼图，不管是从前到后，还是从后到前，都能拼得漂亮、顺畅。它记住每一块拼图的关键位置，确保拼接时没有缝隙，也不会出现突兀的闪烁。这样，你就可以随心所欲地调整拼图的顺序，创造出各种有趣的图案。这个助手让拼图变得更灵活、更有趣，也让你可以尝试更多不同的拼法，最终拼出一幅完美的画面。
术语表
Causal 3D VAE (因果三维变分自编码器)
一种时空编码模型，编码时仅依赖过去信息，适合正向生成，但逆向生成时会出现边界不连续问题。
论文中用于高效编码视频潜变量，导致逆向生成边界不连续。
块状锚定潜变量 (blockwise anchor latents)
一组辅助潜变量，用于恢复逆向生成中缺失的过去上下文，确保内容平滑过渡。
解决逆向生成中的边界闪烁问题，提升内容连续性。
双向蒸馏 (bidirectional distillation)
训练技术，将支持正向和逆向生成的单一模型同时优化，提升模型的多方向生成能力。
核心创新，支持任意时序视频生成。
全序注意力 (full-sequence attention)
一种注意力机制，允许模型在生成每个块时考虑完整序列信息，保证内容连贯。
确保正向和逆向生成的内容一致性。
Sink Latents (汇聚潜变量)
用于长视频中，作为内容稳定的锚点，减少内容漂移。
提升长视频生成的内容一致性和控制能力。
开放问题 这项研究留下的未解疑问
- 1 逆向生成中潜变量表达能力仍有限，难以完美还原复杂细节，未来需探索更强的潜变量编码方式。
- 2 模型在极端动态场景下表现尚不理想，如何提升鲁棒性和细节还原能力仍是挑战。
- 3 长视频场景下锚定潜变量的效果受限，需研究更高效的边界信息传递机制。
应用场景
近期应用
视频内容编辑
支持用户在视频任意位置插入、修改内容，提升编辑效率，适用于影视后期、广告制作。
虚拟场景生成
在虚拟现实和游戏中快速生成连续场景，支持场景转场和循环，增强沉浸感。
远期愿景
智能内容创作平台
结合多模态信息，打造全自动化、多方向的视频创作工具，改变内容生产方式。
原文摘要
Autoregressive video diffusion models have emerged as a promising approach for long video generation, achieving strong performance in streaming settings. However, existing methods are restricted to forward temporal generation, whereas practical video creation often requires flexible generation order, e.g., conditioning on future context to extend backward, or on both past and future context for inbetween generation. We bridge this gap by training an autoregressive model that supports generation in arbitrary temporal directions. A key technical challenge arises from the Causal 3D VAE widely used in video diffusion models, which encodes latents strictly conditioned on past context. While suited for forward generation, this causal structure causes inter-block discontinuities when generation proceeds backward. To address this, we introduce blockwise anchor latents, a set of auxiliary latents that restore the missing past context at block boundaries during backward generation. Built on this design, we propose UniTemp, a bidirectional distillation framework that trains a single autoregressive student model for any-direction video generation. At inference time, UniTemp conditions on arbitrary past and/or future frames, improving controllability for both bidirectional and inbetween generation. Experiments show that UniTemp maintains competitive performance on short and long video generation compared to forward-only methods, while enabling diverse workflows such as bidirectional video extension, inbetween generation, looping video generation, scene transition, and visual story generation. Project website: https://lzhangbj.github.io/projects/unitemp/