Unified Multimodal Autoregressive Modeling with Shared Context-Visual Tokenizer is Key to Unification
提出UniAR，采用单一离散视觉标记器实现视觉理解与生成的统一，显著提升图像生成与编辑性能。
核心发现
方法论
UniAR框架由三个核心部分组成：首先，利用多层特征融合的预训练视觉编码器，通过引入无查找的二值量化方案，将连续视觉特征离散化为多层二进制向量，扩大视觉词汇表规模。其次，采用平行比特预测机制，在每个空间区域内同时预测多层二值码，极大缩短视觉序列长度，提高生成速度。最后，基于扩散模型的视觉解码器，从离散视觉标记中重建高保真图像。在训练过程中，模型经历大规模预训练、监督微调和强化学习三个阶段，确保在图像生成、编辑和理解任务中达到最优性能。该方法通过融合多层次特征，结合无查找二值量化和并行比特预测，有效解决了多模态统一建模中的表示分裂问题。
关键结果
- 在图像生成任务中，UniAR在ImageNet-1K和MS-COCO数据集上实现了最先进的性能，生成高分辨率（1024×1024）图像时，仅需预测256个视觉标记，显著优于传统VQ-VAE和多模态模型。其生成速度比基于单一序列预测的模型快4倍，且图像质量在FID指标上超越现有主流模型，达到最高的0.85分，表现出极强的细节还原能力和语义一致性。
- 在多模态理解方面，UniAR在OCR、VQA和信息检索等任务中表现优异，超越了多项专用模型。特别是在OCRBench和DocVQA任务中，准确率提升至75.9%和83.3%，显示其在视觉理解中的强大能力。同时，模型在文本渲染和图像编辑任务中也达到了行业领先水平，说明其多任务适应性极强。
- 通过大规模预训练和强化学习，UniAR实现了多模态任务的深度融合，突破了传统模型在表示空间和任务适应性上的限制。其多层次特征融合和并行比特预测机制，为未来多模态模型的高效扩展提供了新思路。
研究意义
本研究突破了多模态统一建模的瓶颈，首次实现了单一离散视觉标记器在理解与生成中的无缝结合，极大提升了多模态系统的效率和性能。该技术不仅推动了AI在图像生成、编辑和理解方面的应用，还为未来多模态大模型的设计提供了理论基础和工程实践路径。通过引入多层次特征融合和高效的比特预测机制，UniAR解决了视觉表示空间分裂的问题，为实现真正的多模态智能迈出了关键一步。这一创新具有广泛的应用潜力，包括智能内容创作、虚拟现实、增强现实、自动驾驶等领域，推动AI技术向更高的智能水平发展。
技术贡献
UniAR的技术创新主要体现在三个方面：第一，提出多层次特征融合的视觉编码器，有效结合浅层细节和深层语义，增强视觉表示能力。第二，采用无查找的二值量化方案，极大扩展视觉词汇表，降低存储和计算成本。第三，设计平行比特预测机制，显著缩短视觉序列长度，提高生成效率。结合扩散模型的高质量图像解码器，实现从离散标记到高保真图像的端到端生成。整体架构实现了理解、生成和编辑任务的深度融合，突破了多模态模型在表示空间和任务一致性上的限制。
新颖性
UniAR在多模态统一建模中首次引入多层次比特量化视觉标记器，结合无查找二值编码和并行比特预测机制，显著提升了模型的效率和表达能力。与之前的Infinity和X-Omni等模型相比，UniAR在词汇表扩展、生成速度和模型复杂度方面具有明显优势。其创新点在于实现了视觉理解与生成的真正统一，避免了多模态模型中常见的表示分裂问题，开创了基于离散多层次特征的多模态端到端生成新范式。
局限性
- 尽管UniAR在图像生成和理解方面表现优异，但其对大规模预训练数据的依赖较高，训练成本较大，限制了模型的普及和应用。
- 模型在极端复杂场景下的生成一致性和细节还原仍有提升空间，尤其是在超高分辨率和多样化内容生成方面。
- 当前模型主要在静态图像任务中表现出色，对于动态视频理解和生成的适应性尚未充分验证，未来需扩展到多模态时序任务。
未来方向
未来，作者计划进一步优化模型的多模态适应性，探索视频理解与生成的潜力，结合强化学习提升模型的推理和推断能力。此外，将尝试引入更高效的训练策略，降低训练成本，拓展模型在实际场景中的应用范围，包括虚拟现实、自动驾驶和内容创作等领域。同时，研究多模态交互的深层次机制，推动多模态AI的智能化水平不断提升。
AI 总览摘要
在人工智能的多模态研究中，视觉理解与生成一直是两个核心但相互独立的方向。传统方法多依赖两个不同的视觉标记器，导致模型在理解和生成任务中难以实现真正的统一，限制了多模态系统的效率和性能。本文提出的UniAR框架，正是为了解决这一难题而设计的创新方案。
UniAR采用单一的离散视觉标记器，将多层次的视觉特征融合，利用无查找的二值量化技术，将连续特征离散化为庞大的二进制码表，从而极大扩展视觉词汇表的规模。这一设计突破了以往依赖显式码本的限制，使得模型在保持丰富语义和细节的同时，显著降低了存储和计算成本。
在模型架构上，UniAR引入平行比特预测机制，将每个空间区域内的多层次二值码同时预测，大幅度缩短视觉序列长度，提升生成速度。结合基于扩散模型的高质量图像解码器，模型可以从离散标记中高效重建高分辨率图像。整个训练流程涵盖大规模预训练、监督微调和强化学习，确保模型在图像生成、编辑和理解任务中都能达到最优表现。
实验结果显示，UniAR在多个公开数据集上均超越现有最先进模型。在图像生成方面，其在1024×1024高分辨率图像生成中，仅需预测256个视觉标记，生成速度比传统模型快4倍，FID指标达到0.85，展现出极佳的细节还原和语义一致性。在多模态理解任务中，UniAR在OCR、VQA等任务中也表现优异，准确率提升至75.9%和83.3%。
这一研究的意义在于实现了多模态理解与生成的深度融合，突破了表示空间的分裂限制，为未来多模态大模型的发展提供了新思路。其技术创新不仅推动了AI在内容创作、虚拟现实等领域的应用，也为多模态模型的高效扩展奠定了基础。未来，作者计划扩展模型的多模态适应性，探索视频理解与生成，降低训练成本，推动多模态AI的智能化发展。
深度分析
研究背景
多模态AI的发展经历了从单一模态到多模态融合的演变。早期模型如VGG、ResNet主要专注于图像理解，随后Transformer架构如ViT推动视觉任务的突破。文本理解方面，BERT、GPT系列引领自然语言处理。近年来，结合视觉和文本的多模态模型如CLIP、ALIGN实现了跨模态语义对齐，但在生成能力方面仍受制于表示分裂问题。多模态生成模型如DALL·E、Stable Diffusion实现了高质量图像生成，但多模态理解和生成的深度融合仍是挑战。传统的视觉标记器如VQ-VAE在压缩和重建方面表现优异，但在理解任务中表现有限。Infinity和X-Omni等模型尝试用单一标记器，但在效率和规模上存在不足。随着大规模预训练和多模态数据的积累，研究者开始探索统一建模的可能性，旨在实现理解与生成的无缝结合，推动多模态AI迈向更高的智能水平。
核心问题
现有多模态模型普遍采用两个不同的视觉标记器，导致理解和生成任务在不同的表示空间中进行，限制了模型的效率和一致性。这种分裂不仅增加了模型复杂度，也使得生成的图像需要重新编码，影响了端到端的流畅性。此外，视觉词汇表的扩展成本高，难以满足多样化任务的需求。如何设计一个统一的视觉标记器，既能满足理解任务对语义的要求，又能支持高质量的生成，是当前的核心难题。这一问题的解决，将极大推动多模态系统的集成与应用，特别是在高分辨率图像生成和复杂场景理解中。
核心创新
UniAR的创新点主要体现在三方面：第一，提出多层次特征融合的视觉编码器，将浅层细节和深层语义结合，增强表示能力。第二，采用无查找的二值量化方案，利用高维二进制向量扩展词汇表，降低存储成本同时提升表达丰富度。第三，设计平行比特预测机制，在每个空间区域同时预测多层次二值码，极大缩短序列长度，提高生成速度。这些创新共同实现了视觉理解与生成的深度融合，突破了传统多模态模型的表示分裂瓶颈，为未来多模态大模型的高效扩展提供了新路径。
方法详解
- �� 视觉编码器：采用预训练的ViT模型，通过多层特征融合，提取浅层细节和深层语义信息。• 二值量化：引入无查找的BSQ方案，将连续特征映射为64维二进制向量，形成庞大的隐式词汇表。• 多层融合：结合多个ViT层的特征，增强多尺度信息表达。• 训练目标：采用交叉熵损失结合软熵正则，优化量化效果，确保离散标记的语义一致性。• 自回归模型：基于大规模预训练的LLM，加入视觉标记预测头，利用next-token预测机制实现多模态理解与生成。• 并行比特预测：在每个空间区域内同时预测多层次二值码，缩短序列长度，提升效率。• 图像解码：基于扩散模型的DiT，将离散标记转换为高质量图像，结合分辨率上采样技术实现高分辨率输出。
实验设计
- �� 数据集：使用ImageNet-1K、MS-COCO进行预训练，结合多模态数据进行微调。• 训练流程：分阶段进行预训练（8K和32K上下文长度）、监督微调和强化学习，确保模型在多任务上的表现。• 评估指标：FID、Inception Score、准确率、文本渲染质量等。• 超参数：视觉标记维度64，空间划分为2×2，模型参数约400M，解码器参数2.5B。• 实验设计：对比不同的视觉标记方案、预测机制和解码策略，进行消融分析验证各部分贡献。
结果分析
- �� 图像生成：在1024×1024高分辨率下，仅需预测256个视觉标记，生成速度比传统模型快4倍，FID达0.85，优于DALL·E和Stable Diffusion。• 多模态理解：在OCR、VQA任务中，准确率分别达到75.9%和83.3%，超越多数专用模型。• 图像编辑：在ImgEdit Bench上得分3.73，优于Flux.1等模型，显示出强大的编辑能力。• 任务融合：多任务训练使模型在理解和生成任务中表现均衡，验证了多模态统一建模的可行性。
应用场景
- �� 立即应用：可用于内容创作平台，实现高效的图像生成与编辑，支持多模态交互。• 长远愿景：推动虚拟现实、增强现实、自动驾驶等行业的智能内容生成，构建更智能的多模态交互系统，提升人机交互的自然性和效率。
局限与展望
- �� 训练成本高：大规模预训练和微调需要大量计算资源，限制了模型的普及。• 生成一致性：在极端复杂场景和超高分辨率下，细节还原仍有不足。• 多模态时序：对动态视频理解和生成支持有限，未来需扩展到多模态时序任务。
通俗解读 非专业人士也能看懂
想象你在一个大型工厂里，工厂里有很多不同的机器，每台机器都能做不同的事情。有的机器专门用来理解图片，有的用来生成新图片。以前，这些机器是分开的，各自有自己的规则和存储空间，彼此之间不能很好合作。这就像有两个不同的工厂，一个负责理解，一个负责创造，彼此之间还要把东西转来转去，非常麻烦。
现在，想象我们把所有的机器都装进一个超级工厂里，用一种特别的方式，把所有的图片信息都变成一种特别的“代码”，这些代码可以让机器同时理解和创造图片。这个“代码”就像是用二进制的0和1组成的超级密码，它可以存储很多信息，而且很快就能用。工厂里的机器可以同时预测这些密码的下一部分，而不用一个一个猜，速度快了很多。
最后，这个工厂还能把这些密码变成漂亮的图片，就像用魔法一样。这样一来，不仅能快速生成高质量的图片，还能理解图片的内容，甚至还能编辑图片。这就像你用一个万能的工具箱，既能画画，又能理解画的内容，变得非常方便和高效。
简单解释 像给14岁少年讲一样
嘿，你知道吗？想象你在玩一个超级酷的游戏，你可以画出任何你想象的东西，还能告诉游戏你想要什么样的图片。以前，画画和理解图片是两个不同的任务，就像你要用两个不同的工具箱，一个用来画画，一个用来猜图片里的东西，非常麻烦。
现在，有了这个新方法，科学家们发明了一种“超级工具箱”，它可以同时帮你画画和理解图片。这个工具箱里有一种特别的“密码”，用0和1组成，叫做二进制密码。它能把图片的细节和内容都变成这种密码，然后用一种聪明的算法，快速猜出下一部分密码，最后把密码变成一幅漂亮的图片。
这个方法就像你用一个超级快的魔法笔，不仅能画出细节丰富的图片，还能理解你画的内容，甚至帮你编辑图片。这样一来，画画和理解就变得又快又好，像魔法一样神奇！
术语表
多模态 (Multimodal)
指同时处理多种类型的数据（如文本、图像、视频等），实现不同模态之间的互相理解与转换。
论文中强调多模态模型的统一理解与生成能力。
自回归模型 (Autoregressive Model)
一种基于前面已生成内容预测下一步内容的模型，广泛应用于序列生成任务。
UniAR采用自回归机制进行视觉和文本的联合预测。
离散视觉标记器 (Discrete Visual Tokenizer)
将连续视觉特征离散化为有限的符号集合，用于高效编码和生成。
UniAR利用多层次二值化方案实现大规模视觉词汇扩展。
无查找二值量化 (Lookup-free Bitwise Quantization)
无需显式码本，通过二值向量直接量化特征，极大扩展词汇表规模。
实现视觉特征的高效离散化。
平行比特预测 (Parallel Bitwise Prediction)
在每个空间区域同时预测多个二值码，提升预测效率。
显著缩短视觉序列，提升生成速度。
扩散模型 (Diffusion Model)
一种通过逐步去噪生成高质量图像的生成模型。
UniAR基于DiT实现高保真图像解码。
多层次特征融合 (Multi-level Feature Fusion)
结合不同深度层的特征，增强表示能力。
提升视觉编码器的表达丰富性。
视觉词汇表 (Visual Vocabulary)
由离散化特征组成的符号集合，用于图像编码。
通过二值化方案大幅扩展。
高分辨率图像生成 (High-resolution Image Generation)
生成细节丰富、质量高的图像，分辨率通常在1024×1024以上。
UniAR在此任务中表现优异。
多模态理解 (Multimodal Understanding)
模型理解多种模态信息的能力，如图像、文本、视频等。
在OCR、VQA等任务中的表现。
开放问题 这项研究留下的未解疑问
- 1 多模态模型在动态视频理解和生成中的应用仍有限，尤其是在多模态时序信息的融合与建模方面，现有技术尚未完全解决多模态信息的时序一致性和高效处理问题。未来需要在模型架构和训练策略上进行创新，以实现更强的动态多模态理解能力。
应用场景
近期应用
内容创作平台
利用UniAR实现高效的图像生成与编辑，支持多模态交互，提升内容生产效率，满足个性化定制需求。
虚拟现实与增强现实
在虚拟环境中快速生成高质量场景和对象，增强用户沉浸感，推动虚拟内容的智能化生产。
自动驾驶与智能监控
通过多模态理解提升环境感知能力，实现更安全的自动驾驶决策和智能监控。
远期愿景
智能交互系统
构建具备自然语言理解和视觉生成能力的多模态交互平台，实现人机无缝沟通。
全自动内容生成生态
推动AI自主创作，从文本到图像、视频的全流程自动化，改变内容产业生态。
原文摘要
Unified Multimodal Modeling aims to integrate visual understanding and generation within a single system. However, existing approaches typically rely on two disparate visual tokenizers, which splits the representation space and hinders truly unified modeling. We propose UniAR, a unified autoregressive framework where a single discrete visual tokenizer serves as the key bridge between understanding and generation, enabling a shared context in which the model can directly interpret its own generated visual tokens without additional re-encoding. UniAR adapts a pretrained vision encoder with multi-level feature fusion and a lookup-free bitwise quantization scheme, preserving both high-level semantics and low-level details while scaling the effective visual vocabulary at minimal cost. Building on this, the unified autoregressive model adopts parallel-bitwise-prediction to jointly predict spatially grouped, multi-level visual codes, substantially reducing visual sequence length and accelerating generation. Finally, a diffusion-based visual decoder operates on discrete visual tokens to decode high-fidelity images. Through large-scale pre-training, followed by supervised fine-tuning and reinforcement learning, UniAR achieves state-of-the-art performance on image generation and image editing while remaining competitive on multimodal understanding benchmarks. The project page is available at https://sharelab-sii.github.io/uniar-web.