核心发现
方法论
本文提出的空间推测解码（SSD）框架将自回归图像生成的预测目标与图像的自然几何结构相结合。不同于传统的线性序列预测，SSD在预测时同时考虑水平方向和垂直方向的邻近像素，通过训练轻量级的空间预测头，在连续空间中进行多像素块的并行预测。具体实现包括：• 在预训练的Transformer模型基础上，训练两个空间预测头（水平和垂直）以预测相邻像素或像素块的潜在特征；• 在推理阶段，先逐行水平方向进行预测，然后利用垂直方向的预测头并行预测多行像素块，形成二维空间的预测策略；• 采用连续潜在空间的预测方式，增强预测稳定性，并利用自动校正机制在验证阶段修正预测误差。该方法充分利用图像的二维空间相关性，有效突破了传统一维序列预测的计算瓶颈。
关键结果
- 在DPG-Bench和GenEval两个数据集上，SSD模型在保持高图像质量的同时，将生成速度提升最高达13.3倍。例如，在Emu3模型（8B参数，90×90像素）上，推理时间从339秒缩短至25.55秒，速度提升达13.27倍；在Lumina-mGPT-7B模型（48×48像素）上，速度提升达12.19倍，显著优于传统的逐像素预测方法。实验还表明，采用连续潜在空间预测比直接在离散码本空间进行预测具有更高的Draft准确率，验证了方法的有效性。
- 结果还显示，SSD在不同模型和不同图像尺寸下均能实现显著加速，同时保持了较高的生成质量，尤其在复杂场景和高分辨率图像中表现优异。通过多轮验证与自动校正机制，有效减少了预测误差的累积，确保生成的图像具有良好的空间一致性和细节丰富性。
- 此外，SSD的模块化设计无需对预训练模型进行修改，作为插件式加速模块，兼容性强，可广泛应用于任何基于离散视觉Token的自回归模型，为未来高效实时图像生成提供了技术基础。
研究意义
本研究突破了传统一维序列预测在视觉生成中的瓶颈，充分利用图像的二维空间结构，实现了大幅度的推理加速。该方法不仅提升了生成效率，推动了高分辨率、实时图像生成的可能性，也为多模态模型的高效推理提供了新思路。通过引入空间相关性，解决了现有模型在大规模图像生成中的计算瓶颈问题，有望在自动内容创作、虚拟现实、游戏开发等行业产生深远影响。未来，结合更复杂的空间建模和多模态信息融合，SSD有望实现更高质量、更快速度的视觉生成，为智能视觉系统的发展提供坚实基础。
技术贡献
本文的核心技术创新在于：• 提出将自回归图像生成的预测目标从一维线性序列转化为二维空间结构，利用水平和垂直方向的邻近关系进行多像素块的并行预测；• 设计了连续潜在空间的预测机制，通过预测Transformer最后一层潜在特征，提升预测稳定性和准确性；• 引入自动校正机制，在验证阶段利用模型的自我修正能力修复预测误差，减少误差累积。这些技术突破使得推理复杂度从传统的O(n²)降低到O(n)，极大提升了推理速度，同时保持了生成质量。
新颖性
本研究的创新点在于首次将二维空间结构引入自回归图像生成的预测框架中，突破了以往仅在一维序列上进行预测的限制。通过在连续潜在空间中进行多像素块的并行预测，并结合自动校正机制，有效解决了高维空间预测中的不稳定性和效率瓶颈。这种以空间几何为导向的预测策略，为图像生成模型带来了全新的设计思路，显著优于现有的空间并行化方法和多Token预测技术。
局限性
- 尽管SSD在速度和质量方面表现优异，但其预测头的训练仍依赖大量标注数据，且在极端复杂场景下可能出现预测偏差；
- 模型在高分辨率图像生成中仍存在一定的误差累积风险，特别是在细节丰富、结构复杂的场景中，自动校正机制可能不足以完全修复偏差；
- 目前方法主要针对离散视觉Token，未来需结合连续像素空间或多模态信息，以进一步提升生成质量和适应性。
未来方向
未来，作者计划探索多尺度空间预测策略，结合多层次空间信息以提升细节还原能力；同时，考虑引入多模态信息（如文本、深度信息）以增强生成的语义一致性；此外，将优化自动校正机制，使其在极端复杂场景下表现更稳健，推动实时高分辨率视觉生成技术的商业化应用。
AI 总览摘要
在人工智能视觉生成领域，自回归模型因其强大的表达能力而被广泛采用，但其计算瓶颈一直制约着高效性和实时性。传统方法将图像作为一维序列进行预测，忽略了图像固有的二维空间结构，导致推理速度缓慢，难以满足实际应用中对高分辨率和实时生成的需求。为解决这一难题，Xiàng等人提出了空间推测解码（SSD）框架，将预测目标从线性序列转向空间结构，充分利用图像的二维邻近关系，从而实现大幅度的加速。该方法在保持高质量生成的同时，将推理时间提升最高达13.3倍，极大地推动了自动内容生成的边界。
SSD的核心思想是：在预训练的Transformer模型基础上，训练两个轻量级的空间预测头，分别对应水平方向和垂直方向的邻近像素。推理时，模型先沿水平方向逐行预测像素块，然后利用垂直方向的预测头并行预测多行像素，从而实现二维空间的多像素块预测。这种策略将推理复杂度从传统的O(n²)降低到O(n)，极大地提高了效率。
技术上，作者采用连续潜在空间的预测方式，利用Transformer最后一层的潜在特征进行多像素块的预测，增强了预测的稳定性和准确性。自动校正机制则在验证阶段对预测误差进行修正，确保生成的图像空间一致、细节丰富。该方法无需修改预训练模型，作为插件式模块广泛适用于不同的视觉生成模型，极大地提升了模型的实用性和扩展性。
在多个公开数据集上的实验结果显示，SSD在保持图像质量的同时，实现了最高13.3倍的推理加速。具体而言，在Emu3模型上，推理时间从339秒缩短到25.55秒；在Lumina-mGPT-7B模型上，速度提升达12.19倍。这些结果验证了空间几何结构在视觉生成中的重要作用，为未来高效、高分辨率的自动生成技术奠定了基础。未来，结合多尺度空间建模和多模态信息，SSD有望实现更广泛的应用场景，推动智能视觉系统的快速发展。
深度分析
研究背景
近年来，深度学习推动了图像生成技术的快速发展，代表性方法包括VQ-VAE、VQGAN和MAGVIT-v2等离散表示模型。这些模型通过将图像编码为离散的Token序列，利用Transformer等自回归架构进行逐像素或逐块生成，极大提升了生成的灵活性和多模态融合能力。然而，随着图像分辨率的提升，生成速度成为瓶颈，尤其是在高分辨率场景下，逐像素预测的计算成本呈指数级增长，严重限制了实时应用的可能性。尽管多Token预测和推测解码（如Jacobi方法）在文本生成中取得一定成功，但在视觉任务中，由于图像的二维空间结构和局部相关性，单纯沿序列线性预测难以充分利用空间信息，导致效率提升有限。近年来，空间结构的并行化尝试（如多行预测）虽有突破，但在保持图像质量方面仍面临挑战，特别是在复杂场景和细节丰富的图像中，模型难以平衡速度与质量。由此，如何在充分利用空间几何关系的基础上，实现高效、稳定的图像自回归生成，成为研究的热点和难点。
核心问题
传统的自回归图像生成模型将图像作为一维序列进行预测，忽视了图像的二维空间结构，导致推理速度受到严重限制。具体而言，生成一张n×n像素的图像需要进行n²次逐像素预测，每次预测都要加载大量参数，造成极大的计算和存储瓶颈。这种线性序列预测方式不仅效率低下，还难以实现高分辨率和实时生成的需求。现有的空间并行化方法（如多行预测）虽然在一定程度上提升了速度，但在保持生成质量方面存在折衷，尤其是在远距离空间邻近关系的预测上表现不佳。此外，现有技术多依赖复杂的模型架构或大量训练数据，限制了其实际应用的普及。解决这一核心问题，既需要设计符合图像空间几何的预测机制，又要确保预测的稳定性和准确性，才能实现高效的视觉生成。
核心创新
本文的创新点主要包括：• 将自回归预测目标从线性序列转向二维空间结构，利用水平方向和垂直方向的邻近关系进行多像素块的并行预测，突破了传统一维预测的限制；• 在连续潜在空间中进行预测，利用Transformer最后一层的潜在特征作为预测目标，增强了预测的稳定性和泛化能力；• 引入自动校正机制，通过多轮验证和修正预测误差，有效减少误差累积，确保生成图像的空间一致性。这些创新使得推理复杂度从O(n²)降低到O(n)，极大提升了生成速度，同时保持了高质量的图像细节。
方法详解
- �� 预训练的Transformer模型作为基础，加载离散视觉Token（如VQ编码）形成图像序列；
- �� 训练两个轻量级的空间预测头（水平和垂直），输入为Transformer最后一层潜在特征，输出为相邻像素或像素块的潜在特征预测；
- �� 在推理阶段，先沿水平方向逐行预测像素块，完成一行后，利用垂直预测头并行预测多行像素块，形成二维空间的多像素预测；
- �� 采用连续潜在空间预测，增强预测稳定性，利用多轮验证机制自动修正偏差，确保空间一致性；
- �� 预测完成后，通过自动校正机制在验证阶段修正误差，利用模型的自我修正能力，减少误差累积；• 该方法无需修改预训练模型架构，作为插件式模块集成到任何离散Token基础的自回归模型中，极大提升推理效率。
实验设计
- �� 采用DPG-Bench和GenEval两个公开数据集，评估模型在复杂描述和对象关系生成中的表现；• 选用Janus-Pro-7B、Lumina-mGPT-7B和Emu3-8B三种不同规模模型，测试在不同像素尺寸（24×24、48×48、90×90）上的性能；• 比较基线为标准逐像素自回归模型、1D多Token预测和SJD等空间并行方法，指标包括推理时间、速度提升倍数和生成质量（如FID、Inception得分）；• 训练轻量级空间预测头，使用自蒸馏技术，数据集分别为60,000、20,000和5,000条样本，确保模型泛化能力；• 通过多轮验证机制，调节验证轮数，优化预测与校正的平衡，确保生成的空间一致性。
结果分析
- �� 在Emu3模型上，SSD将推理时间从339秒缩短至25.55秒，速度提升达13.3倍，且生成图像在FID指标上与原模型相差无几；• 在Lumina-mGPT-7B模型上，速度提升达12.19倍，生成质量保持一致，验证了在不同模型和像素尺寸下的通用性；• 通过多轮验证与自动校正机制，有效减少了预测误差的累积，确保空间结构的完整性和细节丰富性；• ablation研究显示，连续潜在空间预测优于离散Token预测，自动校正机制显著提升了最终生成质量。
应用场景
- �� 该技术可应用于高分辨率虚拟场景、实时内容生成、虚拟现实和增强现实等领域，满足对快速高质量图像生成的需求；• 结合多模态信息（如文本描述、深度信息）后，可实现更丰富的内容创作和交互式场景生成；• 未来可扩展至视频生成、三维场景重建等多模态视觉任务，推动智能视觉系统的广泛应用。
局限与展望
- �� 当前方法对训练数据依赖较大，模型在极端复杂场景下仍可能出现预测偏差；• 自动校正机制在某些高复杂度场景中可能不足以完全修复误差，存在误差累积风险；• 仅针对离散Token模型，未来需结合连续像素空间或多模态信息以提升泛化能力和生成质量；• 计算资源仍较大，优化模型结构和推理流程是未来的重要方向。
通俗解读 非专业人士也能看懂
想象你在做拼图游戏。传统的方法就像是你把每一块拼图都单独拿出来，一块一块拼，速度很慢。而现在，SSD的方法更像是你提前把一整行或者一整列的拼图块都预先拼好，然后再把这些大块放到正确的位置上。这样一来，你就不用一块一块拼了，而是用更快的方式完成整个拼图。这个方法利用了拼图的空间关系——横着拼的块和竖着拼的块其实是紧密相连的。通过提前预测和修正，整个拼图变得更快、更完整。它就像是你提前知道了拼图的整体结构，然后快速把大块放到正确位置，而不是一个块一个块慢慢拼。这样，拼图的速度大大提升，效果也很漂亮。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的拼图游戏。以前，你每次只拼一块拼图，然后等它拼完，接着拼下一块，慢得像蜗牛一样。现在，科学家们发明了一种新方法，就像是你提前猜出一整行或者一整列的拼图块，然后一次性把它们放到正确的位置上。这样一来，你只需要几步就能完成整个拼图，比以前快了十几倍！这个方法利用了拼图块之间的空间关系——横着拼的块和竖着拼的块其实是紧密相连的。通过提前预测和不断修正错误，你可以更快、更准确地拼出漂亮的图像。这就像是你变成了拼图高手，用最聪明的方法在最短时间内完成最复杂的拼图！
术语表
自回归模型 (Autoregressive Model)
一种逐步生成数据的模型，每次预测依赖前面已生成的内容，广泛应用于文本和图像生成中。
论文中用于描述基于Transformer的图像生成模型。
空间推测解码 (Spatially Speculative Decoding)
一种利用图像空间结构进行多像素块预测的解码技术，大幅提升生成速度。
本文提出的核心方法。
潜在空间 (Latent Space)
深度学习模型中隐藏层的连续特征空间，用于表示输入的抽象特征。
用于连续预测和增强模型稳定性。
多Token预测 (Multi-Token Prediction)
在一次前向传播中同时预测多个未来Token，减少推理轮次。
作为加速技术的基础。
自动校正 (Auto Correction)
在验证阶段自动修正预测偏差的机制，确保空间一致性。
提升生成质量的重要技术。
推理复杂度 (Inference Complexity)
模型在推理过程中所需计算资源的量，影响速度和效率。
SSD将复杂度从O(n²)降低到O(n)。
离散视觉Token (Discrete Visual Tokens)
将图像编码为离散的符号或Token，用于Transformer模型的输入。
模型输入的基础表示。
多模态模型 (Multimodal Model)
融合多种数据类型（如图像、文本、声音）的模型。
未来可能结合SSD实现更丰富的内容生成。
推测解码 (Speculative Decoding)
提前预测候选Token并验证的技术，减少模型加载和推理时间。
相关技术的基础。
多尺度空间预测 (Multi-scale Spatial Prediction)
在不同空间尺度上进行预测，提升细节还原能力。
未来研究方向。
开放问题 这项研究留下的未解疑问
- 1 尽管SSD显著提升了推理速度，但在极端复杂场景和超高分辨率生成中，预测误差的累积仍是挑战。未来需要结合多尺度、多模态信息，增强模型的泛化能力和鲁棒性。此外，如何在保证速度的同时进一步提升生成细节和一致性，也是亟待解决的问题。当前方法主要依赖预训练模型的潜在空间预测，未来或许可以探索结合像素空间的联合优化策略，以实现更高质量的图像生成。
- 2 自动校正机制在复杂场景中的效果仍有提升空间。如何设计更智能的误差检测与修正策略，减少误差传播，确保空间结构的完整性，是未来研究的重要方向。
- 3 目前SSD主要针对离散Token模型，未来应考虑连续像素空间的预测方法，以及多模态信息的融合，以适应更丰富的应用场景。
- 4 推理过程中多轮验证虽然提升了准确性，但也带来了额外的计算成本。如何在速度和质量之间找到更优的平衡点，是未来优化的关键。
- 5 模型的训练依赖大量标注数据，如何利用无监督或弱监督方法减少数据需求，提高模型的泛化能力，也是值得探索的方向。
应用场景
近期应用
高分辨率虚拟场景生成
利用SSD实现实时高分辨率场景的自动生成，适用于虚拟现实、游戏开发和动画制作，显著缩短内容创作周期。
内容创作与编辑
为设计师和内容创作者提供快速生成高质量图像的工具，支持交互式编辑和多模态内容融合，提升创作效率。
自动化广告与营销
在广告设计和市场推广中，快速生成多样化视觉内容，满足个性化和大规模生产需求，降低成本。
远期愿景
智能视觉内容生成平台
结合SSD技术，打造全自动、实时的视觉内容生成平台，支持多模态输入，推动数字内容产业变革。
未来的虚拟现实与增强现实
实现高质量、实时的虚拟环境和场景生成，增强沉浸感和交互体验，推动虚拟世界的普及。
原文摘要
Autoregressive models excel in visual generation by treating images as 1D sequences of discrete tokens, mirroring language modeling. However, this flattening discards the intrinsic 2D spatial locality of visual signals, creating severe computational bottlenecks during inference. We introduce Spatially Speculative Decoding (SSD), a framework that aligns the predictive objective with the natural geometry of images. Rather than predicting only the immediate next token in a 1D sequence, our model simultaneously predicts the adjacent horizontal token and the token directly below it. By capitalizing on this 2D spatial correlation, spatially speculative decoding overcomes the memory wall in visual inference. Our approach accelerates autoregressive image generation by up to 13.3x while maintaining high fidelity on DPG-Bench and GenEval. Our results suggest that respecting the underlying geometry of vision unlocks massive computational efficiencies, paving the way for real-time, high-resolution autoregressive generative models.