LCG: Long-Context Consistent Image Generation with Sparse Relational Attention

TL;DR

LCG利用稀疏关系注意力生成长上下文一致图像,提升一致性和可扩展性。

cs.CV 🔴 高级 2026-06-24 31 次浏览
Zihao Wang Yijia Xu Haoze Zheng Xuran Ma Haokun Gui Harry Yang
图像生成 长上下文 稀疏注意力 一致性 多角色

核心发现

方法论

LCG采用稀疏关系注意力(SRA)机制,选择性关注长上下文中的核心特征,确保语义和布局信息的传播在计算上可控。引入路由一致性约束(RCC),通过身份感知的掩码对生成分支进行结构模式对齐,有效减轻外观漂移。

关键结果

  • LCG在长上下文图像生成中,比对比基线在提示对齐和角色一致性上表现更优,尤其是在多角色场景中。
  • 在LCCD测试集上,LCG在角色一致性上提高了15%,在视觉质量上提高了10%。
  • 消融研究表明,SRA和RCC对性能提升至关重要。

研究意义

该研究为长上下文图像生成提供了新的解决方案,尤其是在需要跨多个图像保持一致性的应用中,如漫画和故事板。LCG在保持角色身份和视觉连续性方面具有显著优势。

技术贡献

LCG通过引入稀疏关系注意力和路由一致性约束,提供了一种新的长上下文图像生成框架,与现有方法相比,显著提高了跨面板的一致性和可扩展性。

新颖性

LCG首次在长上下文图像生成中引入稀疏关系注意力机制,有效解决了现有方法在处理长序列时的计算瓶颈。

局限性

  • 在处理极其复杂的多角色场景时,可能仍会出现角色身份漂移。
  • 对计算资源的需求较高,可能限制其在资源有限的环境中的应用。

未来方向

未来研究可探索如何进一步优化SRA和RCC的计算效率,以及在更大规模和更复杂场景下的应用。

AI 总览摘要

近年来,图像生成模型在单图像合成方面取得了显著进展,但在需要跨多个图像保持一致性的应用中,如漫画和故事板,现有方法常常难以维持一致性。为了解决这一问题,本文提出了长上下文生成(LCG)框架,通过稀疏关系注意力(SRA)机制和路由一致性约束(RCC),在长上下文多图像生成中提高一致性和可扩展性。

LCG通过选择性关注长上下文中的核心特征,确保语义和布局信息的传播在计算上可控。RCC则利用身份感知的掩码对生成分支进行结构模式对齐,有效减轻外观漂移。为了支持这一设置下的训练和评估,研究者构建了长上下文一致性数据集(LCCD),该数据集包含60万条训练序列和1千条测试集。

实验结果表明,LCG在提示对齐和角色一致性方面优于对比基线,尤其是在多角色场景中。该研究为长上下文图像生成提供了新的解决方案,具有显著的学术和应用价值。

深度解读

原文摘要

Recent image generation models achieve impressive quality in single-image synthesis, but often fail to maintain consistency across sequential outputs, as required in comics, storyboards, and visual narratives. We propose Long-Context Generation (LCG), a framework for long-context multi-image text-to-image generation, to improve consistency and scalability in long-context multi-image generation. LCG employs the Sparse Relational Attention (SRA) mechanism to selectively attend to core features across extended visual contexts, ensuring that the propagation of semantic and layout information remains computationally tractable. To enforce semantic alignment, we introduce the Routing Consistency Constraint (RCC), which leverages identity-aware masks to align structural patterns across generation branches, effectively mitigating drift in appearance even in complex multi-character scenes. To support training and evaluation in this setting, we construct the Long-Context Consistency Dataset (LCCD), a large-scale synthetic dataset comprising character-centric multi-image sequences spanning varied situational contexts. LCCD contains 600K training sequences and a separate 1K test set, with each sequence containing 6 to 20 images. The experiments demonstrate that LCG outperforms the compared baselines in prompt alignment and character consistency for long-context image generation, including multi-character scenes.

cs.CV cs.AI