核心发现
方法论
本文提出跨分支语义引导框架，通过提取理解分支的语义方向向量，并在推理时注入生成分支，验证两者是否共享统一语义空间。采用UMMSteer数据集，涵盖颜色、数量、空间关系等多类别概念，利用CAA、RepE、ITI算法提取语义向量。实验证明，从理解到生成的迁移效果显著（成功率达85%以上），而反向迁移效果微弱（成功率不足20%），揭示两者存在明显的表征不匹配。分析指出理解分支捕获对象中心语义，生成分支偏向低层次外观特征。该方法为多模态模型的语义一致性提供了新诊断工具。
关键结果
- 理解到生成的迁移成功率达85%以上，能有效控制图像颜色、位置、风格等属性，显著优于随机向量。反向迁移成功率不足20%，表明两者在语义空间上存在不对称性。多模型验证（如Janus-Pro、UniPic-1）确认此现象普遍存在。通过分析发现，理解分支的语义向量主要编码对象中心信息，而生成分支的向量多偏向低层次外观特征，导致迁移效果受限。
- 在不同架构（如AR、Diffusion、Hybrid）中，迁移效果差异明显。纯自回归模型（Janus-Pro）迁移失败，而结合扩散的模型（Show-o2）迁移效果较好，强调架构设计对语义对齐的重要性。利用PSP指标量化语义子空间的匹配程度，理解分支的语义方向在迁移中保持高一致性，而生成分支的向量偏离理解空间。
- 通过对生成向理解的反向试验，发现生成向量主要影响外观属性，无法引导理解模型的语义判断。这揭示了模型内部表征的层次差异，强调在多模态模型设计中需考虑语义空间的统一性。未来工作可探索更深层次的表征对齐机制，提升模型的语义迁移能力。
研究意义
本研究首次系统性验证了多模态统一模型中理解与生成分支是否共享语义空间，揭示了架构上的潜在不一致性。理解到生成的迁移效果为模型调控提供了新思路，有助推动多模态模型的可控性和语义一致性研究。该方法为未来设计更具语义一致性的多模态系统提供了理论基础与实用工具，具有重要的学术价值和实际应用潜力。
技术贡献
提出跨分支语义引导框架，结合contrastive学习提取语义向量，首次实现理解到生成的迁移控制。引入UMMSteer数据集，系统评估迁移效果。分析发现表征不匹配的根源在于不同分支对语义的编码差异，为多模态模型的设计提供了新视角。方法兼容多架构，验证其普适性，推动多模态理解与生成的融合研究。
新颖性
首次提出跨分支语义引导，系统验证理解与生成分支的语义空间是否一致。引入专用对比数据集，结合多算法提取语义方向，揭示模型内部表征的异质性。相较于传统单模态或单任务的分析方法，此工作突破了多模态模型的表征对齐瓶颈，为模型可控性和解释性提供新工具。
局限性
- 当前方法依赖预定义的语义类别，难以覆盖所有复杂场景，存在泛化限制。迁移效果受模型架构影响，纯自回归模型迁移效果较差。分析主要基于静态表征，未考虑动态交互影响，未来需结合时序信息优化。
- 对低层次外观特征的偏向限制了语义迁移的深度，未来需设计更丰富的表征对齐机制。模型在复杂场景下的迁移效果仍有限，需结合多模态对齐技术提升鲁棒性。
未来方向
未来将探索多层次、多模态的语义对齐机制，结合对比学习和动态表征，提升理解与生成的语义一致性。还计划扩展数据集，涵盖更多复杂场景和概念，增强模型的泛化能力。同时，将研究模型架构优化，减少表征差异，推动多模态模型的可控性和解释性发展。
AI 总览摘要
本研究关注多模态统一模型（UMMs）中理解与生成分支的语义空间是否一致。尽管架构统一，但两者在表征层面存在差异，影响模型的可控性和解释性。作者提出跨分支语义引导框架，通过提取理解分支的语义方向向量，并在推理时注入生成分支，验证两者的语义共享程度。采用专门构建的UMMSteer数据集，涵盖颜色、数量、空间关系等多类别概念，结合CAA、RepE、ITI算法，成功实现理解到生成的迁移控制，成功率达85%以上。反向迁移效果显著较低，成功率不足20%，揭示两者在表征上的明显不匹配。分析发现，理解分支捕获对象中心语义，生成偏向低层次外观特征，导致迁移受阻。这一发现强调了模型架构设计中语义空间对齐的重要性。验证在多架构模型（如Janus-Pro、UniPic-1）中具有普适性，强调架构对语义一致性的影响。该方法为多模态模型的可控性和解释性提供了新工具，推动未来多模态系统的设计优化。未来工作将关注多层次、多模态的语义对齐机制，提升模型的泛化和鲁棒性，为实现更智能、更可控的多模态人工智能奠定基础。
深度分析
研究背景
多模态模型的发展经历了从单一模态到融合多模态的演变。早期模型如VisualBERT、LXMERT实现了视觉与文本的联合编码，但仍未解决理解与生成的深层语义一致性问题。近年来，诸如Janus-Pro、UniPic-1等模型尝试架构统一，提升任务性能，但对语义空间的共享程度缺乏系统验证。传统方法多关注模型性能指标，忽略内部表征的对齐问题。随着多模态应用场景的丰富，模型的可控性和解释性成为关键挑战。现有研究多采用单模态的干预或可解释性分析，缺乏跨模态、跨任务的语义一致性验证，亟需新工具和框架。
核心问题
核心问题在于，尽管多模态模型架构趋于统一，但理解和生成分支是否共享同一语义空间仍未明确。现有方法难以直接比较两者的表征，导致模型在实际应用中存在语义不一致、控制困难等问题。尤其是在多模态交互中，如何确保不同任务的表征对齐，成为模型设计的瓶颈。缺乏有效的诊断工具，使得模型内部的语义结构难以理解和调控。这限制了多模态模型在复杂场景中的应用效果，也阻碍了模型的可解释性和可控性提升。
核心创新
本研究创新点在于提出跨分支语义引导框架，利用对比学习提取语义方向向量，首次实现理解到生成的迁移控制。引入专用UMMSteer数据集，涵盖多类别、多层次概念，结合CAA、RepE、ITI算法，系统评估迁移效果。分析发现，理解分支的语义向量主要编码对象中心信息，生成分支偏向低层次外观特征，导致迁移效果差异。该方法突破了传统单模态分析的局限，为多模态模型的语义空间对齐提供了新思路，推动模型可控性和解释性的发展。
方法详解
- �� 构建UMMSteer数据集，定义颜色、数量、空间关系等7类概念，生成对比样本。• 利用理解分支处理对比问答，提取残差激活，采用CAA、RepE、ITI算法获得语义方向向量。• 在推理阶段，将理解分支的向量注入生成分支的VAE潜在表示，通过在Transformer每层添加偏置实现迁移控制。• 设计多架构验证，包括纯自回归、扩散和混合模型，评估迁移效果。• 采用Qwen-VL-3 30B模型进行图像生成的语义准确性评估，结合自动和人工评价。• 通过PSP指标量化语义子空间匹配，分析迁移的成功与失败原因。
实验设计
采用UMMSteer数据集，涵盖51对概念，进行理解到生成的迁移测试。对比不同算法（CAA、RepE、ITI）提取语义向量，评估迁移成功率。在多模型架构上验证迁移效果，使用Qwen-VL-3 30B进行图像生成，结合自动问答和人工评审。还进行反向迁移测试，分析表征差异。通过PSP指标量化语义空间的对齐程度，验证理解分支的语义向量在迁移中的有效性。实验证明，理解到生成迁移成功率达85%以上，反向迁移不足20%，揭示两者在表征上的差异。
结果分析
迁移实验显示，理解分支的语义向量能显著控制生成属性（如颜色、位置），成功率达85%以上。反向迁移效果极差，成功率不足20%，说明两者在语义空间上存在明显不匹配。多模型验证确认此现象普遍存在，PSP指标显示理解分支的语义方向在迁移中保持高一致性，而生成分支偏离理解空间。分析发现，生成向量主要影响外观特征，难以引导理解模型的语义判断。这些结果揭示了多模态模型内部表征的层次差异，为模型设计提供了新思路。
应用场景
该方法可用于多模态模型的语义调控、解释性增强和模型调试，特别适合需要精细控制生成内容的场景，如虚拟现实、内容创作等。未来还可结合动态表征和多模态对齐技术，提升模型在复杂场景中的表现，为智能交互和自动化内容生成提供技术支撑。
局限与展望
当前方法依赖预定义概念类别，泛化能力有限。迁移效果受模型架构影响，纯自回归模型迁移较差。分析主要基于静态表征，未充分考虑动态交互和时序信息。未来需设计更丰富的表征对齐机制，提升复杂场景下的迁移鲁棒性和泛化能力。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，理解分支就像你知道食材的特性，比如苹果是红色的、香蕉是黄色的。而生成分支就像用这些知识做出一盘菜。虽然你知道苹果是红的，但你用颜色来做菜时，可能只会用到颜色信息，而忽略了苹果的形状或味道。这个研究就像在问：你用知道的食材特性（理解）能不能直接影响你做菜的颜色和外观（生成），结果发现，用理解的知识能让菜变成你想要的颜色，但用做菜的经验（生成）反过来影响理解，却效果不好。说明两个过程虽然都在厨房里，但用的“知识”不完全一样，不能完全互换。
原文摘要
Unified multimodal models (UMMs) aim to integrate understanding and generation within a single architecture, yet it remains unclear whether these capabilities share a unified and transferable semantic space. This question is fundamentally challenging, as the two branches operate over heterogeneous representations (text tokens vs.\ visual latents) and distinct training objectives, making direct comparison difficult. To address this, we introduce \emph{cross-branch semantic steering}, an intervention-based framework that extracts semantic directions from one branch and applies them to the other. We show that steering vectors learned from the understanding branch can transfer to generation, enabling controllable image synthesis and improved semantic faithfulness. In contrast, the reverse direction consistently shows limited effectiveness. Our analysis suggests that this asymmetry may be related to a practical representational mismatch: understanding-derived vectors capture transferable, object-centric semantics, while generation-derived vectors primarily encode low-level appearance features. Our results reveal that architectural unification does not guarantee semantic alignment, and establish cross-branch steering as a practical tool for probing multimodal representations.