A Visual Dependence-Aware Framework for Multimodal Unsupervised Continual Post-Training
提出VDA框架，结合VC-OT与VMA，有效应对多模态无监督连续后训练中的视觉依赖结构漂移。
核心发现
方法论
本研究提出Visual Dependence-Aware（VDA）框架，核心包括Visually Constrained Optimal Transport（VC-OT）和Visually Modulated Adaptation（VMA）。VC-OT利用区域感知的最优传输模型，保持旧任务中视觉依赖的结构与强度，防止跨模态遗忘。通过设计区域相似性成本与依赖层级惩罚，有效限制视觉焦点的全球漂移。VMA则根据目标词的视觉依赖程度调节学习权重，强化视觉基础的任务能力，抑制语言偏置。两者协作，兼顾模型的稳定性与塑性，适应动态非平稳的无标签多模态数据流。
关键结果
- 在六个多模态任务（TextVQA、SciVQA、StockQA、GQA、DriveLM、PMC-VQA）上，VDA平均准确率达62.5%，超越最优无监督后训练方法ScPO（58.8%）和连续学习基线SEEKR-MLLM（60.1%）分别3.7和2.4个百分点。其在非平稳数据流中表现出优异的知识保持与迁移能力，显著提升模型的适应性与鲁棒性。
- 通过消融实验验证VC-OT在保持视觉依赖结构方面的关键作用，减少跨模态遗忘；VMA显著提升新任务的学习塑性，减少旧任务性能下降。整体结果表明，VDA在多模态连续学习中实现了稳定性与塑性的平衡，为未来无监督持续学习提供新思路。
- 在不同任务场景中，VDA表现出一致的性能优势，尤其在处理视觉信息丰富的复杂场景（如医学和科学图表）时，展现出优越的泛化能力。该方法有效缓解了传统方法在动态环境下的遗忘问题，为多模态模型的持续演化提供了理论与实践基础。
研究意义
该研究突破了多模态无监督连续后训练的瓶颈，提出以视觉依赖结构为核心的优化策略，显著提升模型在非平稳、多任务环境中的稳定性与适应性。解决方案不仅丰富了连续学习理论体系，也为实际应用中的模型持续演化提供了可行路径。其创新的结构保持机制和动态调节策略，为未来多模态大模型的自主学习与持续优化奠定了基础，推动人工智能向更智能、更自主的方向发展。
技术贡献
本文提出结合区域感知的最优传输模型VC-OT，有效保持旧任务中的视觉依赖结构，防止跨模态遗忘。引入依赖层级惩罚，限制视觉焦点的全球漂移。创新性设计VMA，根据目标词的视觉依赖动态调节学习权重，增强新任务塑性。这两个机制协同工作，实现模型在非平稳数据流中的稳定性与塑性平衡。该框架首次系统性地将视觉依赖结构作为连续学习的核心信号，突破了传统方法对全局参数或标签依赖的限制。
新颖性
本研究首次提出以目标词的视觉依赖结构作为连续学习的关键指标，结合最优传输模型实现结构保持，突破了现有多模态无监督学习在动态环境下遗忘与偏差的难题。引入区域感知成本与依赖层级惩罚，创新性地限制视觉焦点漂移，显著优于传统的正则化或重放机制。VMA的动态调节机制也在多模态学习中尚属首次，提供了新颖的模型塑性增强途径。
局限性
- 模型在极端非平稳环境下仍可能出现视觉依赖结构偏差，尤其在极少样本或噪声较大场景中效果有限。
- VC-OT的优化计算复杂度较高，可能限制大规模应用的实时性。
- 方法主要依赖视觉区域相似性，对于复杂场景中的多目标、多视角依赖关系仍需进一步研究。
未来方向
未来将探索多模态依赖结构的动态自适应机制，提升模型在极端环境下的鲁棒性。计划结合强化学习优化传输策略，实现更高效的结构保持与迁移。同时，扩展至多任务、多源数据融合场景，推动模型自主学习能力的全面提升。
AI 总览摘要
随着多模态大模型（MLLMs）在视觉与语言理解中的突破，持续学习成为关键挑战。传统方法多依赖标注数据，难以应对现实中不断变化的非平稳环境。为此，本文提出了Visual Dependence-Aware（VDA）框架，旨在解决无监督多模态连续后训练中的遗忘与偏差问题。
VDA由两个核心机制组成：Visually Constrained Optimal Transport（VC-OT）和Visually Modulated Adaptation（VMA）。VC-OT利用区域感知的最优传输模型，保持旧任务中视觉依赖的结构与强度，防止跨模态遗忘。通过设计区域相似性成本与依赖层级惩罚，有效限制视觉焦点的全球漂移。VMA则根据目标词的视觉依赖程度调节学习权重，强化视觉基础的任务能力，抑制语言偏置。这两个机制协作，兼顾模型的稳定性与塑性，适应动态非平稳的无标签多模态数据流。
在六个多模态任务（TextVQA、SciVQA、StockQA、GQA、DriveLM、PMC-VQA）上的实验显示，VDA平均准确率达62.5%，优于最强无监督方法和连续学习基线，验证了其在知识保持和迁移中的优越性。结果表明，该方法在复杂、多变的实际场景中具有广泛应用潜力，为未来多模态模型的自主持续学习提供了新思路。
深度分析
研究背景
多模态大模型（MLLMs）结合视觉与语言能力，推动人工智能快速发展。早期研究如ViLBERT、LXMERT等实现了多模态特征融合，但在持续学习方面仍面临遗忘问题。传统方法多依赖有标签数据进行微调，难以应对实际应用中的数据非平稳性。近年来，无监督学习和连续学习技术逐渐兴起，试图在无需标注的情况下实现模型的持续演化。然而，现有方法多忽视目标词的视觉依赖结构，导致跨模态遗忘和偏差问题突出。随着应用场景复杂化，如何在动态环境中保持模型的稳定性和塑性成为研究热点。
核心问题
核心问题在于多模态模型在连续学习过程中，目标词的视觉依赖结构会发生漂移，导致跨模态归因能力下降，即所谓的跨模态遗忘。同时，模型在学习新任务时容易偏向语言偏置，削弱视觉基础的能力。这种结构漂移不仅影响模型的性能，还限制其在实际场景中的应用。传统方法难以同时兼顾旧任务的稳定性与新任务的塑性，特别是在无标签数据环境下，缺乏有效的结构保持机制，成为制约多模态持续学习的瓶颈。
核心创新
本研究创新性提出以目标词的视觉依赖结构作为连续学习的核心信号，结合区域感知的最优传输模型VC-OT，保持旧任务中的视觉结构，防止遗忘。引入依赖层级惩罚，限制视觉焦点的全球漂移，确保结构的稳定性。VMA机制根据目标词的视觉依赖动态调节学习权重，强化视觉基础，抑制语言偏置。这两个机制协同工作，突破传统依赖标签或全局参数正则化的限制，实现模型在非平稳环境中的稳定塑性兼容。
方法详解
- �� 目标定义：在无标签环境下，模型需在连续任务中保持旧能力同时学习新能力。
- �� 视觉依赖结构量化：通过对比真实与反事实视觉输入，计算每个目标词的视觉依赖值。
- �� VC-OT设计：
- 采用区域感知成本，衡量不同区域的视觉相似性，限制视觉焦点的全球漂移。
- 设计依赖层级惩罚，阻止视觉依赖转移到无关词汇。
- 通过Sinkhorn算法优化传输计划，保持视觉依赖的结构与强度。
- �� VMA机制：
- 根据目标词的视觉依赖，调节其学习权重。
- 强化视觉基础信息，抑制语言偏置。
- 结合目标损失，动态调整模型的塑性与稳定性。
- �� 训练流程：在不断变化的多模态数据流中，交替应用VC-OT保持结构，VMA增强塑性，整体优化目标为总损失。
实验设计
采用六个多模态任务（TextVQA、SciVQA、StockQA、GQA、DriveLM、PMC-VQA），每个任务包含不同类型的图像问答数据。模型在每个任务后评估在所有任务上的准确率，比较不同方法的性能。超参数包括VC-OT的区域相似性温度τD=0.05，缓冲区大小1000。对比基线包括无监督后训练方法（如ScPO、TLM）和连续学习方法（如SEEKR-MLLM、DGG）。通过消融实验验证VC-OT和VMA的贡献，分析模型在动态环境中的遗忘与迁移能力。
结果分析
VDA在六个任务中平均准确率达62.5%，优于最强无监督方法（58.8%）和连续学习基线（60.1%），提升幅度分别为3.7和2.4个百分点。在医学和科学图表等复杂场景中表现尤为突出，显示出优越的泛化能力。消融实验显示VC-OT显著减少跨模态遗忘，VMA提升新任务塑性。整体结果验证了VDA在非平稳、多任务环境中的稳定性和迁移能力，为多模态持续学习提供新思路。
应用场景
该方法适用于需要模型持续适应新任务的场景，如智能助手、医疗影像分析、工业检测等。无需标注数据，降低了数据准备成本，提升模型的自主学习能力。未来可结合强化学习实现更高效的结构保持策略，推动模型在无人监督环境中的自主演化。
局限与展望
当前VC-OT计算复杂度较高，难以实时应用于大规模场景。模型在极端非平稳环境或噪声较大时仍可能出现结构偏差。未来需优化算法效率，增强对多目标、多视角依赖的适应能力。
通俗解读 非专业人士也能看懂
想象你在经营一家工厂，工厂每天都在生产不同的产品。工厂的工人（模型）需要记住每个产品的制作流程（视觉依赖），但随着时间推移，工厂会不断引入新产品（新任务），同时旧产品的制作流程可能会被遗忘或混淆。为了保证工厂既能快速学习新产品，又不忘记旧产品的工艺，你需要一种智能的管理系统（VDA）。这个系统会监控每个产品的关键步骤（目标词的视觉依赖），确保工人不会偏离正确的流程（保持视觉结构），同时根据新产品的特点调整工人的注意力（VMA），让他们既能掌握新技能，又不丢失旧知识。这样，工厂就能持续高效地生产各种产品，适应不断变化的市场需求。
简单解释 像给14岁少年讲一样
想象你在学校里学新东西，比如新的游戏规则，但你也要记住以前的规则。有时候，学新规则会把你以前的记忆搞混，变得不清楚了。这就像你在玩游戏时，突然发现自己忘记了之前的技巧，或者新学的技巧让你偏离了原来的玩法。为了避免这种情况，你的老师（算法）设计了一套聪明的方法，帮助你既能学会新规则，又不忘记旧的。这个方法会特别关注你在游戏中用到的关键技巧（视觉依赖），确保你在学习新内容时不会偏离重点。老师还会根据你掌握的程度，调整教学内容，让你既能快速适应新游戏，又能保持原有的技能。这就像一个聪明的教练，既让你变得更厉害，又保证你不会迷失方向。
原文摘要
In this paper, we explore a novel task of Multimodal Unsupervised Continual Post-Training (MU-CPT), enabling deployed MLLMs to continually evolve from streaming unlabeled data. Existing unsupervised post-training methods for MLLMs typically optimize target tokens uniformly, overlooking their heterogeneous visual dependence (VD). However, we reveal that token-level VD is crucial for MU-CPT. Specifically, its structural distortion serves as an indicator of cross-modal catastrophic forgetting, and its inherent heterogeneity acts as a compass to guide new-task learning. Leveraging this property, we propose a Visual Dependence-Aware (VDA) framework with two main components. First, Visually Constrained Optimal Transport (VC-OT) formulates the VD structural distortion of old-task VD during new-task learning as an optimal transport problem to mitigate cross-modal forgetting. By designing a region-aware ground cost and a dependence-stratified transport penalty, it prevents global shifts in visual focus while strictly prohibiting visual reliance from degenerating into language bias. Second, Visually Modulated Adaptation (VMA) exploits VD heterogeneity to emphasize visually grounded new-task learning, promoting new-task plasticity. Together, our method simultaneously maintains old-task stability and new-task plasticity during challenging MU-CPT. Extensive experiments under our MU-CPT setting validate the effectiveness of VDA.