核心发现
方法论
本文提出KG4VD，结合多模态知识图谱（MMKG）与图检索机制，通过离线构建和在线推理两阶段实现长距离多模态文档理解。采用自适应信息提取与布局区域绑定策略，确保不同页面信息密度的合理处理。利用PageRank变体（PPR）扩展相关实体，结合多模态索引实现高效检索。模型在多跳问答（QA）和视觉问答（VQA）任务中优于现有方法，特别是在DLVQA基准上，准确率达44.52%。
关键结果
- 在MMLongBench-doc数据集上，KG4VD整体性能优于ColQwen（+2.73%）和MegaRAG（+3.34%），达到44.52%的准确率，显著提升长距离多模态理解能力。
- 在文档级VQA任务中，KG4VD在DLVQA基准上实现了最高的真实性、完整性和简洁性指标，优于基线模型约10%。
- 实验显示，结合布局感知的图构建和多模态索引显著改善了复杂文档中的信息整合和推理效果。
研究意义
该研究突破了长距离视觉文档理解的瓶颈，构建了可复用的多模态知识图，有效连接跨页信息，为自动化文档分析、法律审查、财务报告等行业提供了强有力的技术支撑。其提出的图结构与检索机制，为未来多模态大模型在复杂场景中的应用奠定基础，推动多跳推理和知识融合的研究发展。
技术贡献
创新点在于引入零样本多模态知识图（MMKG）构建框架，结合自适应布局区域绑定及跨页实体融合技术，提升长距离推理能力。采用PageRank变体扩展策略，有效过滤噪声，增强模型的鲁棒性。提出DLVQA新基准，弥补缺乏全面评估的空白，推动长距离多模态问答的标准化发展。
新颖性
首次实现自动化、多模态、多页信息的知识图构建，结合布局感知与图扩展机制，显著优于传统的文本或单模态方法。提出的跨页实体融合与多模态索引体系，为复杂文档理解提供了全新解决方案，填补了长距离多模态推理的研究空白。
局限性
- 模型在极端复杂布局或高密度图表页面上仍存在信息提取不足的问题，受限于布局解析的精度。
- 知识图构建过程依赖预训练模型的性能，可能在特定领域或低资源场景下表现不佳。
- 推理过程中计算成本较高，尤其是在大规模图扩展和多模态索引时，需优化算法效率。
未来方向
未来将探索多模态知识图的端到端训练机制，提升构建效率和准确性。同时，结合强化学习优化推理路径，增强模型对复杂场景的适应能力。此外，将扩展到多语种、多领域的应用场景，推动长距离多模态理解的广泛应用。
AI 总览摘要
在信息爆炸的数字时代，理解长篇、复杂的视觉文档成为人工智能领域的重大挑战。现有的多模态大模型（MLLMs）虽然在视觉问答（VQA）方面取得突破，但受限于有限的上下文窗口，难以处理跨页、长距离的文档内容。为解决这一瓶颈，本文提出了KG4VD，一种基于多模态知识图（MMKG）和图检索机制的长距离文档理解框架。
KG4VD通过离线构建可复用的全局知识图，将页面级的实体、关系与视觉布局相结合，确保信息的空间绑定和可验证性。在推理阶段，模型利用自适应布局区域绑定策略，结合PageRank变体（PPR）扩展，从相关页面图中检索实体，过滤噪声，最终实现跨页、多模态信息的整合与推理。这一机制显著提升了多跳问答（QA）和视觉问答（VQA）的性能，在DLVQA基准上达到了44.52%的最高准确率。
实验结果显示，KG4VD在多模态长距离理解任务中优于现有的图检索和知识图构建方法，验证了其在复杂文档场景中的有效性。该方法不仅推动了多模态推理的技术边界，也为法律、金融、科研等行业的自动化信息处理提供了新思路。
未来，作者计划优化知识图的端到端训练流程，提升构建效率，并结合强化学习进一步增强推理路径的智能化。随着多模态大模型的不断发展，KG4VD有望成为长距离、多模态文档理解的标杆技术，推动行业智能化升级。
深度解读
原文摘要
Multimodal large language models (MLLMs) are widely applied to visual document understanding. However, comprehending long documents remains an issue by the limited context window. Though recent multimodal retrieval-augmented generation (MMRAG) can address this challenge by retrieving relevant pages. It still struggles with the visual question answering (VQA) requiring holistic comprehension of a document. To cope with this, knowledge graph (KG) that summarizes global knowledge of a document can provide an effective solution. However, most existing LLM-based KG construction methods handle only the language modality, leaving the automatic creation of multimodal KGs (MMKGs) for visually rich documents largely unexplored. In this paper, we introduce a multimodal graph-based RAG approach to tackle this problem. Existing LLM-based KG methods evaluate the QA performance relying on indirect evidence such as comprehensiveness, diversity, empowerment, and so on. The lack of annotated datasets for comprehensive document-level VQA poses a significant challenge to effective model evaluation. To overcome this limitation, we also introduce a new benchmark, DLVQA (document-level VQA), which provides reference summaries and corresponding supporting facts for global document-level questions. Experimental results show that our approach outperforms existing MMRAG or KG-based approaches on multi-hop QA/VQA benchmarks and DLVQA.