核心发现
方法论
本文提出的ChartWalker框架通过构建层级化的知识图谱，将图表中的实体和关系按粒度组织，利用结构感知采样算法生成多跳推理路径。具体包括：• 利用预训练视觉语言模型（VLM）提取图表实体及其粒度层级；• 构建局部图表知识图谱并融合成全局层级图；• 设计路径采样算法，确保路径语义连贯且粒度可控；• 基于路径生成多模态问答对。该方法结合实体层级信息与路径采样策略，有效避免语义漂移，增强推理的逻辑性。
关键结果
- 在ChartWalker-Bench基准上，最优模型仅达64%的正确率，显示出任务难度。多跳推理准确率在复杂问题中低于30%，验证了路径采样的有效性与挑战性。对比传统基于随机游走的路径生成方法，结构感知采样显著提升路径语义连贯性。多模态问答的平均推理步数为2.81，源图数量为2.30，体现出复杂推理场景的真实性。
- 在不同RAG模型（如VLM和多模态Transformer）中，性能差距明显，表明现有系统在多跳、多粒度推理方面仍有较大提升空间。通过消融实验验证，层级知识图谱和路径采样策略是性能提升的关键因素。
- 提出的ChartWalker-Agent基于视觉语言模型的动态检索策略，能在多源信息中自适应调整检索路径，显著优于静态检索方法，尤其在复杂推理任务中表现出更强的鲁棒性。
研究意义
本研究填补了图表跨模态推理评估的空白，提供了具有挑战性的基准和有效的路径采样机制，推动多模态问答和知识图谱在科学、商业等领域的应用。通过系统性构建层级知识图谱，有助于理解图表中隐含的结构关系，为未来智能分析系统提供了理论基础和技术方案。该工作不仅丰富了图表理解的研究内容，也为多模态推理的可解释性和可控性提供了新思路，具有重要的学术和实际价值。
技术贡献
本文提出的层级知识图谱构建方法创新性地结合了图表的结构特性，利用多粒度实体组织实现信息的层次化表达。结构感知采样算法通过引入语义连贯性约束，有效生成符合逻辑的多跳路径，显著改善了路径的语义一致性和推理质量。此外，基于路径的问答生成机制增强了模型的推理能力和可控性。整体框架结合了预训练视觉语言模型与知识图谱技术，为多模态推理提供了新的工程实现路径。
新颖性
本研究首次提出将层级知识图谱应用于跨图表推理任务，解决了现有基于随机游走路径生成的路径语义不连贯问题。创新性地引入结构感知采样算法，确保路径在粒度和语义上的连续性，为多跳推理提供了更可靠的路径基础。这一方法区别于以往仅依赖语义相似度的路径构建策略，显著提升了推理的逻辑性和可解释性。
局限性
- 当前路径采样依赖预训练模型的实体提取效果，受模型性能影响较大，可能导致实体识别不准确。
- 在极端复杂或信息密度极高的图表中，路径的语义连贯性仍存在挑战，部分推理路径可能偏离主题。
- 模型在处理超长推理链时存在信息遗失和语义漂移问题，未来需引入更高效的路径筛选机制。
未来方向
未来将探索多模态路径生成的端到端训练策略，结合强化学习优化路径质量。还计划引入动态知识更新机制，增强模型对新颖图表的适应能力。此外，将扩展多任务学习框架，融合图表生成、理解与推理，推动跨领域智能分析系统的发展。
AI 总览摘要
随着科学、商业和政策分析中图表的广泛应用，跨图表推理成为理解复杂数据的关键环节。现有的问答系统多依赖结构化表格或简单的关键点提取，难以应对图表的多模态特性和复杂推理需求。为此，本文提出了ChartWalker框架，通过构建层级化知识图谱，有效组织图表实体及其关系，利用结构感知采样算法生成语义连贯的多跳推理路径。这一创新方法显著改善了路径的逻辑性和推理质量，为多模态问答提供了坚实基础。
在此基础上，作者构建了ChartWalker-Bench基准，涵盖多样化的跨图表问答任务，包含564个多跳问答实例，涉及不同的推理难度和场景。大量实验证明，当前主流模型在复杂推理任务中的表现仍有限，最高正确率为64%，多跳推理准确率低于30%。这些结果揭示了现有系统在多模态推理中的瓶颈，也验证了基准的挑战性和实用价值。
为了推动系统的进一步发展，作者还提出了ChartWalker-Agent，结合视觉语言模型的动态检索策略，增强模型的路径探索和信息整合能力。整体而言，该研究不仅丰富了图表理解与推理的理论体系，也为未来多模态智能系统的设计提供了重要的技术支撑和研究方向。未来工作将集中在路径生成的端到端优化、多源知识的动态更新，以及多任务融合，为实现更智能、更可靠的跨图表分析系统奠定基础。
深度分析
研究背景
图表作为一种直观表达定量信息的工具，广泛应用于科学、商业、新闻等领域。早期研究主要集中在表格问答（如Pasupat & Liang, 2015）和简单的图表理解（Li et al., 2024），利用结构化数据和符号推理解决基础问题。随着视觉语言模型（VLM）和多模态技术的发展，复杂的图表推理成为可能（Masry et al., 2025），但仍面临多源信息整合、推理路径生成和逻辑连贯性等挑战。现有基准（Yang et al., 2025）多依赖语义相似度，路径生成缺乏结构感知，导致推理路径不稳定，难以衡量模型的推理能力。
核心问题
跨图表推理的核心难点在于如何构建具有逻辑连贯性和粒度控制的推理路径。传统方法多依赖随机游走或语义匹配，容易偏离主题或产生无效路径，限制了多跳推理的准确性和可解释性。此外，图表的多模态特性和信息密度增加了路径采样的复杂度，如何确保路径的语义连贯和信息层次的合理性成为亟待解决的问题。这些限制阻碍了跨图表问答系统在实际应用中的推广。
核心创新
本文的主要创新包括：• 构建层级化知识图谱，将图表中的实体按粒度组织，保持信息的层次结构，增强推理的可控性；• 设计结构感知采样算法，确保路径在语义和粒度上的连续性，有效避免路径漂移；• 基于路径的多模态问答生成机制，提升问答的逻辑性和多跳推理能力。这些创新结合了预训练模型和知识图谱技术，为多模态推理提供了新思路。
方法详解
- �� 利用预训练视觉语言模型（如VinVL）提取图表实体及其粒度层级；• 构建局部图表知识图谱，连接不同粒度的实体，反映图表结构；• 融合局部图谱形成全局层级知识图谱，支持跨图表推理；• 设计路径采样算法，基于实体重要性（如改良PageRank）选择起点，沿路径保持语义连贯，控制粒度变化；• 采样多条路径，利用路径信息生成问答对，确保逻辑合理和信息丰富；• 通过自动质量控制筛选高质量问答，最终构建ChartWalker-Bench。
实验设计
在ChartWalker-Bench上，采用多种RAG模型（如VLM、Transformer）进行评估，指标包括正确率、推理步数和路径连贯性。模型在复杂推理任务中的表现验证了路径采样策略的有效性。对比随机游走，结构感知路径显著提升逻辑连贯性。通过消融实验，验证实体层级组织和路径采样的关键作用。实验还分析了不同推理难度场景下模型的表现差异，确保结果的全面性。
结果分析
最优模型在基准上的最高正确率为64%，多跳推理准确率在复杂场景中低于30%，显示出任务难度。路径采样策略显著优于传统随机游走，提升路径语义连贯性。模型在复杂推理中的表现说明路径的结构设计有效，验证了多源、多跳推理的潜力。此外，路径采样的粒度控制增强了问答的可解释性，为未来系统优化提供了方向。
应用场景
该方法适用于科学数据分析、市场调研、政策评估等场景，帮助用户从多个图表中快速获取关联信息。系统可集成于智能问答平台，支持复杂多源信息检索与推理，提升决策效率。未来还可结合自动图表生成和动态知识更新，推动智能数据分析的普及。
局限与展望
当前路径采样依赖实体提取的准确性，模型在极端复杂或信息密集的图表中仍面临路径偏离和语义漂移问题。路径长度受限，超长推理链可能导致信息遗失。未来需优化路径筛选机制，提升模型泛化能力和推理效率。
通俗解读 非专业人士也能看懂
想象你在一家厨房做菜，厨房里有很多不同的食材和工具。每个食材代表不同的信息，比如水果、蔬菜、调料，而工具则像是图表中的关系。你需要根据菜谱（问题）找到正确的食材组合（答案），同时要确保每一步都合理，比如先切水果，再炒菜。为了做出一道好菜，你会按照一定的顺序和逻辑，逐步选择食材和步骤。ChartWalker就像是一个聪明的厨师助手，它能帮你把所有食材和工具的关系整理成一个层次结构（知识图谱），然后根据菜谱中的提示，找到最合适的步骤（路径）来完成菜肴。这样，不管菜谱多复杂，它都能帮你理清思路，确保每个步骤都合理，最后做出美味佳肴。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的拼图游戏，拼图上有很多不同的图片和线索。你的任务是找到正确的拼图块，把它们拼在一起，形成完整的画面。可是，有时候线索会很混乱，拼图块也很多，怎么才能找到正确的拼法呢？这时候，你需要一个聪明的朋友（ChartWalker），它会帮你把所有线索按照层次整理，比如大图、小图、细节，然后帮你找到一条条合理的拼图路径。每条路径就像是拼图的线索链，告诉你下一步该拼哪个块，确保拼出来的画面是连贯的。这个朋友还能帮你避免走弯路，不会拼错。通过这种方式，你就能更快、更准确地完成拼图，拼出漂亮的画面。
术语表
Knowledge Graph (知识图谱)
一种用节点和边表示实体及其关系的图结构，用于组织和推理信息。
本文中用于构建图表实体的层级关系和推理路径。
Hierarchical Knowledge Graph (层级知识图谱)
将实体按粒度层次组织的知识图谱，便于多层次推理。
用于组织图表中的多粒度实体信息。
Structure-aware Sampling (结构感知采样)
考虑路径语义连续性和粒度变化的路径采样算法。
确保生成的推理路径语义连贯。
Retrieval-Augmented Generation (检索增强生成)
结合检索机制与生成模型，提高问答的准确性和逻辑性。
本文中的核心问答生成框架。
Multi-hop Reasoning (多跳推理)
跨多个实体或关系进行连续推理的过程。
实现复杂跨图表推理任务的关键技术。
开放问题 这项研究留下的未解疑问
- 1 如何进一步提升路径采样在极端复杂图表中的语义连贯性仍是挑战，尤其是在信息密度极高或结构复杂的场景下，模型的推理路径可能偏离主题，未来需引入更智能的路径筛选和优化机制。
应用场景
近期应用
科学数据分析
帮助研究人员从多个图表中快速提取关联信息，支持复杂的科学推理和决策。
市场调研
辅助分析师整合不同市场报告中的图表数据，生成有逻辑的结论，提升报告效率。
远期愿景
智能决策系统
未来可集成到智能决策平台，实现自动跨图表推理，支持多领域的智能分析与预测。
原文摘要
Cross-Chart Retrieval-Augmented Generation (RAG) is critical for complex multi-modal analytical tasks in scientific, business, and political domains. However, existing benchmarks either focus on tables, which are well-structured and textualized, or generate cross-chart questions by simply extracting key points, which often induces lexical overlap between queries and evidence and yields logically inconsistent reasoning chains. To address this, we introduce ChartWalker, a novel framework for constructing challenging cross-chart RAG tasks. ChartWalker features a hierarchical knowledge graph construction method tailored to charts, which organizes entities and relations by granularity to preserve analytical structure. We then propose a structure-aware sampling algorithm that synthesizes semantically coherent, multi-hop reasoning paths, enabling explicit control over query difficulty and granularity for QA generation. Built with this framework, we release ChartWalker-Bench, a comprehensive benchmark spanning diverse domains and cross-chart query types. Extensive evaluations across major RAG paradigms reveal significant performance gaps, underscoring the benchmark's difficulty and utility. Furthermore, we provide ChartWalker-Agent, an agentic baseline to facilitate analysis and inspire future system design.