ChartX & ChartVLM: A Versatile Benchmark and Foundation Model for Complicated Chart Reasoning

随着多模态大模型（MLLMs）在视觉-语言任务中的崛起，图表理解作为数据可视化的重要应用逐渐受到关注。早期工作如Deplot、StructChart等主要集中在图表到表格或文本的转换，强调信息提取能力，但缺乏系统化的推理评估。近年来，Pix2Struct等模型引入编码器-解码器架构，提升了结构化信息的提取能力，但在复杂推理和多任务场景中仍有限。现有评测集如ChartQA、ChartBench等覆盖范围有限，难以全面衡量模型的多样性和推理深度。本文旨在弥补这一空白，构建更丰富的评估体系，推动图表理解的深度发展。

当前多模态模型在图表理解中存在结构信息提取不足、推理能力有限、解释性差等问题。尤其在复杂图表、多任务场景下，模型难以同时兼顾信息的准确性和推理的透明度。缺乏统一的评估标准限制了模型的比较和优化，导致实际应用中效果不理想。解决这些瓶颈对于数据驱动决策、科学研究和商业分析具有重要意义。

本研究提出了ChartX评估集，覆盖多类型、多任务、多学科，丰富了评估场景。引入结构信息引导推理的ChartVLM模型，通过指令适配器实现任务动态调度，结合Pix2Struct架构支持端到端多任务推理，显著提升结构提取和推理的准确性。模型内部结构透明，增强了可解释性，突破了传统依赖外部模块的局限。此创新框架为多模态图表理解提供了新思路，兼顾性能与解释。

• �� 构建ChartX数据集，采集48K多模态图表，涵盖多学科、多类型，融合图像、CSV、Python、文本。
• �� 设计结构化信息提取模块（Pix2Struct基础架构），实现图表到CSV的端到端转换。
• �� 开发指令适配器，利用GPT-3.5生成多样任务指令，结合微调模型支持多任务调度。
• �� 采用LoRA微调Vicuna和Qwen模型，增强模型在问答、描述、总结等任务中的表现。
• �� 设计多任务评估指标，包括EM、GPT-acc、GPT-score，全面衡量模型性能。
• �� 进行大量实验，验证模型在结构提取、复杂推理、多任务适应性上的优越性。

使用ChartX评估集，比较ChartVLM与多模态大模型（如GPT-4V、LLaVA）在结构提取、问答、描述、总结、重绘等任务上的表现。采用指标如EM、GPT-acc、GPT-score，进行多任务、多类型图表的性能评估。实验中调优指令提示，验证模型的泛化能力和多任务适应性。通过消融实验分析指令适配器和结构引导机制的贡献，确保模型在复杂场景中的鲁棒性。

ChartVLM在结构提取任务中达40.71%的准确率，问答任务中达94.27%的正确率，显著优于现有模型。在多类型、多任务场景中表现优异，部分指标与GPT-4V持平或接近，验证了结构信息引导推理的有效性。模型在复杂推理和多模态融合方面展现出优越的性能，证明了其在科学和商业应用中的潜力。

模型可应用于科学数据分析、金融市场预测、商业智能等领域，帮助用户自动理解复杂图表、提取关键信息、生成报告。只需提供图表和指令，即可实现自动推理和可视化重绘，极大提升工作效率。未来还可结合交互式界面，支持动态数据探索和多模态交互，推动智能决策。

模型在极端复杂或多维图表中的表现仍有限，受限于训练数据的多样性和模型容量。高算力需求限制了实际部署的速度和成本。对动态交互式图表支持不足，未来需增强多模态融合和交互能力，提升模型的适应性和实用性。