MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding
提出MMSci数据集，涵盖72学科复杂科学图像，用于训练和评估多模态科学理解模型。
核心发现
方法论
本研究构建了涵盖72学科的高质量科学图像与文本数据集，采集自Nature Communications的同行评审论文。采用正则表达式提取子图标题，分类多样化图像类型。设计了图像描述生成和多项选择匹配两个基准任务，结合BLEU、ROUGE、METEOR、BERTScore、CIDEr等指标，以及基于大模型的FACTSCORE和G-EVAL进行评估。通过微调Qwen2-VL-7B模型，结合任务特定数据，实现模型在科学图像理解上的显著提升。
关键结果
- 模型在多项选择任务中的平均准确率达87.48%，超越GPT-4o和部分人类专家，显示出强大的理解能力。
- 微调Qwen2-VL-7B模型后，图像描述和匹配性能明显改善，尤其在复杂图像和细节描述方面表现优异。
- 持续预训练结合文章与图像交互数据，显著提升材料科学等领域的下游任务表现，验证了数据多样性的重要性。
研究意义
该数据集突破了以往仅局限于简单图表的限制，涵盖多样复杂图像类型，推动科学AI理解向更高层次发展。为跨学科研究提供丰富资源，促进大模型在科研辅助中的应用，解决了科学图像理解中的数据匮乏问题，具有重要的学术和工业价值。
技术贡献
提出了多模态科学图像理解的系统框架，结合高质量数据集、任务设计和模型微调策略，显著提升模型在复杂科学图像上的表现。引入多任务学习和持续预训练机制，丰富模型的知识表达能力，为未来科研AI提供技术基础。
新颖性
首次构建涵盖72学科、多样化图像类型的科学图像数据集，结合多任务评估体系，突破了现有科学图像理解数据的局限。提出基于大模型的细粒度描述和匹配方法，显著优于以往仅关注简单图表的研究。
局限性
- 数据主要来源于高影响力期刊，可能存在学科偏向，未覆盖所有科研领域。
- 模型在细粒度描述和复杂推理方面仍有不足，未来需结合知识图谱等增强理解。
- 高质量数据采集成本较高，模型推理速度仍需优化以满足实际应用需求。
未来方向
未来将扩展数据多样性，涵盖更多学科和图像类型，提升模型的跨领域泛化能力。探索知识增强与推理机制，结合图谱和推理引擎，提升模型理解深度。同时，推动模型在科研辅助、自动化分析等实际场景中的应用落地。
AI 总览摘要
科学论文中的图像理解是AI科研助手的重要环节。现有数据集多局限于简单图表，难以满足复杂科学场景需求。为此，本文构建了涵盖72学科、丰富多样图像类型的MMSci数据集，采集自Nature Communications的高质量论文。该数据集包括131,000篇文章和742,000个图像，涵盖示意图、显微图像、实验数据等复杂视觉内容，具有极高的学科广度和图像多样性。
基于此，设计了图像描述生成和多项选择匹配两个基准任务，结合多指标评估模型理解能力。实验结果显示，经过微调的Qwen2-VL-7B模型在多项选择任务中达87.48%的准确率，超越GPT-4o和部分人类专家，验证了模型在复杂科学图像理解上的潜力。持续预训练结合文章与图像交互数据，显著提升了材料科学等领域的下游任务表现。
该工作不仅提供了科学图像理解的高质量资源，也为未来跨学科、多模态AI科研助手的发展奠定了基础。未来将扩展数据范围，结合知识图谱和推理机制，推动AI在科研中的实际应用，解决科学图像理解中的核心难题，促进科学研究的智能化升级。
深度分析
研究背景
随着深度学习和多模态模型的发展，科学图像理解成为AI科研的重要方向。早期工作主要集中在简单图表和数据可视化，使用合成或有限样本集（如FigureQA、SciCap），难以应对真实复杂图像。近年来，部分研究尝试从arXiv等开放源收集多样图像，但缺乏高质量、跨学科的系统性数据集。科学图像的复杂性在于其多样性、专业性和信息密度，亟需高质量、多样化的数据支撑模型训练与评估。
核心问题
现有模型在理解复杂科学图像方面表现不足，尤其在多学科、多类型图像的细粒度描述和匹配任务中，准确率仍偏低。缺乏涵盖多学科、多样化图像的系统性数据集，限制了模型的泛化能力和应用范围。科研场景中，科学图像不仅仅是视觉信息，更包含专业知识和上下文关联，模型需要具备深层理解和推理能力，才能满足实际需求。
核心创新
本研究的核心创新在于：1）构建涵盖72学科、丰富多样图像类型的高质量科学图像数据集，突破了以往局限；2）设计多任务评估体系，包括图像描述生成和多项选择匹配，全面测试模型理解能力；3）引入持续预训练和微调策略，结合文章文本与图像交互数据，显著提升模型表现。这些创新为科学AI提供了新的数据基础和技术路径。
方法详解
- �� 数据采集：从Nature Communications爬取131,393篇论文，提取图像和对应标题、说明。
- �� 图像分类：利用正则表达式识别子图编号，分类多样化图像类型。
- �� 任务设计：包括图像描述生成（captioning）和多项选择匹配（matching），结合多指标评估。
- �� 模型微调：在Qwen2-VL-7B基础上，加入任务特定训练数据，优化模型理解能力。
- �� 持续预训练：结合文章文本和图像交互数据，增强模型知识表达。
- �� 评估：采用BLEU、ROUGE、METEOR、BERTScore、CIDEr和大模型特有指标，全面评价模型性能。
实验设计
采用多学科、多类型图像数据，设置不同任务场景，验证模型在图像描述和匹配上的表现。对比多种开源和商业模型，分析微调和预训练对性能的提升。评估指标包括准确率、BLEU、ROUGE等，特别关注复杂图像和细节描述的能力。通过消融实验验证多任务训练和持续预训练的效果，确保模型在实际科研场景中的适用性。
结果分析
模型在多项选择任务中平均准确率达87.48%，显著优于未微调模型。微调Qwen2-VL-7B后，图像描述的CIDEr指标提升明显，尤其在复杂示意图和显微图像中表现优异。持续预训练结合文章与图像数据，提升了材料科学等领域的下游任务表现，验证了数据多样性和训练策略的有效性。这些结果表明，模型已具备较强的科学图像理解能力。
应用场景
该数据集和模型可应用于科研论文自动解读、科学知识图谱构建、科研辅助智能问答等场景。研究人员可以利用高质量数据训练更专业的模型，提升科研效率。行业方面，可推动科研文献自动分析、科学数据可视化自动生成等应用，为科研信息化提供技术支持。
局限与展望
当前模型在极端复杂图像和深层推理任务中仍有不足，部分专业知识缺失影响理解深度。数据采集成本较高，模型推理速度有限，难以满足实时应用需求。未来需结合知识图谱、推理引擎等技术，提升模型的理解深度和效率。同时，扩大数据覆盖范围，增强模型的泛化能力。
通俗解读 非专业人士也能看懂
想象你在一家大型工厂工作，工厂里有各种各样的机器和流程。科学论文中的图像就像工厂的各种设备和流程图，有些是简单的流程图，有些则是复杂的机械结构。以前，AI就像是个只会看简单机械图的小工，能认出几个零件，但遇到复杂的机械就不行。现在，这个新数据集就像给工厂配备了全套的高清摄像头和详细说明书，让AI能看懂各种复杂的机械和流程。通过学习这些详细的图片和说明，AI变得更聪明，能帮科学家更快理解复杂的科研内容，就像工厂里的工程师能快速找到问题所在一样。
简单解释 像给14岁少年讲一样
想象你在学校的科学实验室里，老师让你看一堆复杂的实验图片，比如显微镜下的细胞、化学反应的图示，还有地理地图。这些图片都非常专业，普通人看不懂，但科学家们需要理解它们的细节和意义。以前，AI只能理解一些简单的图表，比如柱状图或折线图，但面对复杂的显微图或实验结果，就束手无策。现在，这个研究就像给AI提供了很多高质量的科学图片和详细的说明，让它学会了看懂各种复杂的科学图像。这样，AI就能帮科学家更快找到问题、理解实验结果，就像老师帮学生解答难题一样。未来，AI会变得越来越聪明，能在科研中帮上大忙！
原文摘要
Scientific figure interpretation is a crucial capability for AI-driven scientific assistants built on advanced Large Vision Language Models. However, current datasets and benchmarks primarily focus on simple charts or other relatively straightforward figures from limited science domains. To address this gap, we present a comprehensive dataset compiled from peer-reviewed Nature Communications articles covering 72 scientific fields, encompassing complex visualizations such as schematic diagrams, microscopic images, and experimental data which require graduate-level expertise to interpret. We evaluated 19 proprietary and open-source models on two benchmark tasks, figure captioning and multiple-choice, and conducted human expert annotation. Our analysis revealed significant task challenges and performance gaps among models. Beyond serving as a benchmark, this dataset serves as a valuable resource for large-scale training. Fine-tuning Qwen2-VL-7B with our task-specific data achieved better performance than GPT-4o and even human experts in multiple-choice evaluations. Furthermore, continuous pre-training on our interleaved article and figure data substantially enhanced the model's downstream task performance in materials science. We have released our dataset to support further research.