核心发现
方法论
cPAPERS 数据集从 OpenReview 评论中提取问答对，并与 arXiv 的 LaTeX 文件进行关联。数据集分为三部分：公式、图表和表格，采用 LLAMA-2-70B 进行零样本和微调实验。
关键结果
- 结果1：在公式问答任务中，使用邻近公式的零样本方法提升 ROUGE-1 分数达 0.190，比使用所有公式提高 11.8%。
- 结果2：表格问答任务中，结合上下文信息的零样本方法 ROUGE-L 分数为 0.142，高于仅使用问题的 0.136。
- 结果3：微调 LLAMA-2-7B 后，公式问答任务的 METEOR 分数提升至 0.223，较零样本方法提高 3.3%。
研究意义
该研究解决了科学论文中多模态交互问答的挑战，为开发学术助手提供了重要数据支持。其数据集涵盖了公式、图表和表格，填补了现有数据集在学术交互场景中的空白。
技术贡献
提出了从 OpenReview 评论中提取问答对并与 LaTeX 文件关联的高效方法。基于 LLAMA-2 的零样本和微调实验验证了数据集的有效性。
新颖性
首次将科学论文中的公式、图表和表格与问答任务结合，创建了多模态交互数据集，显著扩展了现有问答数据集的应用范围。
局限性
- 局限1：数据集中公式、图表和表格可能因论文版本差异导致匹配不准确。
- 局限2：模型对复杂公式的理解仍有限，可能影响回答质量。
- 局限3：数据集主要基于英语，缺乏多语言支持。
未来方向
未来可扩展至更多领域的科学文献，开发支持多语言的问答模型，并优化对复杂公式和图表的理解能力。
AI 总览摘要
科学论文中的多模态交互问答是一个新兴研究领域。随着科学文献数量的快速增长，研究人员面临理解和连接信息的挑战。
cPAPERS 数据集通过从 OpenReview 评论中提取问答对，并与 arXiv 的 LaTeX 文件进行关联，创建了一个涵盖公式、图表和表格的多模态问答数据集。实验结果表明，使用邻近内容进行问答任务显著提升了模型性能。
这一数据集为开发支持科学研究的智能助手奠定了基础，同时也揭示了模型在处理复杂多模态内容时的局限性，为未来研究指明了方向。
深度分析
研究背景
科学文献的快速增长使研究人员难以高效获取和理解信息。现有问答数据集多针对日常场景，缺乏对科学文献中多模态内容的支持。
核心问题
科学论文包含公式、图表和表格等多模态内容，这些内容对研究至关重要，但现有问答模型难以有效处理这些复杂信息。
核心创新
cPAPERS 数据集首次结合 OpenReview 评论与 arXiv 文档，创建了一个多模态问答数据集，支持科学论文中的公式、图表和表格问答任务。
方法详解
- �� 使用 OpenReview API 提取评论和回应。
- �� 利用正则表达式识别评论中的公式、图表和表格。
- �� 通过 LaTeX 文件关联问答对与多模态内容。
- �� 使用 LLAMA-2 进行零样本和微调实验。
实验设计
实验设计包括零样本方法和微调模型。使用 LLAMA-2-70B 和 LLAMA-2-7B，分别测试公式、表格和图表问答任务，评估模型在不同设置下的性能。
结果分析
结果显示，使用邻近内容的零样本方法在公式问答任务中提升了 ROUGE 分数；微调模型进一步提高了问答质量，尤其是在公式任务中。
应用场景
该数据集可用于开发学术助手，帮助研究人员快速理解复杂文献内容，尤其是在公式推导和实验结果分析方面。
局限与展望
数据集可能因论文版本差异导致内容匹配问题；模型对复杂公式和图表的理解能力有限；缺乏多语言支持。
通俗解读 非专业人士也能看懂
想象你在厨房准备晚餐。公式就像食谱，图表是食材的摆盘示意图，而表格则是营养信息表。cPAPERS 数据集就像一个智能助手，帮助你快速理解这些信息，告诉你如何搭配食材、调整烹饪步骤。
简单解释 像给14岁少年讲一样
想象你在玩游戏，公式是攻略秘籍，图表是地图，表格是装备属性表。cPAPERS 数据集就像一个游戏助手，帮你快速找到攻略重点，理解地图细节，还能告诉你装备的最佳搭配！是不是很酷？
术语表
多模态 (Multimodal)
指结合多种数据类型，如文本、图像、表格等。
用于科学论文中公式、图表和表格的问答任务。
LLAMA-2
一种大语言模型，用于生成和理解自然语言。
用于零样本和微调实验。
ROUGE 分数
一种评估文本生成质量的指标，基于词汇匹配。
用于评估问答任务的性能。
LaTeX
一种文档排版语言，常用于科学论文。
用于提取公式、图表和表格内容。
OpenReview
一个学术论文评审平台，提供评论和回应。
用于提取问答对。
开放问题 这项研究留下的未解疑问
- 1 如何更好地处理复杂公式的语义理解？
- 2 如何解决不同论文版本间的内容匹配问题？
- 3 如何扩展至多语言支持？
应用场景
近期应用
学术助手
帮助研究人员快速理解科学文献中的公式和实验结果。
教育工具
为学生提供科学论文的多模态解读，提升学习效率。
远期愿景
自动化科研助手
支持科学发现过程，帮助研究人员生成假设并设计实验。
原文摘要
An emerging area of research in situated and multimodal interactive conversations (SIMMC) includes interactions in scientific papers. Since scientific papers are primarily composed of text, equations, figures, and tables, SIMMC methods must be developed specifically for each component to support the depth of inquiry and interactions required by research scientists. This work introduces Conversational Papers (cPAPERS), a dataset of conversational question-answer pairs from reviews of academic papers grounded in these paper components and their associated references from scientific documents available on arXiv. We present a data collection strategy to collect these question-answer pairs from OpenReview and associate them with contextual information from LaTeX source files. Additionally, we present a series of baseline approaches utilizing Large Language Models (LLMs) in both zero-shot and fine-tuned configurations to address the cPAPERS dataset.