Impact of large language models on peer review opinions from a fine-grained perspective: Evidence from top conference proceedings in AI

同行评审是学术研究和出版过程中的关键质量控制机制，其主要目的是确保学术研究的严谨性和可信度，帮助作者改进作品，并识别潜在的错误和不足。然而，近年来，由于论文提交量激增和合格领域专家短缺，特别是在顶级人工智能会议上，同行评审机制面临广泛批评。当前的同行评审过程面临几个挑战，包括偏见、评审质量的差异、评审动机不明确和评审机制不完善。随着提交量的不断增加，这些问题变得愈加明显。一些研究人员试图通过提高公平性、减少新手评审者的偏见、校准噪声同行评审评分以及改进匹配论文与评审者专业知识的机制来缓解这些问题。其他研究则探索使用自然语言处理技术来支持或优化同行评审过程。这些研究引入了利用人工智能来协助负担过重的科学家进行同行评审的可能性。尽管这些技术可能在某种程度上帮助评审者，但它们对同行评审过程的影响仍需进一步研究。

近年来，大语言模型（LLMs）展示的惊人能力引发了学术界的广泛研究和讨论。同时，学术界对LLMs可能侵蚀同行评审的担忧也随之而来。研究人员也开始研究和分析LLMs在同行评审过程中的应用和影响。例如，Liang等人不仅评估了GPT-4在生成科学反馈方面的有效性，还提出了一种方法来估计LLMs在同行评审文本中的使用程度。他们发现，最近一些AI会议的评审可能已被LLMs修改。Latona等人调查了ICLR 2024年LLM辅助同行评审的普及率和影响，发现LLM辅助评审显著影响了评审评分和提交接受率。尽管这些初步研究表明LLMs已开始影响同行评审，但它们是否改变了同行评审的核心功能仍未得到充分探索。随着LLMs越来越多地融入学术工作流程，分析它们对同行评审的影响变得尤为重要，包括语言模式、评价维度和评审者推荐的影响。理解这些影响有助于改进同行评审实践，确保公平和透明，并为适应不断变化的学术环境提供可操作的见解。值得注意的是，像NeurIPS这样的主要会议尚未明确规定评审者是否可以使用LLMs来协助撰写报告。这种政策上的模糊性凸显了研究LLM辅助可能已经在塑造同行评审文本的语言和评价特征的重要性。

本研究旨在探讨大语言模型（LLMs）对同行评审文本的语言复杂度和内容表达的影响。具体而言，研究关注以下三个核心问题：

1. 大语言模型的出现如何影响同行评审文本的语言复杂度和维度级别的内容表达？

2. 与非LLM辅助的评审相比，LLM辅助的评审中哪些评价维度更为突出？

3. LLM辅助评审中强调的评价维度如何与评审者的评分和信心水平相关联？

这些问题的解决对于理解LLMs在学术评审过程中的作用以及如何改进评审实践具有重要意义。

本研究的核心创新在于：

• �� 细粒度分析：首次从细粒度角度系统分析了大语言模型对同行评审文本的影响，区别于以往仅关注整体文本变化的研究。

• �� 方法创新：结合最大似然估计法和自动标注技术，提出了一种新的分析框架，用于识别可能由大语言模型修改或生成的评审报告。

• �� 数据分析：通过分析ICLR和NeurIPS会议的评审文本，揭示了大语言模型对评审文本长度、语言复杂度及评价重点的影响。

这些创新为理解大语言模型在学术交流中的作用提供了新的视角。

本研究采用了一种细致的分析方法，具体步骤如下：

• �� 数据收集与处理：选择ICLR和NeurIPS两个顶级会议作为数据来源，利用OpenReview平台获取评审文本数据。

• �� 评审句子维度识别：基于Yuan等人的研究，采用预训练的维度识别模型对评审句子进行自动标注，识别出八个评价维度。

• �� LLM辅助评审文本检测：使用Liang等人设计的最大似然估计模型，结合预定义的术语词典，检测可能由LLMs辅助生成的评审文本。

• �� 词汇复杂度与句法复杂度分析：利用TAALES和TAASSC工具分别计算评审文本的词汇复杂度和句法复杂度，分析其变化趋势。

实验设计包括以下几个方面：

• �� 数据集：选择ICLR和NeurIPS会议的评审文本数据，涵盖多个年份，以便分析大语言模型出现前后的变化。

• �� 基线：与非LLM辅助的评审文本进行比较，分析LLM辅助对评审文本的影响。

• �� 评价指标：包括评审文本的长度、词汇复杂度、句法复杂度及评价维度的分布。

• �� 超参数：在最大似然估计模型中，调整参数以提高LLM辅助文本检测的准确性。

研究结果表明：

• �� 在大语言模型出现后，ICLR和NeurIPS的评审文本变得更长、更流畅，特别是低信心评分的评审者，文本长度和流畅性显著增加。

• �� LLM辅助的评审报告中，对总结和表面清晰度的关注增加，而对原创性、可重复性和细致批判性推理的关注减少。

• �� LLM辅助的评审报告在推荐信息的丰富性上有适度的正面影响。这些发现揭示了大语言模型对学术同行评审过程的深远影响，尤其是在语言表达和评价维度上的变化。

本研究的应用场景包括：

• �� 学术评审：为学术会议和期刊提供改进评审实践的参考，尤其是在评审文本的语言和评价维度上。

• �� 教育领域：为教育机构提供关于大语言模型在学术交流中的作用的洞见，帮助学生和研究人员更好地理解和利用这些技术。

• �� 人工智能研究：为AI研究人员提供关于大语言模型在自然语言处理和生成方面的应用和影响的实证数据。

尽管本研究揭示了大语言模型对同行评审的影响，但仍存在一些局限性：

• �� 数据局限：研究主要基于ICLR和NeurIPS的公开数据，可能不适用于其他领域的会议。

• �� 检测模型的准确性：最大似然估计法的准确性依赖于训练数据的质量，可能存在误判。

• �� 主观偏见：未能深入探讨大语言模型对评审者主观偏见的潜在影响。未来研究可以扩展到其他学科领域的同行评审，探索大语言模型对不同领域评审过程的影响。此外，可以开发更精确的检测模型，以提高对大语言模型生成内容的识别能力。