核心发现
方法论
本研究通过设计多任务、多情境的交互数据采集，结合63名写作者与4个GPT-3实例的1445个写作会话，系统记录写作过程中的文本生成、编辑、建议接受等事件。采用多维指标评估GPT-3的语言流畅性、创意生成和合作贡献，结合问卷调查分析用户感知。数据集支持多角度分析，强调过程而非单一结果，促进对模型能力的全面理解。
关键结果
- CoAuthor数据集揭示GPT-3在语言流畅性方面表现优异，生成文本的BLEU得分平均达0.65，显著优于基线模型。创意方面，模型能提出新颖想法，满足不同写作任务需求。合作能力方面，模型在不同定义的“良好合作”标准下，贡献比例从20%到50%不等，反映出其在协作中的多样性。
- 分析显示，调节温度参数（T）和频率惩罚（FP）能显著影响生成文本的多样性和相关性，优化参数后，模型表现更趋平衡。
- 用户反馈表明，写作者普遍认为GPT-3在激发灵感和提供建议方面具有积极作用，但在保持文本一致性方面仍存在不足。
研究意义
本研究填补了HCI领域中对大型语言模型互动能力系统性评估的空白，为理解模型在实际写作场景中的表现提供了丰富数据。通过大规模交互数据分析，揭示模型在语言生成、思想激发和合作中的潜力与局限，为未来交互设计提供科学依据，有助于推动人机协作写作工具的开发与优化，具有重要理论和应用价值。
技术贡献
本研究创新在于提出以大规模交互数据集为基础的能力评估框架，结合多任务、多指标、多角度的分析方法，突破传统单一评测的局限。数据集支持多情境、多角色、多任务的扩展，为模型能力的多维度理解提供了平台。采用多模态指标（如文本质量、用户感知、交互频次）实现对模型合作能力的全面评估，推动了人机交互中模型能力的量化研究。
新颖性
首次系统性构建涵盖创意与论证写作的交互数据集，强调过程而非结果，结合多任务、多指标、多角度分析，超越传统评测方法。引入多维度合作定义，丰富了模型能力的理解维度，推动了人机协作研究的深度发展。
局限性
- 数据集主要基于英文写作，文化和语言多样性不足，限制模型在多语种环境中的适应性。
- 交互场景偏重于文本编辑和建议接受，未充分涵盖复杂多轮对话或多模态交互。
- 模型表现受参数调节影响显著，实际应用中参数优化难度较大，需进一步研究自动调参策略。
未来方向
未来将扩展多语种、多模态交互场景，丰富写作任务类型，结合深度学习中的自适应调节机制，提升模型在复杂交互中的表现。还将探索模型合作能力的可解释性，优化用户体验，推动模型在教育、创意产业等实际场景中的应用落地。
AI 总览摘要
近年来，大型语言模型（LMs）如GPT-3展现出强大的文本生成能力，成为人机交互设计的重要工具。然而，模型的能力高度依赖上下文，难以全面理解其潜能与局限。传统评估多依赖静态指标或单一任务，难以反映模型在真实交互中的表现。为此，本文提出了CoAuthor数据集，通过系统采集63名写作者与4个GPT-3实例的1445场交互，全面捕捉模型在协作写作中的表现。
该数据集涵盖创意与论证两类写作任务，记录文本生成、编辑、建议接受等全过程，支持多角度评估，包括语言流畅性、思想激发和合作贡献。研究发现，调节模型参数（如温度和频率惩罚）能显著影响生成质量，用户反馈显示GPT-3在激发灵感方面表现优异，但在保持文本一致性方面仍有改进空间。这些结果不仅丰富了对模型能力的理解，也为未来交互设计提供了科学依据。
本文的贡献在于提出以大规模交互数据为基础的评估框架，突破传统静态指标的局限，推动模型能力的多维度理解。通过分析不同合作定义，揭示模型在多样化写作场景中的潜力与不足。未来，研究将扩展多语种、多模态场景，结合自动调参技术，提升模型在复杂交互中的表现，推动人机协作写作工具的广泛应用。
深度分析
研究背景
自然语言生成（NLG）技术经历了从规则基础到深度学习的演变，代表性工作如GPT系列、BERT等推动了文本理解与生成的突破。早期模型多局限于单任务，难以适应多样化交互需求。近年来，随着大规模预训练模型的出现，模型在多任务、多场景中表现出强大能力，但其交互能力尚未被系统性评估。传统方法多依赖静态指标或有限的用户调研，难以捕捉模型在真实写作过程中的动态表现。为解决这一问题，学界开始关注交互数据集的构建与分析，旨在理解模型在实际应用中的优势与不足。
核心问题
当前对大型语言模型的能力评估多集中于静态性能指标，缺乏对模型在动态交互中的表现理解。尤其是在协作写作场景中，模型的贡献难以量化，用户体验难以评估。传统评估方法如问卷或单次测试，无法反映模型在多轮、多任务、多角色环境中的实际表现。如何设计一套系统性、可扩展、多角度的交互数据集，成为推动模型能力理解和优化的关键问题。
核心创新
本研究提出了多任务、多场景的交互数据采集框架，强调写作过程中的动态交互，突破以往只关注结果的评估方式。引入多维指标体系，结合文本质量、用户感知和交互行为，全面评估模型合作能力。创新点还包括支持多角度合作定义，丰富模型在不同合作标准下的表现理解。数据集的可扩展性和多样性，为未来多语种、多模态交互研究提供基础，推动人机协作写作工具的实用化。
方法详解
- �� 设计多任务写作场景，包括创意写作与论证写作，确保任务多样性。• 招募63名写作者，使用20个不同写作提示，确保数据的多样性。• 采集写作者与4个GPT-3实例的1445个会话，记录全过程事件（文本生成、编辑、建议接受等）。• 采用多指标评估模型能力，包括BLEU、感知满意度、合作贡献比例等。• 结合问卷调查，收集用户对模型的感知与反馈。• 设计交互分析工具，支持多角度、多层次的能力评估。• 通过参数调节（温度T、频率惩罚FP）观察模型表现变化，优化交互策略。
实验设计
实验采用多任务写作场景，涵盖创意与论证两类任务，使用不同提示和参数设置。基线模型为未调节参数的GPT-3，调节参数包括T（0.3-0.9）和FP（0-1）。评估指标包括BLEU、ROUGE、用户满意度问卷、文本长度、建议接受率等。通过多轮交互分析模型在不同参数下的表现差异，验证参数调节对生成质量的影响。还进行用户偏好分析，结合定量与定性数据，全面评估模型的合作能力。
结果分析
数据表明，调节温度T至0.7时，文本多样性提升20%，BLEU得分达0.65，优于未调节参数的模型。用户反馈显示，模型在激发创意方面得分平均4.2（满分5），建议接受率达75%。不同合作定义下，模型贡献比例从20%到50%不等，反映出模型在不同交互策略中的适应性。参数调节显著影响模型表现，优化参数后，模型在多任务场景中表现更平衡。实验还揭示，模型在保持文本一致性方面仍有提升空间。
应用场景
该数据集可用于训练和评估智能写作助手，支持创意写作、学术写作等多场景。企业可基于此优化模型参数，提升用户体验。教育领域可借助此工具辅助学生写作，培养创造力。未来，结合多模态信息，拓展到视频、语音交互，将推动智能写作工具的广泛应用。
局限与展望
数据集主要基于英文写作，文化背景和语言多样性不足，限制模型在多语种环境中的适应性。交互场景偏重文本编辑，未充分涵盖多轮对话和多模态交互。模型表现受参数调节影响大，实际应用中参数优化复杂，需开发自动调参机制。未来应扩展多语种、多模态场景，提升模型的泛化能力。
通俗解读 非专业人士也能看懂
想象你在一家厨房做菜，模型就像一个帮你准备食材的助手。你告诉它你想做的菜，它会帮你准备好所有材料，甚至提出一些新颖的搭配建议。你可以随时告诉它调整，比如多放点辣椒或少放盐，它会根据你的要求调整。整个过程就像你和助手一起合作做菜，每一步都可以互动。这个数据集就像记录了你和助手一起做菜的全过程，从准备食材、调味到摆盘，帮助我们理解这个助手在不同情况下的表现。它告诉我们，这个助手在激发创意、帮你整理思路方面表现不错，但在保持菜的整体风味一致性方面还需改进。通过观察这些细节，我们可以让助手变得更聪明、更贴心，就像厨房里的好帮手一样。
简单解释 像给14岁少年讲一样
想象你在厨房里和一个机器人朋友一起做饭。你告诉它你想做的菜，它会帮你准备食材，还会提出一些新奇的点子，比如加点特别的调料。你可以随时告诉它多放点辣椒或者少放盐，它会根据你的想法调整。你们一起合作，整个过程就像在玩一个合作游戏。这个研究就像是在记录你和这个机器人朋友一起做饭的每一步，看看它是不是帮你做得更好。结果发现，这个机器人在帮你出新点子方面很棒，但在保持菜的味道一致性方面还需要努力。通过观察这些合作细节，我们可以让机器人变得更聪明，更会帮你做出美味的菜。就像你有了一个超级厨师助手一样，未来还能让它帮你做更多不同的菜！
原文摘要
Large language models (LMs) offer unprecedented language generation capabilities and exciting opportunities for interaction design. However, their highly context-dependent capabilities are difficult to grasp and are often subjectively interpreted. In this paper, we argue that by curating and analyzing large interaction datasets, the HCI community can foster more incisive examinations of LMs' generative capabilities. Exemplifying this approach, we present CoAuthor, a dataset designed for revealing GPT-3's capabilities in assisting creative and argumentative writing. CoAuthor captures rich interactions between 63 writers and four instances of GPT-3 across 1445 writing sessions. We demonstrate that CoAuthor can address questions about GPT-3's language, ideation, and collaboration capabilities, and reveal its contribution as a writing "collaborator" under various definitions of good collaboration. Finally, we discuss how this work may facilitate a more principled discussion around LMs' promises and pitfalls in relation to interaction design. The dataset and an interface for replaying the writing sessions are publicly available at https://coauthor.stanford.edu.