核心发现
方法论
通过对20名程序员的对比实验，研究了LLM对编程创意过程的影响。实验分为两种条件：LLM辅助和无辅助，使用定性和定量分析方法，研究了人机协作的四种模式。
关键结果
- 在LLM辅助条件下，创意生成时间显著缩短（p=0.0004），但创造性时刻减少（p=0.002）。
- LLM生成的代码在功能和语法上更优，但创意数量与参与者生成的代码相当。
- 发现四种人机协作模式：头脑风暴者、执行者、验证者和副驾驶。
研究意义
研究揭示了LLM在编程创意过程中的影响，指出了其对用户创造力的支持和限制，为设计更有效的创造力支持工具提供了参考。
技术贡献
提出了人机协作的四种模式，分析了LLM在编程创意过程中的角色，提供了对现有创造力支持工具的改进建议。
新颖性
首次系统性研究LLM对编程创意过程的影响，揭示了LLM在不同创意阶段的支持和限制。
局限性
- LLM可能导致创意同质化，减少多样性。
- 实验样本量较小，可能影响结果的普适性。
未来方向
未来研究可探索如何优化LLM的使用，以增强用户的创造力和多样性。
AI 总览摘要
随着AI技术的发展，LLM在编程中的应用越来越广泛。然而，LLM对编程创意过程的影响尚不明确。本研究通过对20名程序员的实验，探讨了LLM在编程创意过程中的作用。结果表明，LLM辅助下的创意生成时间缩短，但创造性时刻减少。尽管LLM生成的代码在功能和语法上更优，但其创意数量与参与者生成的代码相当。
研究还揭示了四种人机协作模式：头脑风暴者、执行者、验证者和副驾驶。这些模式在不同程度上支持了问题解决策略，尤其是在参与者保留创意生成主动权时，创造性时刻更多，解决方案更具多样性。
基于这些发现，研究提出了设计更有效的创造力支持工具的建议，强调了在提供动态和选择性支持时平衡认知努力和解决方案创造力的重要性。
深度分析
研究背景
随着AI技术的进步，LLM在编程中的应用越来越广泛。现有研究主要关注LLM在创意生成阶段的影响，而对整个创意过程的影响研究较少。本研究旨在填补这一空白，探讨LLM在编程创意过程中的作用。
核心问题
LLM在编程创意过程中的影响尚不明确，尤其是在不同创意阶段的支持和限制。研究旨在揭示LLM如何影响编程中的创意生成和解决方案的多样性。
核心创新
本研究首次系统性地研究了LLM对编程创意过程的影响，提出了人机协作的四种模式，并分析了LLM在不同创意阶段的支持和限制。
方法详解
- �� 参与者：20名程序员
- �� 实验条件：LLM辅助和无辅助
- �� 数据收集：屏幕录制、代码片段、访谈
- �� 分析方法：定性和定量分析
实验设计
实验设计包括两种条件：LLM辅助和无辅助。参与者在每种条件下完成两项编程任务，任务类型包括算法任务和系统设计任务。数据通过屏幕录制和访谈收集。
结果分析
结果显示，LLM辅助下的创意生成时间缩短，但创造性时刻减少。LLM生成的代码在功能和语法上更优，但创意数量与参与者生成的代码相当。
应用场景
研究结果可用于设计更有效的创造力支持工具，帮助程序员在使用LLM时保持创意生成的主动性。
局限与展望
LLM可能导致创意同质化，减少多样性。实验样本量较小，可能影响结果的普适性。
通俗解读 非专业人士也能看懂
想象你在厨房做饭。通常，你需要自己想出菜谱，选择食材，决定烹饪方式。但现在，有一个智能助手可以帮你做这些决定。虽然它能快速给出建议，但你可能会依赖它，而不是自己动脑筋。这就像研究中发现的，使用LLM辅助编程时，程序员的创意生成时间缩短，但创造性时刻减少。助手帮你省时，但也可能限制你的创意发挥。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏，通常你需要自己想出策略来赢得比赛。现在，有一个超级智能的助手可以帮你想策略。虽然它能快速给出建议，但你可能会依赖它，而不是自己动脑筋。这就像研究中发现的，使用LLM辅助编程时，程序员的创意生成时间缩短，但创造性时刻减少。助手帮你省时，但也可能限制你的创意发挥。
术语表
LLM (大型语言模型)
一种基于深度学习的模型，能够生成类似人类语言的文本。
研究中用于辅助编程的工具。
创造性时刻
指在解决问题过程中突然产生的新想法或灵感。
用于衡量参与者在编程过程中的创造力。
人机协作模式
描述人类与机器协作的不同方式。
研究中识别出四种模式：头脑风暴者、执行者、验证者和副驾驶。
GitHub Copilot
一种基于LLM的代码生成工具，能够自动补全代码。
研究中用于LLM辅助条件的工具。
定性分析
一种研究方法，通过分析非数值数据来理解现象。
用于分析参与者的访谈数据。
开放问题 这项研究留下的未解疑问
- 1 如何优化LLM使用以增强用户创造力？
- 2 LLM在不同创意阶段的支持和限制是什么？
应用场景
近期应用
编程教育
LLM可以用于编程教育，帮助学生快速生成代码，提高学习效率。
远期愿景
软件开发
LLM可以在软件开发中提供智能辅助，提升开发效率和创意水平。
原文摘要
Creativity is fundamentally human. As AI takes on more of the generative work that once required human imagination, despite documented limitations in creative ability, a critical question emerges: How does GenAI affect users' creativity? Through a within-subject study followed by retrospective interviews with (N=20) programmers, we investigated the impact of LLMs on participants' process of creative thinking in programming and the creativity of generated solutions. Across two conditions (LLM-assisted vs. unassisted), participants using LLMs had significantly shorter idea-generation periods (p=0.0004), leading to fewer creative moments (p=0.002). Qualitative analysis of participants' interactions and interviews revealed four different human-LLM collaboration modes supporting various problem-solving strategies. However, a comparative analysis of the generated solutions shows that while LLMs can help generate more correct and functional code, their solutions contain roughly the same number of ideas as participant-generated ones. Based on our findings, we discuss design implications and considerations for effectively using LLMs to support user creativity.