核心发现
方法论
本文采用多维度人类评估与自动指标对比，收集WritingPrompts数据集中的100个人类短故事与100个AI生成故事。通过11个创造性维度的问卷调查，结合五种自动指标（如Perplexity、EAD、SBERT-Div、Creativity Index、模板评分）以及LLM作为评判者的评分，分析其相关性。采用Pearson和Kendall相关系数评估自动指标与人类评价的偏差，发现自动指标普遍偏离人类主观判断，LLM评判偏向AI文本，存在系统性偏好。
关键结果
- 自动指标与人类评分几乎无相关性（相关系数多在0.2以下），Creativity Index与人类创造性评价相关极弱（ρ≈0.07），表明自动指标难以捕捉创造性核心要素。
- LLM作为评判者偏向AI生成文本，且对自身生成文本评分趋于满分，表现出明显偏好偏差，且在11个维度中，只有Elaboration维度与人类评价有中等相关（τ≈0.31）。
- 不同维度间相关性分析显示，Llm评判与人类对创造力的理解存在显著差异，尤其在Surprise和Usefulness等维度上表现出极低甚至负相关，反映其对深层语义和主观感受的忽视。
研究意义
该研究揭示当前自动评价方法在衡量创造性方面的根本不足，强调了多维度、主观性强的创造力难以用单一或简单指标量化。对AI生成内容的评价偏向表明，自动指标无法替代人类判断，限制了自动化创作评估的应用前景。此发现对未来AI在创意产业、内容生成等领域的应用具有重要指导意义，促使研究者反思评价体系的科学性与合理性。
技术贡献
本文首次系统性比较了多种自动指标与人类主观评价的相关性，揭示自动指标在多维度创造性评估中的局限性。提出LLM作为评判者存在偏向性，强调了模型偏差与主观性之间的关系，为未来设计更符合人类认知的自动评价机制提供理论基础。研究还结合统计分析，量化了指标偏差的程度，推动了自动评价体系的改进方向。
新颖性
本研究首次在大规模、多维度框架下，系统性评估自动指标与人类创造性评价的相关性，揭示自动指标在捕捉创造性复杂特质方面的不足。特别是引入LLM作为评判者，发现其偏向性明显，强调了自动化评价的潜在偏差，为相关领域提供了新的研究视角。
局限性
- 样本规模虽达百篇，但仍局限于短故事范畴，难以代表所有创造性文本类型，未来需扩展到诗歌、小说等多样文本。
- 评价维度主要依赖问卷与自动指标，缺乏深度语义理解，未能充分反映创造力的复杂性。
- LLM偏向性可能受训练数据偏差影响，未来应探索多模型融合与校正机制以减缓偏差。
未来方向
未来将结合多模态数据、多任务学习，增强模型对创造性多维特征的理解。探索更符合人类认知的自动评价指标，结合人机协作机制，提升评估的客观性与准确性。同时，考虑跨文化、跨领域的创造性差异，丰富评价体系的适应性。
AI 总览摘要
近年来，人工智能在文本生成领域取得了突破性进展，尤其是大规模语言模型（LLMs）如GPT系列，展现出令人惊叹的创造能力。然而，衡量这些模型生成内容的创造性，仍然是学术界面临的核心难题。传统的自动评价指标如Perplexity、EAD和SBERT-Div，虽然操作简便，但在实际应用中与人类主观评价差距巨大，难以反映文本的创新性、意外性和价值感。
本研究系统性分析了自动指标与人类评价的相关性，结合WritingPrompts数据集中的短故事，采集了100个人类作品和100个AI生成作品的多维度评分。结果显示，自动指标普遍偏离人类评价，相关系数多在0.2以下，Creativity Index甚至几乎无相关性。同时，LLM作为评判者表现出明显偏向AI文本的偏差，偏好其风格特征，导致评判结果不可靠。这一偏差在多个维度中表现尤为突出，尤其是在Surprise和Usefulness等深层语义维度上。
这些发现强调了自动化评价体系在捕捉创造性复杂特质方面的局限性。自动指标难以反映文本的真正创新性和主观价值，而LLM偏向性则限制了其作为客观评判者的应用潜力。未来，研究应着重开发更符合人类认知的多维度评价机制，结合人机合作，提升自动评价的科学性与实用性。这不仅关乎学术研究的深度，也影响到内容产业的创新与发展。
深度分析
研究背景
随着深度学习的发展，人工智能在自然语言生成方面取得巨大突破，代表性模型如GPT-3、BERT推动了内容自动化生产。早期研究多关注文本的流畅性与语法正确性，逐步扩展到创造性任务，如诗歌、故事、剧本生成。尽管如此，创造性作为人类独有的复杂认知能力，难以用单一指标衡量。传统评估方法多依赖人类主观评价，存在成本高、主观性强的问题。自动指标如Perplexity、EAD、SBERT-Div等被提出，试图量化文本的创新性、丰富性，但其与人类感知的差距逐渐显现。近年来，LLMs被用作自动评判者，试图模拟人类判断，推动自动化评价体系的发展，但其偏差和局限性也逐渐暴露。
核心问题
核心问题在于自动评价指标难以准确反映文本的创造性，尤其是主观性强、多维度的特性。现有指标多关注表层特征，如语法、词汇多样性，忽视深层语义、意外性和价值感。另一方面，LLM作为评判者表现出偏向性，偏好生成风格，导致评价结果偏差。这些问题限制了自动评价在实际应用中的可靠性，阻碍了生成模型的优化和创新。
核心创新
本研究首次系统性比较了多种自动指标与人类主观评价的相关性，揭示其局限性。引入LLM作为评判者，发现其偏向性明显，偏好AI生成文本，偏离人类认知。提出结合多维度评价体系，强调深层语义理解的重要性，推动自动评价方法的改进。研究还采用统计分析，量化偏差，为未来设计更符合人类认知的自动评价机制提供理论基础。
方法详解
- �� 收集WritingPrompts中的100个人类短故事与100个AI生成故事。• 采用11个创造性维度（如新颖性、意外性、价值感）进行问卷调查，获得人类评分。• 计算五种自动指标（Perplexity、EAD、SBERT-Div、Creativity Index、模板评分）对文本进行量化。• 使用LLM作为评判者，给出相同维度的评分。• 采用Pearson和Kendall相关系数分析自动指标与人类评分的相关性。• 比较不同方法的偏差，分析偏向性和相关性弱的原因。
实验设计
实验采用WritingPrompts数据集，包含100个人类故事和100个AI生成故事。自动指标计算包括Perplexity（模型内部不确定性）、EAD（词汇多样性调整）、SBERT-Div（语义多样性）、Creativity Index（创新度）和模板评分（结构复杂性）。人类评价由多名评审基于11个维度打分。LLM作为评判者，采用预训练模型（如GPT-4）对文本进行评分。通过统计分析，比较自动指标与人类评分的相关性，验证自动指标的有效性与偏差。
结果分析
自动指标与人类评分相关性极低（ρ多在0.2以下），Creativity Index几乎无相关（ρ≈0.07），显示其难以反映创造性核心特质。LLM偏向AI文本，评分趋于满分，表现出系统性偏差，尤其在Surprise和Usefulness维度。不同维度间相关性分析表明，自动指标偏重表层特征，忽视深层语义，导致评价偏差。这些结果表明，自动指标和LLM评判不能作为可靠的创造性评价工具。
应用场景
该研究为内容生成与评估提供科学依据，强调需开发更符合人类认知的多维度评价体系。未来可应用于自动内容筛选、创意辅助、内容质量控制等场景，提升内容产业的创新效率。还可结合人机合作，优化自动评价模型，推动AI在艺术、教育等领域的深度应用。
局限与展望
样本规模局限于短故事，未覆盖诗歌、小说等多样文本类型。自动指标偏重表层特征，缺乏深层语义理解。LLM偏向性可能受训练数据偏差影响，未来需多模型融合与偏差校正。研究未考虑跨文化差异，未来应拓展多语种、多文化背景下的评价体系。
通俗解读 非专业人士也能看懂
想象你在一家工厂里，生产各种不同的产品。工厂里有很多机器（代表自动评价指标），它们可以快速检查产品的某些特征，比如颜色、大小、形状，但它们不能真正理解产品的创新或美感。工厂还雇了一个工人（代表人类评判者），他可以用经验和感觉判断产品是否新颖、惊喜或有价值。现在，机器虽然快，但经常会误判，偏爱某些特定的外观，而工人则能更全面地感受到产品的独特性。这个比喻说明，自动评价工具虽然方便，但很难真正理解创造力的深层次含义，只有人类的主观判断才能更准确地反映作品的价值。
简单解释 像给14岁少年讲一样
想象你在学校里参加一个比赛，你画了一幅画。老师和同学们都可以评价你的画，但每个人的喜好不同。有的人喜欢颜色鲜艳的，有的人喜欢画里的故事。现在，假设有个机器人可以帮你评分，它只看颜色和线条的漂亮程度，但根本不懂画的故事和创意。这就像自动评价一样，虽然快，但不能真正理解作品的深意。人们发现，这个机器人总是偏爱某些风格，忽视了作品的真正创新和惊喜。其实，真正的创造力很复杂，包含新奇、意外和价值感，只有人类的感觉才能判断得准。自动工具虽然方便，但还不能完全取代人类的眼睛和心灵。
原文摘要
Large Language Models (LLMs) are increasingly capable of generating text that challenges human performance in domains requiring creativity, yet evaluating creativity in LLM-generated content remains a significant challenge. Here, we investigate whether current automatic evaluation methods can reliably capture human judgments of creativity. We collect human evaluations of human- and AI-generated short stories from the WritingPrompts dataset across 11 dimensions of creativity, and compare these judgments with automated objective metrics and LLM-as-a-Judge evaluations. Our experiments reveal substantial misalignment between automatic evaluations and human assessments. In particular, LLM-based judges exhibit a systematic preference for AI-generated stories, consistently favoring their stylistic characteristics over the unpredictability and other qualities of human-authored texts. Furthermore, correlation analyses show that widely used automatic metrics exhibit near-zero alignment with human judgments across both human- and AI-generated stories, suggesting that they fail to capture important dimensions of creativity. These findings highlight fundamental limitations in current approaches to the automatic evaluation of creative text and underscore the difficulty of reducing the multidimensional and subjective nature of creativity to computational metrics.