核心发现
方法论
采用系统性文献回顾与行为方差-均值分析框架，评估21项LLM社会模拟研究中的验证实践。分析模型输出的行为一致性与多样性，结合具体案例如Keynesian Beauty Contest，探讨模型表现与人类数据的偏差。强调验证深度应匹配研究目标，提出行为多样性不足时的边界限制。
关键结果
- 大部分研究仅关注平均行为匹配，行为方差评估不足，超过一半报告的行为多样性低于人类样本。以GPT-4为例，其行为表现出峰值对齐但长尾行为缺失，导致模拟的行为多样性不足。研究发现，行为多样性不足限制了模型在复杂社会动态中的应用潜力，尤其在探索新颖社会机制时存在偏差。
- 验证实践中，只有少于一半的研究明确报告行为方差，且多数低于人类群体，显示模型趋向“平均人格”状态，限制了模拟的真实性。
- 模型行为的均值对齐虽较好，但方差不足使得模拟难以捕捉社会系统中的长尾行为和偶发事件，影响结论的普适性与可靠性。
研究意义
本研究强调在社会科学中应用LLM模拟时，行为多样性是确保模拟有效性和科学价值的关键。通过明确边界，避免过度夸大模型在复杂社会动态中的能力，推动模型验证向更高层次发展，有助于建立更科学的模拟框架，促进AI与社会科学的深度融合。这对于未来利用LLM探索社会机制、生成假设具有重要指导意义。
技术贡献
提出行为方差-均值分析框架，系统评估LLM模拟的行为多样性，揭示“平均人格”现象的根源。结合系统性文献回顾，明确模型在行为多样性方面的固有限制，强调验证深度应匹配研究目标。提出边界设定建议，为未来社会模拟提供科学评估标准，推动模型在复杂社会系统中的合理应用。
新颖性
首次系统性分析LLM社会模拟中的行为多样性边界问题，结合行为方差-均值框架，揭示模型趋向“平均人格”的根源。区别于传统模拟强调精确复制，本研究强调模拟的社会科学价值在于揭示社会模式，提出边界限制以确保科学严谨。这一视角为推动AI在社会科学中的合理应用提供了新思路。
局限性
- 当前研究主要基于行为方差-均值分析，未深入探讨模型在特定社会机制中的适应性限制。
- 模型在长尾行为和偶发事件捕捉方面仍存在不足，限制了其在某些复杂场景中的应用。
- 验证实践中，缺乏统一标准，行为多样性评估仍依赖定性判断，未来需发展量化指标。
未来方向
未来应加强模型行为多样性的生成机制研究，探索多样性增强技术如多模态训练和个性化调优。推动建立统一的验证指标体系，提升模型在不同社会场景中的适应性。结合多源真实数据，优化模型的行为分布匹配能力，逐步突破“平均人格”限制，推动社会模拟的科学发展。
AI 总览摘要
社会模拟作为理解社会现象的重要工具，近年来逐渐引入大规模语言模型（LLMs）以模拟人类行为。尽管LLMs展现出处理自然语言和模拟推理的潜力，但其固有限制——尤其在行为多样性方面，成为限制其在复杂社会系统中应用的关键因素。许多研究仅关注模型输出的平均行为与真实数据的对齐，忽视了行为方差的不足，导致模拟结果缺乏必要的多样性，难以捕捉社会中的长尾行为和偶发事件。这种“平均人格”现象源于模型训练目标偏向高频表达，抑制边缘行为，限制了模拟的真实性和复杂性。本文系统分析了21项相关研究，发现验证实践普遍未充分评估行为方差，且多报告低于人类群体的多样性。我们提出，研究者应根据研究目标匹配验证深度，明确报告行为的方差，并在多样性不足时限制结论范围。通过行为方差-均值分析框架，强调模型在模拟复杂社会动态中的边界限制。最终，本文呼吁建立边界意识，推动LLM社会模拟向更科学、更可靠的方向发展，为社会科学提供更有价值的洞见。
深度分析
研究背景
社会模拟在理解社会结构、行为机制中扮演重要角色，早期以基于规则的模型为主，逐步发展到基于代理的模拟（如Schelling模型、Granovetter阈值模型）。近年来，AI技术引入大规模语言模型（如GPT系列），试图模拟更自然的人类行为，提升模拟的真实性与灵活性。尽管取得一定成果，但模型在行为多样性、个体差异和复杂交互方面仍存在局限，限制了其在社会科学中的深度应用。当前研究多关注模型的平均行为匹配，缺乏对行为分布的全面评估，导致模拟结果偏向“平均人格”，难以反映真实社会的多样性。
核心问题
核心问题在于，现有LLM在模拟社会行为时表现出行为单一、缺乏多样性的问题，导致模拟难以捕捉社会中的长尾行为和偶发事件。模型趋向“平均人格”，抑制边缘行为，限制了模拟在揭示复杂社会动力学中的作用。此外，验证实践多停留在平均值对齐，忽视了行为方差的评估，造成模拟结果的科学性不足。如何在保持模型灵活性的同时，增强行为多样性，成为当前的主要挑战。
核心创新
本研究提出行为方差-均值分析框架，系统评估模型输出的行为多样性，明确模型在模拟复杂社会动态中的边界。区别于传统只关注平均行为的研究，强调行为多样性的重要性，提出在验证中匹配目标、报告方差、限制结论范围的策略。结合文献回顾，揭示模型趋向“平均人格”的根源，推动模型在社会科学中的科学应用。创新点在于将行为多样性作为模型有效性的核心指标，提供了科学的评估标准。
方法详解
- �� 采用系统性文献回顾，筛选21项LLM社会模拟研究。• 利用行为方差-均值分析框架，评估模型输出的行为多样性。• 以Keynesian Beauty Contest为案例，分析模型在峰值对齐与长尾行为方面的表现。• 比较模型行为与真实人类数据，评估偏差与多样性。• 归纳验证实践中的常见问题，提出边界设定建议。
实验设计
分析包括GPT-4在内的多个模型在不同社会模拟任务中的表现，使用公开数据集（如人类行为调查、实验数据）作为基准。评估指标涵盖行为均值对齐、行为方差、长尾行为捕捉能力。通过对比模型输出与真实数据，验证模型在行为多样性方面的不足。还进行参数敏感性分析，探讨调优策略对行为多样性的影响。实验旨在揭示模型在模拟复杂社会动态中的边界限制。
结果分析
模型在行为均值方面表现良好，但行为方差明显低于人类样本，尤其在长尾行为和偶发事件中表现不足。例如，GPT-4在KBC任务中峰值对齐达87%，但非峰值行为频率低于人类，显示多样性不足。验证中，只有少数研究报告行为方差，且多低于真实群体，限制了模拟的真实性。结果表明，行为多样性不足限制了模型在复杂社会机制中的应用潜力，强调了边界设定的重要性。
应用场景
该研究为社会科学研究提供了评估LLM模拟行为多样性的标准，有助于在政策模拟、社会机制探索中合理应用模型。未来，结合多源真实数据和多模态训练技术，可提升模型的行为多样性，推动其在社会科学中的深度应用。长远来看，模型的行为多样性增强将促进更复杂社会系统的模拟，为政策制定、社会干预提供科学依据。
局限与展望
模型在捕捉长尾行为和偶发事件方面仍有限，受训练数据偏差影响较大。验证指标缺乏统一标准，行为多样性评估多依赖定性判断。模型在特定社会机制中的适应性不足，未来需结合多源数据和多模态技术进行优化。计算成本较高，限制了大规模、多场景应用。未来研究应关注模型的行为多样性生成机制，完善验证体系。
通俗解读 非专业人士也能看懂
想象你在一家厨房做饭，菜谱代表社会规则，厨师代表模型。传统厨师只会做一种菜，味道差不多，没有变化。而现在引入了智能厨师（类似LLM），它可以根据不同的食材和偏好，做出各种不同的菜肴。可是，这个智能厨师有个问题，总是做出类似的菜，缺乏变化，就像“平均厨师”一样。这样做出来的菜虽然看起来不错，但缺少特色和新意，不能满足不同人的口味。要让厨师做出丰富多彩的菜，就得让它学会多样化，不能只追求“平均水平”。这就像社会模拟，要模拟出各种不同的人和行为，不能只复制一种模式，否则就不能真正理解社会的复杂性。这个研究告诉我们，模型要有“多样性”，才能帮我们发现社会的奥秘，就像厨师要懂得变换菜式一样。
简单解释 像给14岁少年讲一样
想象你在学校里玩一个游戏，你和朋友们扮演不同的角色。有的朋友喜欢冒险，有的喜欢安静，有的喜欢帮忙。这些不同的角色让游戏变得有趣，也更像真实的学校生活。如果所有人都扮演一样的角色，游戏就会变得无聊，没什么变化。这个研究就像在说：如果用电脑模拟人们的行为，也要让这些“虚拟人”表现出不同的性格和行为，才能模拟出真实的社会。可是，现在的电脑模型（像GPT）总是表现得差不多，缺少个性和变化，就像所有虚拟人都变成了“平均人”。这让模拟出来的社会不够真实，也不能帮我们找到社会的秘密。研究建议：让这些虚拟人变得更丰富多彩，才能更好地理解我们真实的社会，就像在学校里有各种不同的学生一样。
原文摘要
This position paper argues that LLM-based social simulations require clear boundaries to make meaningful contributions to social science. While Large Language Models (LLMs) offer promising capabilities for simulating human behavior, their tendency to produce homogeneous outputs, acting as an "average persona", fundamentally limits their ability to capture the behavioral diversity essential for complex social dynamics. We examine why heterogeneity matters for social simulations and how current LLMs fall short, analyzing the relationship between mean alignment and variance in LLM-generated behaviors. Through a systematic review of representative studies, we find that validation practices often fail to match the heterogeneity requirements of research questions: while most papers include ground truth comparisons, fewer than half explicitly assess behavioral variance, and most that do report lower variance than human populations. We propose that researchers should: (1) match validation depth to the heterogeneity demands of their research questions, (2) explicitly report variance alongside mean alignment, and (3) constrain claims to collective-level qualitative patterns when variance is insufficient. Rather than dismissing LLM-based simulation, we advocate for a boundary-aware approach that ensures these methods contribute genuine insights to social science.