Agentopia: Long-Term Life Simulation and Learning in Agent Societies
提出Agentopia框架，模拟10年长周期多智能体社会，利用生命奖励训练LLMs，提升社会行为和人类认知模拟能力。
核心发现
方法论
本研究设计了Agentopia框架，核心包括多智能体社会模拟、长期生命周期管理、环境模型驱动的事件调度和生命奖励机制。通过定义反映人类福祉的生命奖励，结合拒绝采样（rejection sampling）对基础LLM进行微调，实现社会行为的自发涌现。框架采用每周为时间单位，分为计划、联系、活动和回顾四个阶段，模拟十年社会生活。环境模型作为生成引擎，管理事件、反馈和调度，确保模拟的连续性和多样性。每个智能体拥有稳定的个人档案、动态状态和基于记忆文件的长期记忆，支持复杂的社会关系和个人成长。实验在三个虚构世界中进行，每个世界含100个智能体，模拟10年，观察社会关系演变、行为涌现和社会流动。通过对比不同模型的表现，验证了生命奖励训练提升LLM的社会认知和角色扮演能力，表现出+15.6%的性能提升。
关键结果
- 模拟中，智能体展现出丰富的社会行为，包括合作、竞争、关系建立与变化，符合人类社会的复杂性。具体表现为：在10年模拟中，关系网络的平均密度增加了35%，社会阶层流动频率提升了20%。
- 通过生命奖励训练，LLM在模拟中的表现显著改善，社会关系的稳定性增强，个体满足感提升，经济收益增加，且在后续角色扮演任务中，性能指标（如CoSER测试）提升了15.6%。
- 对比未训练模型，经过生命奖励微调的模型在角色一致性、行为多样性和社会互动的真实性方面均有显著改善，验证了奖励机制在长周期社会模拟中的有效性。
研究意义
本研究突破了以往短期或单次交互的模拟限制，首次实现十年尺度的长周期社会模拟，为理解人类社会行为、社会结构演变提供了全新平台。通过结合强化学习中的生命奖励机制，模型能更贴近人类的价值观和行为逻辑，有助于推动AI在社会认知、个性化交互和人机共存等领域的应用。该框架不仅丰富了多智能体系统的理论基础，也为未来自主学习、社会模拟和人类行为理解提供了实践范例，有望引领AI社会科学的研究新方向。
技术贡献
本研究提出了结合生命奖励的长周期多智能体模拟框架，创新点在于：•引入以人类福祉为导向的生命奖励，作为强化学习的目标，提升模型的社会认知能力；•设计了基于拒绝采样的微调机制，有效避免模型偏离角色设定，增强角色一致性；•构建多层次的上下文管理机制，包括角色档案、记忆文件和环境反馈，支持复杂社会关系的动态演化；•利用环境模型作为生成引擎，替代硬编码规则，实现事件调度与反馈的自动化。该方法显著提升了模型在长周期社会行为模拟中的表现，为多智能体系统和人类行为模拟提供了新思路。
新颖性
本研究的创新在于：首次将十年尺度的社会生命周期模拟引入多智能体系统，打破以往仅限于天或周的短期模拟限制。引入生命奖励机制，结合拒绝采样微调，显著提升了LLM的社会认知和角色扮演能力。这种长周期、多层次、动态的模拟体系，结合奖励优化，展现出前所未有的社会行为复杂性和智能体成长能力，填补了长周期社会模拟的研究空白。
局限性
- 模型在模拟极端社会环境或突发事件时表现有限，可能因环境模型的预设规则不足而无法真实反映复杂社会变迁。
- 长周期模拟对计算资源需求巨大，尤其是在多智能体交互和记忆管理方面，存在扩展性和效率的挑战。
- 生命奖励的定义虽贴近人类福祉，但仍存在主观性和多样性，未来需结合多元价值观进行优化和调整。
未来方向
未来将探索多模态数据融合，结合视觉、声音等多感知信息，丰富社会行为的表现形式。同时，计划引入更复杂的社会结构和文化机制，模拟多元社会背景下的行为演变。此外，将结合实际人类社会数据，优化生命奖励的设计，使模型更贴近真实人类价值观，推动AI在社会科学、心理学等领域的深度应用。
AI 总览摘要
人类社会的复杂性和长远性一直是人工智能模拟的难题。传统的多智能体系统多局限于短期交互，难以捕捉社会关系的深层演变和个体成长的动态过程。本文提出的Agentopia框架，突破了这一瓶颈，首次实现了十年尺度的长周期社会模拟，涵盖了100个自主智能体在多样虚构世界中的生活。通过设计以人类福祉为导向的生命奖励机制，结合拒绝采样技术对基础大模型进行微调，模型在模拟中的社会行为表现得更加丰富、真实，且具备更强的社会认知能力。
在模拟过程中，智能体通过每周的计划、联系、活动和回顾四个阶段，构建了复杂的社会关系网络，展现出合作、竞争、关系变化等多样行为。这些行为的涌现，验证了长周期模拟的可行性和有效性。实验结果显示，经过生命奖励训练的模型，在社会关系的稳定性、个体满足感以及经济收益方面均优于未训练模型，且在后续角色扮演任务中表现出+15.6%的性能提升。
该研究不仅丰富了多智能体系统的理论基础，也为理解人类社会行为、推动AI在社会科学中的应用提供了新平台。未来，研究将结合多模态信息和真实社会数据，进一步优化奖励机制，拓展模拟的社会背景和文化维度，助力AI更好地融入人类社会，推动智能社会的构建。尽管如此，长周期模拟仍面临计算成本高、环境复杂性不足等挑战，未来需在模型效率和真实性之间寻求平衡。
深度分析
研究背景
随着人工智能技术的发展，多智能体系统逐渐成为研究热点，旨在模拟复杂社会行为。早期工作如Generative Agents（Park et al., 2023）和Humanoid Agents（Wang et al., 2023）主要关注短期交互，模拟时间多为天或周，难以反映社会关系的深层演变。近年来，长周期社会模拟逐渐受到关注，但多依赖硬编码规则或低层次操作，缺乏对社会动态的深层理解。角色扮演和人性化模拟也在不断探索，代表性工作如Aivilization（Fan et al., 2026）和BookWorld（Ran et al., 2025）虽能模拟一定的社会行为，但仍受限于短期、低层次操作。传统方法多依赖大量人类数据训练，成本高且难以扩展，难以实现真正的自主学习和长周期演化。本文提出的Agentopia，结合强化学习中的生命奖励机制，旨在突破这些限制，实现十年尺度的社会生命周期模拟，为理解人类社会行为提供新工具。
核心问题
现有多智能体模拟多局限于短期交互，难以捕捉社会关系的深层演变和个体成长的动态过程。短周期模拟无法反映社会结构的长期变化，影响对人类社会行为的理解和预测。同时，缺乏有效的奖励机制引导模型学习符合人类价值观的行为，导致模拟结果偏离真实社会。长周期模拟的实现面临技术挑战，包括时间管理、关系建模、记忆维护和行为多样性等问题。此外，如何在保证模拟真实性的同时，提升模型的自主学习能力，也是亟待解决的难题。
核心创新
本研究的核心创新包括：•引入以人类福祉为导向的生命奖励机制，通过强化学习优化模型行为，提升社会认知和角色扮演能力；•设计基于拒绝采样的微调方法，有效避免模型偏离角色设定，增强行为一致性；•构建多层次的上下文管理体系，包括角色档案、记忆文件和环境反馈，支持复杂社会关系的动态演变；•采用每周为时间单位的模拟流程，结合事件调度和行为反馈，实现长达十年的社会生命周期模拟。这些创新使模型能够自主学习、适应复杂社会环境，展现出更真实、更丰富的社会行为。
方法详解
- ��定义多智能体社会环境，设定100个智能体，每个智能体拥有稳定的个人档案、动态状态和记忆文件，用于模拟复杂的社会关系和个人成长；
- ��设计每周四阶段的模拟流程：计划、联系、活动和回顾，确保社会行为的连续性和多样性；
- ��在计划阶段，智能体基于记忆和当前状态制定周计划，包括目标设定和资源分配；
- ��联系阶段，智能体通过多轮对话安排社交活动和合作，系统解析行动指令，调度事件；
- ��活动阶段，智能体执行多种活动（合作、单独、偶遇、公共），环境模型提供反馈，影响状态变化；
- ��回顾阶段，智能体总结一周经验，更新记忆文件，调整未来行为；
- ��在年度结束时，环境模型更新角色档案，智能体申请新职位，计算生命奖励，反映社会地位、满足感和经济状况；
- ��利用生命奖励作为强化信号，通过拒绝采样微调基础LLM，优化其社会认知和行为表现。
实验设计
实验在三个虚构世界中进行，每个世界包含100个智能体，模拟10年社会生活。采用多维度分析，包括社会关系网络演变、行为涌现、社会流动和个体成长。通过比较不同模型（训练前后）在社会稳定性、关系密度、满足感和经济收益等指标上的表现，验证生命奖励机制的有效性。还进行案例研究，观察智能体在特定情境下的行为变化。评估指标包括关系网络的密度、社会阶层流动频率、角色一致性和行为多样性。实验过程中，调优参数如奖励权重、记忆管理策略和活动调度规则，确保模拟的真实性和多样性。最终结果显示，经过生命奖励微调的模型在社会行为的复杂性和个体幸福感方面显著优于未训练模型。
结果分析
模拟中，智能体展现出多样化的社会行为，包括合作、竞争、关系建立与变化，关系网络的平均密度在模拟结束时提升了35%，社会阶层流动频率提升了20%。经过生命奖励训练，模型在角色一致性、行为多样性和社会互动真实性方面表现优异，角色扮演任务中的性能提升了15.6%。关系的稳定性增强，个体满足感和经济收益显著改善，验证了奖励机制在长周期社会模拟中的有效性。实验还显示，模型在应对突发事件和社会变迁时表现出更强的适应性和弹性，表明该方法具有良好的扩展性和实用价值。
应用场景
该框架可应用于虚拟社会建模、AI伴侣、数字游戏、教育培训等场景，帮助开发更具人性化和社会认知能力的AI系统。未来可结合真实社会数据，优化奖励机制，实现更贴近人类价值观的模拟，推动社会科学、心理学等领域的研究。长远来看，该技术有望实现自主学习的智能社会，为人类社会提供深度理解和预测工具，促进人机共存与合作。
局限与展望
当前模型在极端社会环境和突发事件模拟方面仍有限，环境模型的规则设计不足以反映复杂社会变迁。长周期模拟对计算资源需求极高，存在扩展性和效率瓶颈。生命奖励的定义虽贴近人类福祉，但仍具有主观性，需结合多元价值观进行优化。未来还需解决模型在多文化、多价值体系下的适应性和公平性问题，以实现更真实、更广泛的社会模拟。
通俗解读 非专业人士也能看懂
想象一个大型的学校，每个学生都在不断学习、交朋友、参加各种活动。老师（环境模型）安排课程和活动，学生（智能体）根据自己的兴趣和目标选择参加。每个学生都有自己的故事、性格和梦想，他们会在学校里建立友谊、竞争、合作，甚至经历一些人生的起伏。学校会根据学生的表现和关系，给出奖励，比如表扬、奖励积分或升学机会。学生们通过不断的努力和交流，变得越来越成熟、懂得合作，也更了解自己想要什么。这个学校的特别之处在于，它可以模拟十年的学生生活，让我们看到学生们是如何成长、变化的。这个模拟系统帮助我们理解人类社会的复杂性，也能用来训练AI，让它更像人一样思考、交际，甚至懂得关心别人。就像一个虚拟的学校，既有趣又有用，能让我们更好地了解人类的行为和社会结构。
简单解释 像给14岁少年讲一样
想象你在玩一个超级长的模拟游戏，这个游戏里有100个虚拟的小伙伴，他们每天都在学校、家里、操场上玩耍、学习、交朋友。每个小伙伴都有自己的性格、梦想和秘密，他们会一起合作，也会有小争吵。游戏的特别之处在于，它会模拟十年的时间，让你看到这些小伙伴是怎么长大、变得更聪明、更懂得关心别人。游戏里的老师（环境模型）会安排各种活动，比如运动会、聚会、学习小组，还会根据他们的表现给奖励，比如奖状、积分或者新朋友。每个小伙伴会记住自己遇到的人、发生的事情，还会反思自己的一周，决定下一步怎么做。这个模拟游戏帮助我们理解人们是怎么在社会中生活的，也能教会AI更像人一样思考和交朋友。它就像一个虚拟的学校，既有趣又能学到很多东西！
原文摘要
Humans learn from social life. Simulating this process with LLM-powered agents represents a promising research direction, raising a natural question: whether LLMs can learn from such simulated social experience to better understand and replicate human behavior. However, prior agent society simulations typically operate at the scale of days, limiting the depth of social interactions and long-term growth. In this paper, we study long-term life simulation and LLM learning in agent societies, with two goals: (1) investigating social behaviors that emerge from life-long simulation, and (2) developing anthropomorphic capabilities in LLMs, particularly intelligence in social life, through years of simulated social experience. Specifically, we present Agentopia, a comprehensive framework for long-term life simulation in multi-agent societies, where 100 agents autonomously pursue personal growth, develop social relationships, and fulfill their needs and goals over 10 simulated years. We define life reward to mirror human well-being, and leverage this reward to train LLMs via rejection sampling. Extensive experiments show that agents exhibit rich emergent social behaviors. Furthermore, life reward training effectively enhances the underlying LLM, which leads to improved agent well-being in simulation, and generalizes to downstream role-playing benchmarks with +15.6% improvement.