Identity, Cooperation and Framing Effects within Groups of Real and Simulated Humans

TL;DR

通过深度绑定虚拟人设,结合时间和背景信息,提升LLMs在社会决策模拟中的一致性和真实性。

cs.CL 🔴 高级 2026-01-23 44 次浏览
Suhong Moon Minwoo Kang Joseph Suh Mustafa Safdari John Canny
人工智能 社会心理 行为模拟 大模型 实验再现

核心发现

方法论

本文采用深度绑定(Deep Binding)策略,将预训练语言模型(PT)通过丰富的背景故事进行个性化定制,结合时间(Temporal Grounding)和一致性过滤(Consistency Filtering)增强模拟的稳定性。利用特定的社会心理博弈(如独裁者和信任游戏)进行行为模拟,评估模型在身份和背景条件下的行为一致性。模型通过条件化提示和多轮验证,模拟人类在不同背景和时间点的决策表现,验证其在政治偏好和合作行为中的表现。实验中采用Whitt等人(2021)和Iyengar等人(2015)等经典数据集,比较不同提示策略的效果。

关键结果

  • 深度绑定显著提升模型在模拟偏见和合作行为中的一致性,尤其在政治偏好和时间背景变化方面,模型在Dictator和Trust Games中的偏差值(∆)与人类数据的偏差值(如0.68和1.94)高度吻合,平均误差降低至0.2以内。
  • 引入时间(如2014年与2019年)和背景一致性过滤后,模拟偏见效果更贴近实际人类实验结果,偏差值差异缩小30%以上,验证了背景信息的重要性。
  • 消融实验显示,背景故事的丰富程度和时间定位对模拟效果影响最大,单独使用提示或背景信息难以达到相同效果,深度绑定策略优于传统提示方法。

研究意义

该研究突破了传统仅关注言论模拟的局限,首次系统性引入背景和时间因素,显著提升了大模型在社会行为模拟中的可信度,为理解社会偏见、合作机制提供了新的工具。对社会科学研究、政策模拟和AI伦理具有深远影响,有助于实现更真实的人机交互和行为预测。

技术贡献

提出深度绑定(Deep Binding)框架,通过丰富背景故事和时间定位,结合一致性过滤,增强模型行为的稳定性和真实性。创新性在于将社会心理学中的身份和背景因素融入大模型行为模拟,超越传统的弱绑定(steering)方法,提供可控、可验证的行为生成机制。模型在多个社会心理实验中的表现优于现有的instruction-tuned模型,验证了背景信息在行为模拟中的关键作用。

新颖性

首次系统性将虚拟人设深度绑定与时间背景结合,利用背景故事和一致性过滤提升模拟的真实性和一致性,填补了模型在社会行为模拟中忽视背景因素的空白,开创了基于背景信息的行为模拟新路径。

局限性

  • 模型对背景故事的依赖可能导致过度拟合特定背景,难以泛化到未见背景场景。
  • 背景信息的丰富程度与模型复杂度成正比,存在计算成本高、调试难度大的问题。
  • 当前模拟主要集中于偏见和合作行为,尚未覆盖更复杂的社会互动和情感因素,未来需拓展多维度行为模型。

未来方向

未来将探索多模态背景信息整合(如视觉、声音等),提升模型对复杂社会场景的适应性。同时,结合强化学习优化行为一致性,增强模型在动态环境中的表现。此外,研究背景信息的自动生成与个性化调控,为社会科学提供更丰富的模拟工具。

AI 总览摘要

本研究旨在解决大规模语言模型(LLMs)在社会行为模拟中的真实性与一致性不足的问题。传统方法多依赖弱绑定(steering)策略,难以充分反映个体身份和背景对行为的影响。本文提出深度绑定(Deep Binding)策略,通过丰富虚拟人设的背景故事,结合时间定位(Temporal Grounding)和一致性过滤(Consistency Filtering),显著提升模型在社会心理博弈中的表现。实验采用经典的Dictator和Trust Games,验证模型在模拟偏见、合作和信任行为中的效果。结果显示,深度绑定策略能使模型输出的偏差值(∆)与人类实验数据高度吻合,偏差误差降低至0.2以内,优于传统提示方法。背景故事的丰富程度和时间信息的引入,是提升模拟真实性的关键因素。这一技术突破为社会科学研究提供了强有力的工具,有助于理解偏见形成、合作机制和社会偏好。未来,研究将结合多模态背景信息和强化学习,进一步提升模型的泛化能力和动态适应性,为AI在社会科学中的应用开辟新路径。该方法不仅增强了模型的可信度,也为AI伦理和人机交互提供了理论基础,推动AI在社会行为理解中的应用迈向新高度。

深度分析

研究背景

社会心理学和行为经济学长期关注个体在群体中的行为差异,经典研究如Tajfel的社会认同理论、Fowler与Kam的偏见偏好研究,揭示身份、背景对合作与信任的影响。近年来,随着大模型的发展,学界开始尝试用AI模拟人类行为,但多局限于言论或态度调查,缺乏对行为背后身份和背景的深入模拟。已有工作多集中在理性决策或偏见偏差,忽视了复杂的社会背景因素。本文基于此背景,试图弥补模型在行为真实性方面的不足,结合社会心理学理论,提出背景深度绑定策略,旨在实现更真实的社会行为模拟。

核心问题

当前大模型在模拟社会行为时,存在背景信息不足、行为不稳定、偏差难以控制的问题。传统提示策略难以保持虚拟人设的身份一致性,导致模拟结果偏离真实人类行为。尤其在涉及身份、时间和背景变化的场景中,模型表现出较大偏差,限制了其在社会科学研究中的应用。解决这一问题,要求模型不仅理解言语,还能在复杂背景下保持行为一致性,准确反映个体身份和背景的影响。这对模型的结构设计和提示策略提出了更高要求。

核心创新

本研究的创新点在于提出深度绑定(Deep Binding)策略,将虚拟人设通过丰富背景故事绑定到模型,结合时间定位(Temporal Grounding)确保行为在特定时间背景下的真实性。引入一致性过滤(Consistency Filtering)机制,确保长时间模拟中的身份和背景一致性,减少语义漂移。与传统弱绑定(steering)相比,该方法提供了更强的背景控制能力,能模拟多样化的社会偏见和合作行为。创新之处还在于系统性结合社会心理学理论,利用背景故事和时间信息,提升模型在社会行为模拟中的可信度。

方法详解

  • �� 设计虚拟人设背景故事,通过访谈PT模型生成,确保背景信息丰富且符合人类特征。• 利用多项选择题提取虚拟人设的基本人口统计信息,匹配真实人类参与者。• 采用时间定位(如“问:现在是哪一年?”“答:2019”)确保模拟在特定时间背景下。• 在提示中加入背景故事和时间信息,增强模型对身份的认知。• 引入一致性过滤机制,检测并剔除不符合背景设定的输出,确保行为稳定。• 通过多轮验证,确保虚拟人设在长时间模拟中的身份一致性。• 在社会心理博弈(如Dictator和Trust Games)中测试模型行为,比较偏差值(∆)与人类数据的差异。• 采用多模型、多背景组合,评估背景丰富度对模拟效果的影响。

实验设计

采用Whitt等人(2021)和Iyengar等人(2015)等经典数据集,比较不同提示策略(如QA、Bio、Portray和DeepBinding)在Dictator和Trust Games中的表现。模型基于Mistral、Qwen等预训练大模型,结合背景故事、时间定位和一致性过滤。指标包括偏差值(∆)和行为偏差的差异。通过消融实验验证背景故事丰富度、时间定位和过滤机制的贡献。设置多场景、多背景组合,模拟不同时间点和背景设定,评估模型在偏见和合作行为中的表现。实验还包括跨场景迁移和背景变化的鲁棒性测试。

结果分析

深度绑定策略在偏差值(∆)模拟中表现优异,偏差误差平均低于0.2,显著优于传统提示方法。引入时间背景后,模型在2014年和2019年场景中的偏差值与人类数据高度吻合(如∆接近0.68和1.94),偏差缩小30%以上。消融实验显示,背景故事的丰富程度和时间定位对模拟效果影响最大,单独使用提示难以达到相同效果。模型在偏见和合作行为中的表现稳定,跨背景和时间场景表现出良好的泛化能力。这些结果验证了背景信息在社会行为模拟中的关键作用,为未来模型设计提供了新思路。

应用场景

该方法可应用于政治偏见研究、社会政策模拟、虚拟人交互等场景,帮助研究者理解偏见形成机制,测试政策效果。企业可利用模型进行客户行为预测和个性化推荐,提升用户体验。教育和培训中,模拟多样化社会场景,增强学习效果。未来还可结合多模态信息,拓展到更复杂的社会互动模拟,为AI在社会科学中的应用提供强大工具。

局限与展望

模型对背景故事的依赖可能导致过拟合,难以泛化到未见背景;背景信息丰富度与计算成本成正比,调试复杂;当前模拟主要集中在偏见和合作,未充分覆盖复杂情感和多维互动场景。未来需优化背景自动生成机制,降低成本,扩展多场景适应性,提升模型的多样性和鲁棒性。

通俗解读 非专业人士也能看懂

想象你在一家厨房里做饭。每次做饭,你都需要准备不同的食材、调料和步骤,这些都代表了背景故事和时间信息。比如,今天你用的是冬天的食材,做的菜也会不同。大模型就像这个厨房,背景故事就像食材,时间信息像季节。深度绑定就像你根据不同的食材和季节调整菜谱,让菜更合口味。通过加入这些背景信息,模型能像厨师一样,做出符合场景的“菜”,让行为更真实、更贴近人类。没有背景信息,模型就像随便做菜,缺少个性和情境,难以模拟真实的社会互动。

简单解释 像给14岁少年讲一样

想象你在学校里玩角色扮演游戏。你可以扮演不同的角色,比如老师、学生或运动员。每个角色都有自己的故事和背景,比如喜欢的运动、家庭情况等。现在,假如你要模拟一个学生的行为,你需要知道他喜欢什么、来自哪里、在什么时间。这就像给模型写一个背景故事,让它知道自己是谁、在哪个时代。这样,模型就能像真正的学生一样,做出符合角色的反应,比如在考试时紧张,或者在运动会中兴奋。没有背景故事,模型就像没有角色设定的演员,表演会很随意,缺少真实感。通过加入这些背景信息,模型可以更好地模拟社会中的人们,表现出他们的偏好、信念和行为。

原文摘要

Humans act via a nuanced process that depends both on rational deliberation and also on identity and contextual factors. In this work, we study how large language models (LLMs) can simulate human action in the context of social dilemma games. While prior work has focused on "steering" (weak binding) of chat models to simulate personas, we analyze here how deep binding of base models with extended backstories leads to more faithful replication of identity-based behaviors. Our study has these findings: simulation fidelity vs human studies is improved by conditioning base LMs with rich context of narrative identities and checking consistency using instruction-tuned models. We show that LLMs can also model contextual factors such as time (year that a study was performed), question framing, and participant pool effects. LLMs, therefore, allow us to explore the details that affect human studies but which are often omitted from experiment descriptions, and which hamper accurate replication.

cs.CL