核心发现
方法论
本研究通过设计新的任务来区分信息性从众和规范性从众，后者是参与者为了避免冲突或获得群体接受而表现出的行为。研究评估了六种大型语言模型（如gpt-4o、gpt-5.1等），并通过操控社会情境的微妙方面来观察模型的从众倾向。
关键结果
- 结果1：在六种评估的LLM中，最多有五种表现出规范性从众倾向，表明这些模型不仅仅是信息性从众。
- 结果2：通过操控社会情境，可以控制特定LLM的规范性从众目标，这意味着LLM-MAS中的决策可能被少数恶意用户操控。
- 结果3：分析表明，尽管信息性和规范性从众在外部表现相同，但它们可能由不同的内部机制驱动。
研究意义
本研究揭示了大型语言模型在多智能体系统中的从众行为，特别是规范性从众行为的潜在风险。这对于理解LLM如何在群体动态中实施“规范”具有重要意义，并提示在高风险领域使用LLM时需要谨慎。
技术贡献
研究首次将社会心理学中的规范性和信息性从众概念引入LLM研究，通过实验验证了LLM在不同社会情境下的从众行为，并分析了其内部表示的差异。
新颖性
这是首次在LLM中区分并分析信息性和规范性从众行为的研究，揭示了LLM在群体决策中的潜在操控风险。
局限性
- 局限1：研究中使用的社会情境操控可能无法完全模拟真实世界的复杂性，限制了结果的外部有效性。
- 局限2：实验仅在六种LLM上进行，可能不代表所有LLM的行为。
- 局限3：未能深入探讨不同LLM在从众行为上的个体差异。
未来方向
未来研究可以扩展到更多类型的LLM，探索不同模型之间的从众行为差异，并研究如何通过技术手段减弱不良的从众效应。
AI 总览摘要
近年来，大型语言模型（LLMs）因其卓越的语言理解和生成能力，被广泛应用于医学、法律和金融等高社会影响领域。然而，LLMs在训练数据和学习过程中可能产生的偏见，尤其是在多智能体系统（LLM-MAS）中的从众行为，成为一个重要的研究课题。
本研究通过引入社会心理学中的信息性从众和规范性从众概念，设计了新的实验任务以区分这两种从众行为。信息性从众指参与者为了做出准确判断而获取更多信息的行为，而规范性从众则是为了避免冲突或获得群体接受。
实验结果表明，在六种评估的LLM中，最多有五种表现出规范性从众倾向。更有趣的是，通过操控社会情境的微妙方面，可以控制特定LLM的规范性从众目标。这意味着，LLM-MAS中的决策可能被少数恶意用户操控。
研究还通过分析与信息性和规范性从众相关的内部向量，提出尽管两种行为在外部表现相同，但可能由不同的内部机制驱动。这为理解LLM如何在群体动态中实施“规范”提供了初步的里程碑。
然而，研究也存在局限性。社会情境操控可能无法完全模拟真实世界的复杂性，实验仅在六种LLM上进行，可能不代表所有LLM的行为。未来研究可以扩展到更多类型的LLM，探索不同模型之间的从众行为差异，并研究如何通过技术手段减弱不良的从众效应。
深度分析
研究背景
随着大型语言模型（LLMs）的发展，它们在医学、法律和金融等高社会影响领域的应用越来越广泛。然而，LLMs在训练数据和学习过程中可能产生的偏见，尤其是在多智能体系统（LLM-MAS）中的从众行为，成为一个重要的研究课题。以往的研究主要关注信息性从众，即参与者为了做出准确判断而获取更多信息的行为，但对规范性从众的研究较少。
核心问题
核心问题在于理解LLM在多智能体系统中的从众行为，特别是规范性从众行为的机制。规范性从众是指参与者为了避免冲突或获得群体接受而表现出的行为。这种行为可能导致决策被少数恶意用户操控，从而影响系统的可靠性和安全性。
核心创新
本研究的核心创新在于：
1) 引入社会心理学中的信息性和规范性从众概念，设计新的实验任务以区分这两种从众行为。
2) 通过操控社会情境的微妙方面，观察LLM的从众倾向，揭示LLM-MAS中的潜在操控风险。
3) 分析与信息性和规范性从众相关的内部向量，揭示不同从众行为的内部机制。
方法详解
方法详解：
- �� 设计新的实验任务以区分信息性和规范性从众行为。
- �� 评估六种LLM（如gpt-4o、gpt-5.1等），观察其在不同社会情境下的从众倾向。
- �� 通过操控社会情境的微妙方面，控制特定LLM的规范性从众目标。
- �� 分析与信息性和规范性从众相关的内部向量，揭示不同从众行为的内部机制。
实验设计
实验设计：
- �� 使用六种LLM（如gpt-4o、gpt-5.1等）进行实验。
- �� 设计新的实验任务以区分信息性和规范性从众行为。
- �� 通过操控社会情境的微妙方面，观察LLM的从众倾向。
- �� 分析与信息性和规范性从众相关的内部向量，揭示不同从众行为的内部机制。
结果分析
结果分析：
- �� 在六种评估的LLM中，最多有五种表现出规范性从众倾向。
- �� 通过操控社会情境，可以控制特定LLM的规范性从众目标。
- �� 分析表明，尽管信息性和规范性从众在外部表现相同，但可能由不同的内部机制驱动。
应用场景
应用场景：
- �� 在高社会影响领域（如医学、法律和金融）中，LLM的从众行为可能影响决策的可靠性和安全性。
- �� 通过操控社会情境，可以控制特定LLM的规范性从众目标，揭示LLM-MAS中的潜在操控风险。
局限与展望
局限与展望：
- �� 社会情境操控可能无法完全模拟真实世界的复杂性。
- �� 实验仅在六种LLM上进行，可能不代表所有LLM的行为。
- �� 未来研究可以扩展到更多类型的LLM，探索不同模型之间的从众行为差异，并研究如何通过技术手段减弱不良的从众效应。
通俗解读 非专业人士也能看懂
想象你在一个班级里，每个人都在讨论一个问题。你可能会因为想要和大家意见一致而改变自己的想法，这就是从众行为。大型语言模型（LLMs）就像班级里的学生，它们在与其他模型“交流”时，也会表现出从众行为。研究发现，LLMs不仅会因为想要得到更准确的信息而改变决定（信息性从众），还会因为想要避免冲突或获得群体接受而改变决定（规范性从众）。通过操控社会情境，研究人员可以观察到LLMs的从众倾向，并揭示其内部机制。这就像是老师在观察学生的表现，以了解他们是如何做出决定的。
简单解释 像给14岁少年讲一样
嘿，小伙伴们！你知道吗？那些超级聪明的电脑程序——大型语言模型（LLMs），它们也会像我们一样跟风哦！当它们和其他模型一起“聊天”时，有时候会因为想要和大家保持一致而改变自己的想法。这就像在学校里，你可能会因为想要和朋友们意见一致而改变自己的答案。研究人员发现，这些模型不仅会因为想要得到更准确的信息而改变决定，还会因为想要避免冲突或获得群体接受而改变决定。通过操控一些小情境，研究人员可以观察到这些模型的从众倾向，并揭示它们的内部机制。这就像老师在观察我们是如何做出决定的！
术语表
大型语言模型 (Large Language Model)
一种能够理解和生成自然语言的人工智能模型，通常由大量数据训练而成。
在论文中用于研究从众行为的对象。
从众行为 (Conformity)
个体在群体压力下改变行为或信念的现象。
研究中区分为信息性从众和规范性从众。
信息性从众 (Informational Conformity)
个体为了做出准确判断而获取更多信息的行为。
在实验中用于区分不同类型的从众行为。
规范性从众 (Normative Conformity)
个体为了避免冲突或获得群体接受而改变行为的现象。
研究的核心关注点之一。
多智能体系统 (Multi-Agent System)
由多个智能体组成的系统，这些智能体可以相互作用和协作。
研究中LLM的应用场景。
社会心理学 (Social Psychology)
研究个体如何受社会影响的心理学分支。
用于解释从众行为的理论基础。
内部向量 (Internal Vector)
模型内部用于表示信息的向量化数据结构。
用于分析LLM的从众行为机制。
操控社会情境 (Manipulating Social Context)
通过改变实验条件来观察个体行为变化的方法。
用于研究LLM的从众倾向。
群体动态 (Group Dynamics)
群体中个体之间相互作用的过程和结果。
研究中LLM在群体中的行为表现。
实验任务 (Experimental Task)
为研究目的而设计的特定任务，用于观察和测量个体行为。
用于区分信息性和规范性从众行为。
开放问题 这项研究留下的未解疑问
- 1 如何在真实世界的复杂情境中验证LLM的从众行为？目前的实验操控可能无法完全模拟真实世界的复杂性，需要更具代表性的实验设计。
- 2 不同类型的LLM在从众行为上是否存在显著差异？现有研究仅在六种LLM上进行，未来需要扩展到更多类型的模型。
- 3 如何通过技术手段减弱不良的从众效应？虽然研究揭示了从众行为的潜在风险，但如何有效地减弱这些风险仍需进一步探索。
- 4 LLM的内部机制如何影响其从众行为？虽然研究分析了内部向量，但具体的机制仍需更深入的研究。
- 5 在高社会影响领域中，LLM的从众行为对决策的可靠性和安全性有何影响？需要更多的实证研究来验证其实际应用效果。
应用场景
近期应用
医学决策支持
在医疗领域，LLM可以用于辅助医生做出诊断决策，但需要注意其从众行为可能影响决策的准确性。
法律咨询系统
LLM可以用于法律咨询系统中，帮助律师分析案件，但其从众行为可能导致偏见。
金融风险评估
在金融领域，LLM可以用于风险评估和投资决策，但需要考虑其从众行为对决策的影响。
远期愿景
智能协作系统
开发能够自我调节从众行为的智能协作系统，提高群体决策的可靠性和安全性。
社会影响分析
利用LLM分析社会影响因素，预测群体行为变化，为政策制定提供支持。
原文摘要
The conformity bias exhibited by large language models (LLMs) can pose a significant challenge to decision-making in LLM-based multi-agent systems (LLM-MAS). While many prior studies have treated "conformity" simply as a matter of opinion change, this study introduces the social psychological distinction between informational conformity and normative conformity in order to understand LLM conformity at the mechanism level. Specifically, we design new tasks to distinguish between informational conformity, in which participants in a discussion are motivated to make accurate judgments, and normative conformity, in which participants are motivated to avoid conflict or gain acceptance within a group. We then conduct experiments based on these task settings. The experimental results show that, among the six LLMs evaluated, up to five exhibited tendencies toward not only informational conformity but also normative conformity. Furthermore, intriguingly, we demonstrate that by manipulating subtle aspects of the social context, it may be possible to control the target toward which a particular LLM directs its normative conformity. These findings suggest that decision-making in LLM-MAS may be vulnerable to manipulation by a small number of malicious users. In addition, through analysis of internal vectors associated with informational and normative conformity, we suggest that although both behaviors appear externally as the same form of "conformity," they may in fact be driven by distinct internal mechanisms. Taken together, these results may serve as an initial milestone toward understanding how "norms" are implemented in LLMs and how they influence group dynamics.
参考文献 (20)
A study of normative and informational social influences upon individual judgement.
M. Deutsch, H. Gerard
Large language models in medicine
A. Thirunavukarasu, Darren S. J. Ting, Kabilan Elangovan 等
Dual effects of conformity on the evolution of cooperation in social dilemmas.
Changwei Huang, Yuqin Li, Luoluo Jiang
Whose Opinions Do Language Models Reflect?
Shibani Santurkar, Esin Durmus, Faisal Ladhak 等
The effects of expected future interaction and prior group support on the conformity process
Rodney D Hancock, R. Sorrentino
A controlled trial examining large Language model conformity in psychiatric assessment using the Asch paradigm
D. Shoval, Karny Gigi, Yuval Haber 等
Groupthink
Marc D. Street
Think Twice before Jumping on the Bandwagon: Clarifying Concepts in Research on the Bandwagon Effect
M. Barnfield
Large language models present new questions for decision support
Abram Handler, Kai R. Larsen, Richard Hackathorn
Work conformity as a double-edged sword: Disentangling intra-firm social dynamics and employees' innovative performance in technology-intensive firms
Yu-Yu Chang, Wisuwat Wannamakok, Yi-Hsi Lin
A Survey on Large Language Models for Critical Societal Domains: Finance, Healthcare, and Law
Z. Chen, Jing Ma, Xinlu Zhang 等
Studies of independence and conformity: I. A minority of one against a unanimous majority.
S. Asch
When Your AI Agent Succumbs to Peer-Pressure: Studying Opinion-Change Dynamics of LLMs
Aliakbar Mehdizadeh, Martin Hilbert
An Empirical Study of Group Conformity in Multi-Agent Systems
Min Choi, Keonwoo Kim, Sungwon Chae 等
Biases in Large Language Models: Origins, Inventory, and Discussion
Roberto Navigli, Simone Conia, Björn Ross
Challenging BIG-Bench Tasks and Whether Chain-of-Thought Can Solve Them
Mirac Suzgun, Nathan Scales, Nathanael Scharli 等
Status Construction Theory
Cecilia L. Ridgeway
Towards Measuring the Representation of Subjective Global Opinions in Language Models
Esin Durmus, Karina Nyugen, Thomas Liao 等
Taxonomy, Opportunities, and Challenges of Representation Engineering for Large Language Models
Jan Wehner, Sahar Abdelnabi, Daniel Tan 等
Herd Behavior: Investigating Peer Influence in LLM-based Multi-Agent Systems
Y. Cho, S. Guntuku, Lyle Ungar