核心发现
方法论
本研究设计了基于对话场景的情感强度评分问卷，利用GPT-4生成多样化冲突场景，模型需对角色情感进行0-10评分。采用归一化、差异计算等算法，结合自动化评分流程，确保客观性与可重复性。通过60题测试，评估模型情感理解能力，结果与多领域基准如MMLU（r=0.97）高度相关。
关键结果
- OpenAI GPT-4模型在EQ-Bench中的平均得分为62.52，显著优于其他模型，说明其在情感理解方面表现优异。多款开源模型如SynthIA-70B紧随其后，得分逐步逼近商业模型。模型得分与MMLU、HellaSwag等多域基准的高相关性（r=0.91-0.97）验证了情商测试对广义智能的代表性。
- 模型在不同版本中的性能差异明显，最新GPT-4表现优于早期版本，验证模型规模和训练数据丰富度对情感理解的促进作用。问卷设计中的情景复杂度和评分机制有效区分模型能力，显示出良好的稳定性和敏感性。
- 通过引入模型自我批评与修正环节，平均提升了9.3%的得分，显示模型的推理与校正能力对情感理解的重要性。测试流程的自动化和标准化确保了跨模型公平比较，为未来模型优化提供了可靠指标。
研究意义
本研究填补了情感智能在大模型评估中的空白，提出的EQ-Bench具备高相关性、客观性和可扩展性，为模型的情感理解能力提供了量化依据。其与多域智能基准的强相关性表明，情感理解是广义智能的重要组成部分，有助于推动自然语言处理在社会交互、心理健康等应用中的发展。该方法简洁高效，适合大规模模型评测，为行业标准制定提供了新思路。
技术贡献
本文创新性地提出基于对话场景的情感强度评分问卷，结合GPT-4生成多样化情景，设计了归一化与差异度评分机制，确保客观评估。引入模型批判与修正环节，提升评分准确性。实现自动化评测流程，显著提高效率与一致性。与传统多选题或人类评判相比，提供了更细粒度、更具挑战性的情感理解指标，推动了情感智能评估技术的进步。
新颖性
本研究首次系统性提出基于对话场景的情感强度评分方法，避免了传统问卷中评分偏差和主观解释问题。通过模型自我批评机制，增强模型推理能力，提升评估的科学性和可靠性。该方法在多模型、多任务环境中表现出优越的适应性，为情感智能评估树立了新标杆。
局限性
- 当前问卷设计仍依赖人工选择情感场景，可能存在偏差。模型评分机制对复杂情境的敏感度有限，部分模型在极端情感表达中表现不佳。测试主要集中在英语环境，跨文化情感理解能力尚未充分验证。
未来方向
未来将扩展多模态场景，结合图像、声音等信息，提升情感理解的全面性。优化问卷设计，加入更多文化背景和复杂情境，增强模型的泛化能力。探索多任务学习与情感理解的结合，推动情感智能在实际应用中的落地。
AI 总览摘要
情感智能（EI）作为人类认知的重要组成部分，影响着决策和社会交往。尽管多模态大模型如GPT-4展现出一定的情感理解能力，但缺乏专门的量化评估工具。本文提出了EQ-Bench，一种基于对话场景的情感强度评分基准，旨在系统评估大模型的情感理解能力。
该方法通过GPT-4生成多样化的冲突场景，模型需对角色的情感进行0-10评分，结合归一化和差异计算实现客观评估。问卷设计考虑情境复杂度和情感多样性，确保区分模型能力。实验结果显示，GPT-4得分高达62.52，显著优于其他模型，且与多领域基准如MMLU（r=0.97）高度相关，验证了其代表性。
引入模型自我批评与修正环节，平均提升得分9.3%，显示推理与校正能力的重要性。自动化测试流程保证了跨模型的公平性和可重复性，为未来模型优化提供了可靠指标。EQ-Bench的设计不仅推动了情感智能的量化评估，也为自然语言处理在社会交互中的应用奠定基础。未来，将扩展多模态场景，增强跨文化和复杂情境的适应性，推动情感智能在实际场景中的落地。
深度分析
研究背景
近年来，情感智能成为自然语言处理的重要研究方向。早期工作如MELD、EmoContext等关注情感分类，但缺乏对复杂情境的量化评估。随着大模型的发展，研究逐渐转向多模态和深层理解能力，但缺少专门针对情感理解的标准化测试。传统心理测评工具难以直接应用于模型评估，限制了行业的客观性和可比性。
核心问题
现有评测方法多依赖人工标注或有限的多选题，难以全面衡量模型对复杂情感场景的理解能力。多域基准如MMLU虽覆盖广泛，但未专门针对情感理解。缺乏客观、细粒度的情感理解指标，导致模型在实际社会交互中的表现难以量化，亟需设计具有挑战性且可自动评分的评测工具。
核心创新
本研究提出基于对话场景的情感强度评分问卷，避免主观偏差。利用GPT-4生成多样化冲突场景，设计了非加和的评分机制，提升评估细粒度。引入模型自我批评与修正环节，增强推理能力。自动化流程确保评测的高效性和一致性，显著优于传统方法。
方法详解
- �� 生成多样化冲突场景：用GPT-4在不同背景下创造对话，确保情境丰富。• 设计评分问卷：模型需对角色情感（愤怒、困惑、惊讶、宽恕）进行0-10评分。• 归一化处理：确保四个情感评分总和为10，避免数学偏差。• 差异计算：模型评分与参考答案的绝对差值求和，反映理解偏差。• 自动评分：利用算法计算得分，确保客观性。• 评测流程：自动化批量测试，支持模型自我批评与修正，提升准确性。
实验设计
采用GPT-4生成60个对话场景，涵盖正负冲突。测试多款模型，包括OpenAI GPT系列、开源模型如Llama-2、Vicuna等。评估指标为平均得分，比较不同版本和修正环节的效果。通过与MMLU、HellaSwag等基准的相关性验证方法有效性。参数设置包括温度0.01，确保输出稳定。
结果分析
GPT-4得分最高，达62.52，显著优于其他模型。开源模型如SynthIA-70B紧随其后，得分逐步逼近商业模型。得分与多域基准如MMLU（r=0.97）高度相关，验证了情感理解的代表性。引入修正环节后，平均提升9.3%，显示推理能力的重要性。测试流程的自动化确保了结果的稳定性和可比性。
应用场景
该基准适用于模型开发者评估情感理解能力，推动情感智能在客服、心理健康、教育等场景的应用。模型优化可基于得分进行调整，提升交互自然度和用户体验。未来可结合多模态信息，拓展到视频、音频等多感官交互场景，推动智能系统的社会适应性。
局限与展望
当前问卷依赖人工选择场景，存在偏差。模型评分机制在极端情感表达中表现不佳。测试主要集中在英语环境，跨文化理解能力不足。模型推理受限于文本连续性，复杂情境下表现仍需提升。未来需扩展多模态、多文化场景，增强泛化能力。
通俗解读 非专业人士也能看懂
想象你在一家厨房做菜，每个菜都需要不同的调料和技巧。情感智能就像是厨师对每道菜的味道有敏锐的感觉，知道什么时候放盐、放糖。EQ-Bench就像是一个厨房测试，评估厨师（模型）是否能准确判断每个调料的用量。它通过模拟对话场景，考察厨师对情感的理解，就像你在品尝菜肴时能感受到甜咸苦辣。这个测试用一套评分标准，客观地衡量厨师的调味水平，帮助厨师不断改进，做出更美味的菜肴。它不仅能告诉你厨师的水平，还能帮助厨师学会更好地理解食材的味道和搭配，最终让厨房里的每一道菜都能打动人心。
简单解释 像给14岁少年讲一样
想象你和朋友在学校聊天，有时候你能感觉到他们的心情，比如开心、难过或生气。情感智能就像是你能理解他们的感受，知道他们为什么会那样想。EQ-Bench就像是一个游戏，里面有很多对话场景，你需要猜出朋友在那一刻心里在想什么，给每种感觉打分，从0到10。比如，朋友生气了，你要判断他有多生气，是不是很愤怒，还是只是有点不高兴。这个游戏帮助你学习如何更好地理解别人，知道他们的心情变化。通过不断练习，你会变得更善于察言观色，成为一个懂得关心别人的人。
术语表
情感理解（Emotional Understanding）
指模型识别和解释复杂情感的能力，涉及理解情绪的细微差别。技术上是指模型对对话中情感强度的准确评分。
本文中用来衡量模型在对话场景中理解情感的能力。
归一化（Normalization）
将情感评分调整为总和为10的标准化处理，确保评分的可比性。技术上是对四个情感评分进行比例调整。
确保模型评分在不同场景中具有一致性。
差异度评分（Difference Score）
模型评分与参考答案之间的绝对差值之和，用于衡量模型理解的偏差。
作为模型评估的核心指标。
自我批评（Self-Critique）
模型对自己初始答案的评价与修正环节，提升推理和理解能力。
在测试中用以提高评分的准确性。
多模态（Multimodal）
结合多种信息渠道（如图像、声音、文本）进行理解的能力。
未来扩展情感理解的方向之一。
开放问题 这项研究留下的未解疑问
- 1 如何在多文化、多语言环境中保持情感理解的一致性仍未解决，跨文化情感差异影响模型表现。未来需研究多模态、多文化数据的融合策略，以提升模型的普适性和鲁棒性。
应用场景
近期应用
情感智能评估工具
帮助开发者快速量化模型的情感理解能力，优化对话系统、客服机器人等应用中的人机交互体验。
模型调优指标
基于EQ-Bench得分指导模型训练，提升模型在社会交互中的表现，增强用户满意度。
远期愿景
社会情感智能系统
推动智能助手、心理咨询等领域实现更自然、更具人情味的交互，改善人机关系。
原文摘要
We introduce EQ-Bench, a novel benchmark designed to evaluate aspects of emotional intelligence in Large Language Models (LLMs). We assess the ability of LLMs to understand complex emotions and social interactions by asking them to predict the intensity of emotional states of characters in a dialogue. The benchmark is able to discriminate effectively between a wide range of models. We find that EQ-Bench correlates strongly with comprehensive multi-domain benchmarks like MMLU (Hendrycks et al., 2020) (r=0.97), indicating that we may be capturing similar aspects of broad intelligence. Our benchmark produces highly repeatable results using a set of 60 English-language questions. We also provide open-source code for an automated benchmarking pipeline at https://github.com/EQ-bench/EQ-Bench and a leaderboard at https://eqbench.com