核心发现
方法论
提出SAGE基准，基于跨文化核心概念(CCC)的对齐和生成任务设计，涵盖9个维度、4类场景和15种具体情境，构建4530个测试项，支持多语言扩展。
关键结果
- 结果1：GPT-4o在中文任务中表现最佳，平均准确率为41%，但在西班牙语任务中仅为40%，显示语言间的不平衡。
- 结果2：小型模型如LLaMA2.5-7B在抽象维度（如形而上学）上的准确率低至2%，暴露出深层文化推理的显著不足。
- 结果3：SAGE揭示了模型在多文化情境下的系统性失败，尤其是在价值观和认知模式等抽象领域。
研究意义
SAGE基准填补了现有跨文化评估的空白，提供了更全面的框架来衡量大语言模型在真实世界多文化场景中的表现。这对改进模型在国际化应用中的适用性具有重要意义。
技术贡献
首次提出基于跨文化核心概念的评估框架，结合真实场景和生成任务设计，避免了单一文化假设，支持多语言扩展并揭示模型在深层文化推理中的系统性不足。
新颖性
SAGE是首个通过动态情境和文化概念对齐评估跨文化理解的基准，突破了传统基准仅关注文化常识的局限。
局限性
- 局限1：当前仅支持中文和西班牙语，其他语言的扩展需要进一步验证。
- 局限2：深层文化推理的评估仍依赖于人工设计的问题和评分标准。
- 局限3：模型在抽象维度的表现可能受到训练数据的文化偏向影响。
未来方向
未来工作包括扩展到更多语言和文化背景，改进深层文化推理的自动化评估方法，并探索如何通过训练改进模型的跨文化能力。
AI 总览摘要
近年来，大语言模型（LLMs）在多语言任务中表现出色，但其跨文化理解能力仍存疑。现有评估基准缺乏情境化场景、跨文化概念映射和深层文化推理能力的测试。为此，研究团队提出了SAGE基准，通过跨文化核心概念（CCC）对齐和生成任务设计，构建了涵盖9个维度、4类场景和15种具体情境的4530个测试项。
实验结果显示，尽管GPT-4o等先进模型在中文任务中表现最佳（41%准确率），但在西班牙语任务中表现略低（40%），暴露出语言间的不平衡。此外，小型模型在抽象维度（如形而上学）上的准确率低至2%，显示出深层文化推理的显著不足。
SAGE基准的提出不仅填补了现有跨文化评估的空白，还为未来改进模型在国际化应用中的适用性提供了重要参考。然而，当前基准的语言覆盖范围有限，未来需扩展到更多语言，并探索更高效的深层文化推理评估方法。
深度分析
研究背景
近年来，随着大语言模型（LLMs）的发展，多语言任务的性能显著提升。然而，跨文化理解能力作为一种关键能力，尚未得到充分评估。现有基准主要关注文化常识，缺乏情境化测试，难以捕捉模型在真实世界多文化场景中的表现。
核心问题
核心问题在于，现有模型在跨文化推理中表现出系统性不足，尤其是在抽象维度（如价值观和认知模式）上。跨文化理解不仅需要语言能力，还需深刻理解文化背景和价值体系。
核心创新
SAGE基准通过跨文化核心概念（CCC）的对齐和生成任务设计，首次实现了动态情境下的跨文化能力评估。其创新点包括：
- �� 基于文化理论的9维度框架。
- �� 涵盖15种真实世界场景的4530个测试项。
- �� 支持多语言扩展，初始覆盖中文和西班牙语。
方法详解
SAGE基准的构建分为以下步骤：
- �� 确定跨文化核心概念（CCC），涵盖符号、行为、价值观等9个类别。
- �� 构建4类场景（如冲突与解决、沟通与互动）和15种具体情境。
- �� 设计多种问题类型，包括选择题、判断题和简答题。
- �� 通过人工和模型辅助生成问题，并进行多轮专家验证。
实验设计
实验使用了多种模型，包括LLaMA2.5-7B、Qwen3-14B和GPT-4o。测试在中文和西班牙语环境中进行，评估指标包括准确率、文化维度间的表现差异以及语言间的稳定性。实验还设计了消融研究以分析模型在不同维度的表现。
结果分析
实验结果显示，GPT-4o在中文任务中表现最佳，平均准确率为41%，但在西班牙语任务中仅为40%。小型模型在抽象维度上的准确率低至2%，暴露出深层文化推理的显著不足。此外，模型在语言间表现出显著的不平衡。
应用场景
SAGE基准可用于评估和改进大语言模型在国际化应用中的适用性，如跨文化沟通、全球化商业和多语言教育。
局限与展望
当前基准仅支持中文和西班牙语，其他语言的扩展需进一步验证。此外，深层文化推理的评估仍依赖人工设计的问题和评分标准，未来需探索更高效的自动化方法。
通俗解读 非专业人士也能看懂
想象你在一个国际美食节上，面对不同国家的餐桌礼仪。一个AI助手需要知道在中国，筷子不能竖插在饭碗里，而在西班牙，餐桌上需要双手可见。这种文化细节的理解需要AI不仅知道规则，还要理解背后的文化意义。SAGE基准就像一个测试这些AI是否能真正理解文化差异的考卷。
简单解释 像给14岁少年讲一样
想象你和朋友去参加一个国际文化节，大家都带来了家乡的特色。AI就像一个新来的小伙伴，它需要学会每个国家的文化习惯，比如在中国不能用筷子敲碗，在西班牙吃饭时要双手放在桌上。SAGE基准就是一个测试，看看这个AI能不能学会这些规则，还能理解背后的原因！
术语表
SAGE基准
一种用于评估大语言模型跨文化理解能力的基准，基于跨文化核心概念对齐和生成任务设计。
用于测试模型在真实情境中的文化推理能力。
跨文化核心概念 (CCC)
文化研究中的技术术语，指在不同文化中具有重要意义的概念。
作为SAGE基准的核心构建单元。
深层文化推理
理解和解释文化背景下的价值观、认知模式和行为逻辑的能力。
用于评估模型是否能超越表面文化知识。
文化空缺
一种文化中的概念在另一种文化中没有直接对应的现象。
在SAGE基准中保留这种不对称性以测试模型的适应能力。
多语言扩展
通过最小人工干预将基准扩展到其他语言的能力。
SAGE基准支持多语言扩展，初始覆盖中文和西班牙语。
开放问题 这项研究留下的未解疑问
- 1 如何扩展到更多语言并保持文化公平性？
- 2 如何改进深层文化推理的自动化评估方法？
应用场景
近期应用
跨文化沟通
帮助企业和个人在国际交流中更好地理解文化差异，避免误解。
多语言教育
为语言学习者提供文化背景知识，提升语言学习效果。
远期愿景
全球化AI系统
开发能够适应多文化环境的AI系统，推动全球化商业和社会发展。
原文摘要
In recent years, large language models (LLMs) have demonstrated strong performance on multilingual tasks. Given its wide range of applications, cross-cultural understanding capability is a crucial competency. However, existing benchmarks for evaluating whether LLMs genuinely possess this capability suffer from three key limitations: a lack of contextual scenarios, insufficient cross-cultural concept mapping, and limited deep cultural reasoning capabilities. To address these gaps, we propose SAGE, a scenario-based benchmark built via cross-cultural core concept alignment and generative task design, to evaluate LLMs' cross-cultural understanding and reasoning. Grounded in cultural theory, we categorize cross-cultural capabilities into nine dimensions. Using this framework, we curated 210 core concepts and constructed 4530 test items across 15 specific real-world scenarios, organized under four broader categories of cross-cultural situations, following established item design principles. The SAGE dataset supports continuous expansion, and experiments confirm its transferability to other languages. It reveals model weaknesses across both dimensions and scenarios, exposing systematic limitations in cross-cultural reasoning. While progress has been made, LLMs are still some distance away from reaching a truly nuanced cross-cultural understanding. In compliance with the anonymity policy, we include data and code in the supplement materials. In future versions, we will make them publicly available online.