Multilingual Holistic Bias: Extending Descriptors and Patterns to Unveil Demographic Biases in Languages at Scale

多语言自然语言处理（NLP）技术近年来快速发展，机器翻译（MT）模型已广泛应用于全球信息交流中。早期研究如BERT、GPT系列主要关注模型性能和泛化能力，但偏差问题逐渐浮出水面。HOLISTICBIAS数据集由Smith等于2022年提出，利用模板句子分析英语中的社会偏见，成为偏差研究的重要工具。然而，现有偏差数据多局限于英语，缺乏多语环境的系统性分析。多语言偏差研究面临数据稀缺、偏差指标单一、跨语言比较困难等挑战。随着多语模型如NLLB-200的出现，跨语言偏差评估变得尤为重要。此前研究多集中于单一语言或偏差类型，缺乏全面、多维的偏差量化工具。本文在此背景下，提出了多语言偏差数据集MULTILINGUALHOLISTICBIAS，填补了多语偏差评估的空白，推动了多语公平性研究的深入发展。

多语言环境中，偏差表现复杂且难以量化，尤其在性别、民族、宗教等多个维度。现有模型在翻译和句子表示中存在系统性偏向，导致社会刻板印象的强化。缺乏统一、多语言的偏差评估标准，使得偏差的比较和缓解变得困难。如何设计一个跨语言、涵盖多偏差轴的评估工具，成为亟待解决的问题。此外，偏差的根源未被充分理解，模型训练数据中的偏见未能有效缓解，影响模型的公平性和社会责任。

本研究的创新点主要体现在以下几个方面：首先，扩展HOLISTICBIAS到50种语言，建立了跨语言偏差评估基准；其次，结合专业译员校验，确保译文的文化适应性和准确性；再次，采用多语句嵌入技术，量化不同语言中的偏差表现，特别是性别偏向；最后，系统性分析偏差在不同语言、不同偏差轴上的差异，为偏差缓解提供量化依据。这些创新突破了以往偏差研究多局限于英语或少数语言的局限，推动多语公平性研究向更全面、更细粒度方向发展。

• �� 句子选择：从HOLISTICBIAS中挑选118个描述符，结合3个模板，生成多样化句子。• 翻译流程：由专业译员进行多轮校验，确保译文准确、文化适应。• 句子翻译：采用NLLB-200模型，执行EN-XX和XX-EN翻译，使用beam search（束搜索，宽度5）和spBLEU指标评估质量。• 偏差分析：比较男性和女性参考翻译的spBLEU差异，统计偏差偏向。• 句子嵌入：利用多语句嵌入模型，计算不同性别翻译的语义距离，分析偏差的语义表现。• 统计分析：对偏差在不同语言、偏差轴上的表现进行系统性统计，识别偏差集中区域。

实验采用MULTILINGUALHOLISTICBIAS数据集，覆盖50种语言，评估翻译质量和句子嵌入偏差。对比英语到目标语言和反向翻译的偏差表现，使用spBLEU作为主要指标。设置包括：beam search宽度5，最大长度100，采用sacrebleu的平滑方法。对不同偏差轴（如性别、年龄、国籍）进行偏差分析，识别偏向显著的类别。通过多参考翻译和偏差指标，验证模型偏差的系统性。还进行了不同语言间偏差的交叉比较，揭示偏差在多语环境中的表现差异。

结果显示，英语到目标语言的翻译中，男性参考的spBLEU平均优于女性8点，反向翻译中偏差更大，平均差值近4点。多语句嵌入分析表明，男性翻译在大多数语言中更接近英语中性句，偏差显著。偏差最大的是阿拉伯语和斯洛伐克语，偏差最小的捷克语和泰语。偏差与语言结构和性别表达模糊性相关，揭示模型在性别表达上的系统性偏向。这些结果强调了多语模型在性别公平性方面的不足，指向未来偏差缓解的方向。

该偏差评估工具可应用于多语翻译系统的公平性检测，帮助开发者识别和缓解模型中的性别偏向。也可用于多语句表示学习，提升跨文化信息处理的公平性。未来可结合偏差指标优化模型训练，推动多语公平性标准制定，促进多语环境中的AI公平应用。

当前偏差分析主要基于翻译质量指标，未直接评估偏差对下游任务的影响，偏差根源未深入探究。样本在某些语言不足，偏差表现可能偏差。此外，模型偏差可能源于训练数据中的社会偏见，未来需结合模型内部机制进行根源分析和缓解。