Gender Bias in Coreference Resolution

自然语言处理中的核心指代任务在多年来不断发展，从早期基于规则的方法到统计模型，再到深度学习。现有研究多关注模型性能提升，忽视了偏差问题。近年来，社会偏见在词嵌入和数据集中的体现引发关注，诸如性别、种族等偏差逐渐被揭示。已有工作如Bolukbasi等（2016）提出词嵌入偏差的校正方法，但在指代解析中的偏差研究仍不足。随着模型应用范围扩大，偏差引发的公平性问题日益突出，亟需系统检测和缓解工具。

核心指代系统在实际应用中表现出性别偏差，导致对某些职业的性别刻板印象被强化。现有偏差检测多依赖词嵌入分析，缺乏针对指代任务的系统评估。偏差的根源在于训练数据中的社会偏见和模型对偏见的学习放大，影响模型的公平性和可信度。如何设计可控、可验证的偏差检测方法成为亟待解决的问题。

本文创新在于提出Winogender方案，结合人类验证的句子模板，系统检测指代模型中的性别偏差。区别于传统词嵌入偏差分析，方案专注于指代任务中的偏差表现。通过职业性别比例数据，量化模型偏向性，并验证偏差与现实社会统计的相关性。此方法具有可控性、可扩展性，能有效揭示偏差机制，为模型公平性提供评估工具。

• �� 构建120个句子模板，变化唯一在代词性别，确保人类验证无歧义。
• �� 评估三类模型：规则（如Stanford多遍筛选系统）、统计（如Durrett-Klein模型）和神经（如Clark-Manning模型），在不同偏差表现上的差异。
• �� 使用职业性别比例数据（如BLS）分析模型偏向性，计算相关系数。
• �� 设计“gotcha”句子，验证模型在偏差极端情况下的表现。
• �� 采用人类验证确保句子设计的准确性和代表性。

实验使用120个句子模板，涵盖60个职业，变化包括性别（女、男、中性）和参与者类型。评估模型在不同偏差条件下的指代准确率，特别关注“gotcha”句子中的表现。通过统计分析，比较模型偏差与职业性别比例的相关性。采用交叉验证确保结果的稳健性，并进行偏差缓解策略的对比。

所有模型都表现出性别偏差，规则模型68%的句子不同解，神经模型仅13%。偏差与职业性别比例高度相关（r=0.87），偏向男性或女性的指代倾向明显。偏差在“gotcha”句子中更严重，模型准确率下降明显。偏差表现与文本统计一致，反映模型对社会偏见的学习与放大。结果显示，偏差不仅存在于词嵌入，还在指代推理中显现。

该方法可用于检测和缓解自然语言处理系统中的性别偏差，适用于招聘、法律、医疗等敏感场景。模型开发者可利用此工具评估偏差，优化模型公平性。未来还可结合偏差缓解技术，推动公平AI的发展。

测试集主要针对职业偏差，未覆盖其他偏差类型。句子模板虽经过验证，但仍存在语境歧义可能性。偏差分析受限于训练数据偏见，未考虑模型调优的影响。未来需扩展偏差类型和多语种评估，提升方法的普适性。