Algorithmic Monocultures in Hiring

TL;DR

基于pymetrics数据,揭示算法单一供应商导致招聘中种族不公与系统性拒绝现象。

cs.CY 🔴 高级 2026-05-27 451 次浏览
Rishi Bommasani Sarah H. Bana Kathleen A. Creel Dan Jurafsky Percy Liang
算法招聘 公平性 种族歧视 算法单一文化 系统性拒绝

核心发现

方法论

本文基于pymetrics平台提供的包含337万申请人、419万申请记录的真实招聘数据,分析了由同一算法供应商提供的机器学习模型对申请人的筛选结果。研究采用美国EEOC的‘四分之五规则’评估种族不平等,结合职位级别的细粒度分析,揭示算法推荐的种族差异。利用算法的确定性复现性,模拟申请人若申请所有职位可能获得的结果,探讨系统性拒绝的机制和范围。

关键结果

  • 研究发现,14.74%的亚洲申请和25.87%的黑人申请被投递至对其种族存在不利影响的职位,表明显著的种族不平等。
  • 4%的申请人在申请10个职位时被所有职位的算法一致拒绝,远高于随机独立决策预期,体现算法单一文化导致的结果同质化。
  • 模拟显示,若申请人广泛申请职位,理论上每人至少会获得一个职位的推荐,但现实中部分申请人仍遭遇系统性拒绝,需申请约25个职位才能将系统性拒绝率降至0.1%以下。

研究意义

本研究首次利用跨多雇主、同一算法供应商的海量真实招聘数据,揭示算法单一文化对求职者,尤其是少数族裔的深远影响。它不仅挑战了传统基于单一雇主或简化数据的公平性评估方法,还强调了算法供应商集中带来的系统性风险。研究结果对招聘算法的监管、透明度提升及公平性保障具有重要指导意义,推动学术界和产业界重新审视算法在劳动力市场中的角色。

技术贡献

本文创新性地利用算法的确定性复现特性,构建了申请人跨职位的反事实结果模拟框架,突破了传统社会科学难以实现的跨雇主追踪限制。通过细粒度的职位级别不利影响分析,首次量化了算法单一文化导致的系统性拒绝现象,提出了基于申请广度的缓解策略,为算法公平性评估提供了新的理论和实证工具。

新颖性

本研究是首个基于真实跨多雇主、同一算法供应商数据的招聘算法公平性大规模实证分析,首次揭示算法单一文化导致的系统性拒绝和种族不平等。相较于以往依赖简历文本或单一雇主数据的研究,本文利用游戏化评估数据和算法复现性,开辟了招聘算法公平性研究的新视角。

局限性

  • 数据中62.35%的申请人未报告种族信息,可能导致种族不平等估计偏低,且未包含申请人姓名等潜在代理变量,限制了对代理歧视的深入分析。
  • 研究仅覆盖pymetrics平台及其客户,结果可能不完全代表其他算法供应商或招聘场景的情况,存在一定的外推限制。
  • 算法推荐的二元化处理忽略了推荐强度的细微差异,实际应用中不同客户可能采用多级推荐策略,影响结果的普适性。

未来方向

未来研究可扩展至更多算法供应商和招聘平台,结合更丰富的申请人特征和动态行为数据,深入探讨算法单一文化的形成机制与缓解策略。同时,推动政策制定者加强算法透明度和独立审计,促进公平性保障技术与法律框架的协同发展。

AI 总览摘要

随着人工智能技术在招聘领域的广泛应用,越来越多的美国雇主依赖算法筛选求职者,尤其是由少数算法供应商提供的模型。本文通过分析pymetrics平台提供的超过337万申请人、419万申请记录的跨行业招聘数据,首次揭示了算法单一文化(algorithmic monoculture)在招聘中的深刻影响。研究发现,算法单一文化导致同一申请人在不同职位均遭拒绝的现象普遍存在,且对少数族裔申请人产生显著不利影响。

研究采用美国平等就业机会委员会(EEOC)制定的‘四分之五规则’对种族不平等进行评估,发现14.74%的亚洲申请和25.87%的黑人申请被投递至对其种族存在不利影响的职位。进一步细化到职位层面,10.62%的职位对黑人申请人存在不利影响,30.70%的黑人申请人至少申请过一个此类职位。此种种族差异在以往基于整体数据的分析中被掩盖,凸显了细粒度分析的重要性。

此外,研究发现4%的申请人在申请10个职位时被所有职位的算法一致拒绝,远高于随机独立决策预期,体现了算法单一文化带来的结果同质化。利用算法的确定性复现性,研究模拟了申请人若申请所有职位可能获得的结果,显示理论上每人至少会获得一个职位的推荐,但现实中部分申请人仍遭遇系统性拒绝。为将系统性拒绝率降至0.1%以下,申请人需扩大申请范围至约25个职位。

该研究突破了以往单一雇主或简历文本分析的局限,首次利用跨多雇主、同一算法供应商的真实数据,揭示了招聘算法中的系统性种族不平等和拒绝机制。结果对招聘算法的监管和公平性保障提出了新的挑战和方向,呼吁提升算法透明度,推动独立研究和政策制定。

尽管数据覆盖面广,但62.35%的申请人未报告种族信息,可能导致种族不平等的低估。研究还局限于pymetrics平台,未来需扩展至更多供应商和招聘场景。未来工作应结合更丰富的申请人特征和动态行为数据,深入探讨算法单一文化的形成与缓解,促进公平招聘生态的构建。

深度分析

研究背景

招聘领域近年来广泛采用机器学习算法进行初步筛选,旨在提升招聘效率和客观性。超过90%的美国雇主依赖算法筛选或排序申请人,尤其是由少数第三方供应商提供的模型,如pymetrics和HireVue。传统公平性研究多基于单一雇主或简历文本,难以捕捉跨雇主的系统性影响。已有研究揭示算法可能引入代理歧视,即通过非显性特征间接反映种族或性别信息,导致不公平结果。算法单一文化指多个雇主依赖相同或相似算法,可能导致申请人在多个职位均遭拒绝,形成系统性排斥。此前缺乏大规模跨雇主、同一算法供应商的实证数据,限制了对算法单一文化及其公平性影响的深入理解。

核心问题

核心问题在于算法单一文化是否导致同一申请人在多个职位均遭拒绝,特别是对少数族裔的系统性不利影响。传统公平性评估多基于整体申请数据,忽视职位层面的差异,难以识别具体职位对特定群体的歧视。算法推荐结果的确定性和跨职位复用,可能使申请人在不同职位获得高度同质化的结果,降低了申请成功的多样性和机会。该问题重要且复杂,因为它涉及算法设计、供应商集中度、法律标准和劳动力市场动态的交叉影响,直接关系到就业公平和社会公正。

核心创新

本文的核心创新包括:


  • �� 利用pymetrics平台提供的跨156家雇主、1746个职位的真实招聘数据,覆盖337万申请人和419万申请,首次实现跨雇主、同一算法供应商的招聘算法公平性大规模实证分析。

  • �� 采用美国EEOC‘四分之五规则’进行细粒度的职位级别不利影响分析,揭示整体数据掩盖的种族差异。

  • �� 利用算法的确定性复现性,构建反事实模拟框架,推断申请人若申请所有职位可能获得的推荐结果,定量分析系统性拒绝的范围和机制。

  • �� 通过对比随机独立决策的基线,明确算法单一文化导致的结果同质化和系统性拒绝现象,丰富了算法公平性理论和实证研究。

方法详解

  • �� 数据来源:采集pymetrics平台2018年12月至2022年12月期间数据,涵盖337万申请人、419万申请、156家雇主、1746个职位。

  • �� 算法模型:pymetrics基于申请人在12款在线游戏中的表现训练二元分类器,正样本为至少50名当前职位员工的游戏特征,负样本为随机申请者。

  • �� 推荐机制:模型输出[0,1]分数,阈值0.5以上为“推荐”,以下为“不推荐”,不推荐等同于高概率被拒绝。

  • �� 种族数据:40.2%申请人自报种族,主要包括亚洲、黑人、白人、西班牙裔等。

  • �� 不利影响评估:依据EEOC‘四分之五规则’,计算各职位不同种族的选择率及影响比率,采用Benjamini-Hochberg校正控制多重检验假阳性。

  • �� 系统性拒绝分析:统计申请人申请多个职位时被所有职位拒绝的比例,比较独立决策基线,揭示算法单一文化导致的同质化。

  • �� 反事实模拟:利用算法确定性,模拟申请人若申请所有职位可能获得的推荐结果,评估申请广度对系统性拒绝的缓解作用。

实验设计

实验设计基于pymetrics平台真实招聘数据,涵盖11个行业,职位平均接收2404份申请。采用EEOC‘四分之五规则’评估种族不利影响,统计各职位及申请层面的影响比率和显著性。系统性拒绝率通过统计申请人申请多个职位时被所有职位拒绝的比例,与随机独立决策基线对比。反事实模拟基于算法确定性复现,生成申请人申请所有职位的推荐结果,分析申请数量与系统性拒绝率的关系。实验还对职位共享模型的跨雇主影响进行了分析,验证算法单一文化的存在及其影响范围。

结果分析

研究发现,整体申请数据中亚洲和黑人申请人的选择率分别为53.3%和52.5%,表面差异不显著。但细粒度职位分析显示,10.62%的职位对黑人申请人存在显著不利影响,30.70%的黑人申请人至少申请过一个此类职位,25.87%的黑人申请被投递至此类职位。系统性拒绝方面,申请10个职位的申请人中有4%被所有职位拒绝,远高于独立决策基线预测的指数衰减速率。反事实模拟显示,若申请人申请所有职位,理论上每人至少获得一个职位推荐,但现实中部分申请人仍遭系统性拒绝,需申请约25个职位才能将系统性拒绝率降至0.1%以下。

应用场景

本研究结果对招聘算法供应商、企业招聘决策者及政策制定者具有重要参考价值。供应商应关注算法单一文化带来的公平性风险,优化模型设计和多样性保障。企业应结合算法推荐与人工复核,避免系统性排斥。政策层面,研究支持加强算法透明度和独立审计,推动公平招聘法规制定。研究还为学术界提供了跨雇主算法公平性评估的新方法和数据资源,促进多学科合作和技术创新。

局限与展望

首先,62.35%的申请人未报告种族信息,限制了对种族不平等的全面评估,可能导致低估实际影响。其次,研究仅涉及pymetrics平台及其客户,结果的普适性和跨平台适用性待验证。第三,算法推荐采用二元阈值处理,忽略了推荐强度和多级推荐策略,实际应用中可能存在差异,影响结果解释。最后,缺乏申请人姓名等潜在代理变量,限制了对代理歧视机制的深入分析。

原文摘要

Many employers screen job applicants with algorithms built by the same few algorithm vendors. We hypothesize that algorithmic monoculture leads to the same individuals and members of the same racial groups facing rejection. We acquire and analyze a novel dataset of 3 million applicants submitting 4 million applications where all the applications are screened by algorithms built by the same vendor. We find clear racial disparities in applicant outcomes. Of all applications submitted by Asian and Black applicants, 14.74% and 25.87% are submitted to positions that adversely impact Asian and Black applicants, respectively, according to U.S. employment discrimination standards. Individuals also receive homogeneous outcomes: 4% of all applicants who apply to 10 positions are recommended for rejection from all positions, a rate higher than expected by chance. To better understand this homogeneity, we leverage the deterministic replicability of hiring algorithms to generate the outcomes applicants would have received if they applied to all positions. We show that applicants would need to apply widely in order to ensure their applications are considered by a human

cs.CY cs.AI

参考文献 (20)

Systemic Discrimination Among Large U.S. Employers

Patrick M. Kline, Evan K. Rose, Christopher R. Walters

2021 176 引用 ⭐ 高影响力

Algorithmic monoculture and social welfare

J. Kleinberg, Manish Raghavan

2021 140 引用 ⭐ 高影响力 查看解读 →

Duration Dependence and Labor Market Conditions: Evidence from a Field Experiment*

Kory Kroft, Fabian Lange, Matthew J. Notowidigdo

2013 563 引用

Advancing Science- and Evidence-based AI Policy

Rishi Bommasani, Sanjeev Arora, Jennifer T. Chayes 等

2025 20 引用 查看解读 →

Private Government: How Employers Rule Our Lives (and Why We Don’t Talk About It)

G. Donleavy

2018 267 引用

Mismatch Unemployment and the Geography of Job Search

Ioana Marinescu, Roland Rathelot

2018 154 引用

Introducing contextual transparency for automated decision systems

Mona Sloane, Ian Solano-Kamaiko, Jun Yuan 等

2023 14 引用

When the Machine Meets the Expert: An Ethnography of Developing AI for Hiring

Elmira van den Broek, Anastasia V. Sergeeva, M. Huysman

2021 220 引用

AI for hiring in context: a perspective on overcoming the unique challenges of employment research to mitigate disparate impact

Sara Kassir, Lewis Baker, J. Dolphin 等

2022 30 引用

Incentivized Resume Rating: Eliciting Employer Preferences without Deception

Judd B. Kessler, Corinne Low, Colin D. Sullivan

2019 106 引用

Ecosystem-level Analysis of Deployed Machine Learning Reveals Homogeneous Outcomes

Connor Toups, Rishi Bommasani, Kathleen A. Creel 等

2023 20 引用 查看解读 →

Confronting Power and Corporate Capture at the FAccT Conference

Meg Young, Michael A. Katell, P. Krafft

2022 68 引用

Uniform Guidelines on Employee Selection Procedures

Teva J. Scheer

2007 468 引用

The Allocation of Talent and U.S. Economic Growth

Chang-tai Hsieh, Erik Hurst, Charles I. Jones 等

2019 213 引用

An analysis of long-term unemployment

D. Rothstein

2016 9 引用

Gender-targeted job ads in the recruitment process: Facts from a Chinese job board

P. Kuhn, Kailing Shen, Shuo Zhang

2020 38 引用

Does Job Testing Harm Minority Workers? Evidence from Retail Establishments

David H. Autor, D. Scarborough

2008 175 引用

A Silicon Valley love triangle: Hiring algorithms, pseudo-science, and the quest for auditability

Mona Sloane, E. Moss, Rumman Chowdhury

2021 67 引用 查看解读 →

The hard proxy problem: proxies aren’t intentional; they’re intentional

Gabbrielle M. Johnson

2025 8 引用

Inequality, Unemployment and Contemporary Europe.

A. Sen

1997 271 引用