Human-AI Complementarity: A Goal for Amplified Oversight

近年来，随着大型语言模型（LLMs）如GPT-4的广泛应用，模型在生成内容的能力不断增强，但随之而来的事实偏差和误导信息也引发关注。传统的监督机制依赖人类专家进行内容评审，但面对超越人类能力的AI输出，单一的人类评估难以保证安全性。早期研究如RLHF（Reinforcement Learning with Human Feedback）和DPO（Direct Preference Optimization）在模型对齐中取得一定成效，但在高复杂度任务中的监督效率仍有限。HCI领域提出的协作与信任调节机制，为提升人机合作提供了理论基础。近年来，结合AI辅助的混合评估策略逐渐成为研究热点，旨在利用AI的快速处理能力与人类的判断优势互补，解决模型安全性与可靠性的问题。

当前AI安全监督面临多重挑战：一是AI输出的事实偏差难以被单一评估机制捕捉，二是人类评估在面对超越自身能力的模型时，效率与准确性不足。尤其是在高风险场景中，如何设计既能充分利用AI的辅助，又能避免过度依赖或信任失衡，成为亟待解决的问题。传统方法多依赖静态阈值或单一信息源，难以适应动态变化的模型性能和复杂任务需求。这些限制导致监督效果不理想，亟需引入更灵活、动态的评估机制。

本研究创新点在于引入置信度导向的动态混合策略，结合多模态AI辅助信息（搜索、证据、标签），实现人机协作的最优平衡。具体创新包括：1）基于模型置信度动态切换人类与AI评分，提升整体准确率；2）设计多种AI辅助信息（仅搜索、证据、解释、信心评分），系统评估其对人类判断的影响；3）提出Evidence-only辅助策略，有效避免过度依赖，提升低置信区间的评估性能。这些创新突破了以往静态、单一信息源的局限，推动人机合作进入动态调节新阶段。

• �� 采用真实的事实验证任务，构建包含1918个样本的评估集，标注高质量黄金标签。• 开发基于搜索引擎的AI事实验证模型，结合信息检索与证据筛选，输出多模态辅助信息。• 设计多种人机交互界面，显示搜索结果、证据、推理、信心评分等不同信息组合。• 利用置信度阈值调节人类与AI的评分责任，采用混合模型实现动态切换。• 通过多轮实验证明不同辅助策略对整体准确率的影响，分析其在不同置信区间的表现差异。• 结合统计模型验证人类在低置信区间的优越性，确保混合策略的有效性。

在真实的LLM输出事实验证任务中，使用1918个样本，评估不同人机协作策略的性能。采用Prolific平台招募多轮评估者，分为多组实验，比较单独人类、单独AI、以及多种辅助策略的准确率。通过调节置信度阈值，分析混合模型在不同切片上的表现。设置对照组，包括无辅助、搜索+证据、解释+信心等多种信息组合，评估其对人类判断的影响。采用混合逻辑回归和统计检验，验证不同策略的显著性差异。实验还考察随着评估者经验积累，辅助效果的变化，确保结论的稳健性。

实验结果显示，置信度基础的混合策略在整体准确率上达到89.3%，优于单一AI（87.7%）和人类（75.1%）。仅显示搜索和证据的辅助方式，避免了过度依赖，提升低置信区间人类表现，验证了其在实际应用中的有效性。提供详细解释和信心评分的辅助策略则引发过度信任，降低了判断准确性。随着评估者经验增长，某些辅助策略逐渐失效，表现出动态变化，强调持续优化人机交互的重要性。

该方法可应用于内容审核、事实核查、AI模型安全监控等场景，尤其适合高风险行业如医疗、金融、法律等。通过结合搜索引擎与证据筛选，提升自动化评估的可靠性，为行业提供高效、可扩展的监督工具。未来，结合强化学习与多模态信息融合，有望实现更智能的动态调节机制，推动AI系统在实际部署中的安全性与可信度。

目前实验主要集中在句子级事实验证任务，泛化到更复杂、多模态、多任务场景仍需验证。模型对高复杂度证据的推理能力有限，可能在更复杂的事实关系中表现不足。人机交互界面设计尚未完全优化，动态调节策略的适应性仍需提升。此外，实验环境偏向静态场景，实际应用中应考虑模型的持续学习与适应能力。