核心发现
方法论
RedBench通过整合来自NeurIPS、ACL、ICLR等37个高质量数据集，涵盖29,362个样本。采用22个风险类别和19个领域的标准化分类体系，结合Qwen2.5-72B-Instruct模型进行半自动标注，确保标签一致性。分析数据分布，建立现代LLM的基线，评估模型在攻击和拒绝两类任务中的表现。数据来源多样，覆盖偏向攻击性和防御性场景，确保评估的全面性。
关键结果
- 在攻击任务中，Abusive Content（3,523样本）和Cybersecurity Threats（2,906样本）占比最高，反映模型在处理有害内容和安全威胁方面的脆弱性。现代模型如Llama 3.1表现出较高的攻击成功率（如RainbowPlus方法达96.25%），而GPT-4系列表现出较强的鲁棒性（攻击成功率低于7%）。在拒绝任务中，Llama 3.1平均拒绝率达28.53%，显示其偏向过度防御，Gemma-2最低（13.46%），体现不同模型在安全与可用性之间的权衡。
- 这些结果揭示了当前模型在特定风险类别（如Extremism、Misinformation）和领域（如Technology、Healthcare）中的脆弱性差异，为未来模型优化提供定量依据。
研究意义
RedBench作为首个统一、标准化的红队评估平台，解决了现有数据集风险定义不一致、覆盖面有限的问题。其系统性分析帮助学界理解模型在多维场景中的弱点，推动安全可靠的LLM设计。该数据集的开源促进了跨机构合作，为行业提供了可比性基准，助力模型在真实应用中的安全性提升。
技术贡献
提出22风险类别和19领域的标准化分类体系，结合半自动标注流程，确保标签一致性。整合37个高质量数据集，构建了覆盖广泛的攻击与拒绝场景的高密度数据资源。基于此，建立了现代LLM的性能基线，提供了多模型、多任务的系统评估框架，推动了大模型安全评估的标准化发展。
新颖性
首次将37个不同来源的红队数据集统一到一个标准化框架中，采用22风险类别和19领域的细粒度分类体系，解决了数据碎片化问题。引入半自动标注机制，结合先进的LLM模型提升标注效率和一致性。基于此平台，首次系统性评估了Qwen 2.5、Llama 3.1等新一代模型的鲁棒性，填补了现有研究对现代大模型系统性安全评估的空白。
局限性
- 数据集在某些风险类别（如Confabulation）和特定领域（如Religion）上样本不足，影响全面性评估。
- 标注过程虽结合LLM和人工验证，但仍存在主观偏差，可能影响标签准确性。
- 模型评估主要集中在部分主流模型，未来需扩展更多模型和场景，提升泛化能力。
未来方向
未来将持续扩充数据集样本，丰富偏少类别和领域的覆盖。探索多模态、多任务的联合评估机制，提升模型在复杂场景中的鲁棒性。推动自动化标注技术，结合强化学习优化风险分类。加强跨行业合作，推动安全评估标准的制定，促进大模型在实际应用中的安全部署。
AI 总览摘要
随着大规模语言模型（LLMs）在多领域的广泛应用，确保其安全性成为关键挑战。现有红队数据集多存在风险定义不统一、覆盖面有限的问题，难以进行系统性漏洞评估。为此，本文提出RedBench，一个整合37个高质量数据集的统一平台，涵盖29,362个样本，采用22个风险类别和19个应用领域的标准化分类体系。
RedBench通过结合自动化LLM（Qwen2.5-72B-Instruct）与人工验证，确保标签一致性和数据质量。分析显示，攻击样本中偏向有害内容和安全威胁，模型在某些风险类别（如极端主义、虚假信息）表现出明显脆弱性，而在拒绝任务中，模型偏向过度防御，导致正常请求被拒绝。实验还验证了不同模型在安全性上的差异，Llama 3.1表现出较高的过度拒绝倾向，而GPT-4系列则更稳健。
RedBench的开源为学界提供了标准化评估工具，有助于推动大模型的安全优化。未来工作将扩展样本覆盖，提升多模态评估能力，促进行业安全标准的建立。该平台的构建为大模型的可信赖部署提供了坚实基础，推动行业迈向更安全、更可靠的人工智能生态。
深度分析
研究背景
近年来，LLMs在自然语言处理领域取得突破性进展，代表作包括GPT系列、Llama、PaLM等。这些模型在多任务、多语言环境中表现优异，但也暴露出安全性不足的问题。现有的红队数据集如AdvBench、HarmBench等，虽在特定风险场景中提供了评估工具，但缺乏统一标准，导致跨模型、跨任务的比较困难。随着模型规模不断扩大，安全风险也日益突出，亟需系统化、全面的评估平台，推动模型在真实场景中的安全可靠。
核心问题
当前红队数据集存在风险类别定义不一致、内容覆盖不全面、评估标准缺乏统一的问题。这些限制了对模型漏洞的系统性理解，也影响了模型安全性能的比较。尤其是在新一代模型（如Qwen 2.5、Llama 3.1）不断推出的背景下，缺乏针对这些模型的全面评估工具成为行业瓶颈。如何建立一个标准化、全面、可扩展的红队数据平台，成为亟待解决的核心问题。
核心创新
本研究提出了RedBench，创新点包括：1）整合37个高质量数据集，覆盖攻击和拒绝两大方向；2）采用22风险类别和19领域的标准化分类体系，解决数据碎片化问题；3）引入半自动标注机制，结合LLM和人工验证，提升标签一致性；4）系统性评估了新一代模型（如Llama 3.1、Qwen 2.5）在多场景下的鲁棒性。这些创新极大提升了红队评估的系统性和效率，为未来模型安全研究提供了基础。
方法详解
- �� 数据采集：从NeurIPS、ACL、ICLR等37个源收集高质量数据集，筛选符合红队目标的样本。
- �� 分类体系：定义22个风险类别（如有害内容、虚假信息）和19个应用领域（如医疗、科技），确保标签细粒度。
- �� 标注流程：利用Qwen2.5-72B-Instruct模型进行半自动标注，结合人工验证，确保标签准确。
- �� 数据整合：统一格式，去除重复，确保数据多样性和代表性。
- �� 分析：统计风险类别和领域分布，识别偏差和空白区域。
- �� 基线建立：在不同模型（Llama 3.1、Gemma、GPT-4）上测试性能，评估漏洞。
实验设计
采用多模型评估，包括开源（Llama 3.1、Gemma）和闭源（GPT-4系列），使用Attack Success Rate（ASR）和Rejection Rate（RR）指标。设计了多种攻击方法（如RainbowPlus、HumanJailbreak），在HarmBench等数据集上测试模型的安全性。通过对比不同模型和方法的表现，验证RedBench的有效性。实验还分析了风险类别和领域的分布偏差，揭示模型在特定场景中的脆弱性。
结果分析
模型在攻击任务中，RainbowPlus方法对开源模型的攻击成功率高达97.81%，而GPT-4系列表现出较强的鲁棒性（成功率低于7%）。在拒绝任务中，Llama 3.1的平均拒绝率达28.53%，显示其偏向过度防御。不同模型在特定风险类别（如极端主义）和领域（如环境）表现出明显差异，验证了RedBench在多维评估中的有效性。这些数据为模型优化提供了具体方向。
应用场景
RedBench可作为模型开发者和安全团队的标准评估工具，用于检测模型在多场景下的漏洞。其应用场景包括内容过滤、偏见检测、信息安全等。长远来看，RedBench推动行业制定统一的安全评估标准，促使模型在医疗、金融、法律等关键领域的安全部署成为可能。
局限与展望
数据集中某些风险类别样本不足，影响全面性。标注虽结合LLM与人工，但仍存在主观偏差。评估主要集中在部分模型，未来需扩展更多模型和场景，提升泛化能力。
通俗解读 非专业人士也能看懂
想象一个大型工厂生产各种商品，但有些产品可能存在安全隐患或不符合标准。RedBench就像是这个工厂的检测员，收集了许多不同的检测报告（数据集），每份报告都标明了潜在问题的类型（风险类别）和发生的环节（领域）。通过这些报告，工厂可以了解哪些环节容易出问题，哪些产品存在安全风险。工厂还用一种智能助手（类似LLM模型）来自动筛查这些报告，确保每个环节都符合安全标准。这个系统帮助工厂不断改进，避免生产出有缺陷的商品，确保最终产品的安全可靠。RedBench的目标就是建立这样一个全面、标准化的检测体系，让人工智能变得更安全、更可信。
简单解释 像给14岁少年讲一样
想象你在学校里，有一台超级智能的机器人老师，它能帮你回答各种问题，但有时候它也会犯错，比如拒绝回答一些正常的问题，或者被一些坏人骗去说不该说的话。RedBench就像是给这个机器人老师准备的“考试题库”，里面有很多不同类型的问题，有些是用来测试它是否会说错话，有些是用来看看它是否会拒绝正常请求。通过这些题库，老师可以知道机器人在哪些方面容易出错，在哪些方面过于谨慎。这样，未来的机器人老师就能变得更聪明、更安全，不会随意拒绝，也不会被坏人骗。这就像是让人工智能变得像一个既聪明又可靠的好老师一样。
原文摘要
As large language models (LLMs) become integral to safety-critical applications, ensuring their robustness against adversarial prompts is paramount. However, existing red teaming datasets suffer from inconsistent risk categorizations, limited domain coverage, and outdated evaluations, hindering systematic vulnerability assessments. To address these challenges, we introduce RedBench, a universal dataset aggregating 37 benchmark datasets from leading conferences and repositories, comprising 29,362 samples across attack and refusal prompts. RedBench employs a standardized taxonomy with 22 risk categories and 19 domains, enabling consistent and comprehensive evaluations of LLM vulnerabilities. We provide a detailed analysis of existing datasets, establish baselines for modern LLMs, and open-source the dataset and evaluation code. Our contributions facilitate robust comparisons, foster future research, and promote the development of secure and reliable LLMs for real-world deployment. Code: https://github.com/knoveleng/redeval