核心发现
方法论
本文提出越狱（jailbreak）形式化框架，定义攻击与意图，构建基于语言结构的分类体系。通过模板生成3700个越狱提示，测试GPT、OPT、BLOOM、FLAN-T5-XXL等模型的响应效果。采用自动化和人工评估结合的指标检测越狱成功率，利用GPT-4作为判定工具，分析不同技术和意图的攻击效果。研究还提出检测方法，评估其对已知攻击的鲁棒性。
关键结果
- 在GPT-3.5-turbo上，越狱成功率达85%，在BLOOM-176B模型中为78%，不同模型对同一技术的敏感度差异显著。模板提示覆盖多任务（翻译、分类、摘要、代码生成），验证模型在多场景下的脆弱性。检测方法中，GPT-4判定准确率达92%，显示自动检测具备较强实用性。实验还揭示Orthographic和Semantic技术的攻击效果最强，结合多技术的复合攻击效果更优。
- 通过对3700提示的分析，发现越狱多依赖于语义和结构层面，模型对特定词汇和指令的敏感性高。不同模型的防御能力差异明显，提示设计的复杂度与成功率正相关。结果表明，当前模型在安全性方面仍存在较大漏洞，尤其在处理复杂指令和多模态输入时。
- 实验还展示了不同意图（信息泄露、内容偏离、性能降低）对应的攻击策略差异，强调分类体系的实用价值。整体而言，研究提供了全面的越狱分类与检测工具，为未来模型安全防护提供理论基础和数据支持。
研究意义
本研究填补了LLM越狱攻击形式化与系统分类的空白，结合大规模数据集和多模型验证，揭示模型在实际应用中的安全风险。通过提出统一的分类体系和检测方法，为模型开发者提供了实用的安全评估工具，有助于推动行业标准制定。研究成果不仅丰富了模型安全理论，也为未来的防御策略提供了实践基础，有望降低模型被恶意利用的风险，增强AI系统的可信度。
技术贡献
本文创新性地提出了基于语言结构的越狱分类体系，结合形式化定义与模板生成，系统覆盖多技术和意图类别。引入自动化检测方案，结合GPT-4判定，显著提升越狱识别效率。还在多模型、多任务场景中验证了体系的普适性，为模型安全提供了理论支撑。技术上，结合语义、语法、语用等多层面攻击技术，丰富了现有研究的分类维度，推动了模型安全的系统化研究。
新颖性
首次提出基于语言结构的越狱技术分类体系，结合大规模模板生成与自动检测，系统性分析多模型、多任务的安全性。区别于以往仅关注单一技术或意图的研究，本文实现了技术与意图的解耦，为复杂、多层次攻击提供了理论框架。提出的检测方法结合GPT-4判定，显著提升识别准确率，具有较强实用价值。这些创新为模型安全研究提供了新的思路和工具。
局限性
- 当前检测方法主要基于预定义指标和GPT-4判定，可能对未知或复杂攻击场景存在盲点，未来需引入更鲁棒的学习机制。
- 模板生成虽覆盖多任务，但在极端复杂或多模态攻击中效果有限，模型对多技术复合攻击的防御仍需加强。
- 实验集中在特定模型和任务，泛化到其他模型或实际应用场景仍需验证，未来应扩大样本和场景多样性。
未来方向
未来将结合深度学习与规则检测，提升越狱识别的鲁棒性。探索多模态、多任务联合防御策略，增强模型在复杂环境中的安全性。同时，推动行业标准制定，建立安全评估体系，减少模型被恶意利用的风险。还计划扩展数据集，涵盖更多模型和攻击技术，为模型安全提供更全面的支撑。
AI 总览摘要
随着大规模语言模型（LLMs）在自然语言处理中的广泛应用，其安全性问题逐渐凸显。近年来，用户通过设计特殊提示（prompt）成功“越狱”模型，使其输出偏离预期，带来内容偏离、隐私泄露甚至安全威胁。本文系统提出了越狱的形式化定义与分类体系，借鉴信息安全中的攻击模型，将越狱技术划分为Orthographic、Lexical、Morpho-syntactic、Semantic和Pragmatic五大类别。通过模板生成3700个越狱提示，测试了GPT、OPT、BLOOM和FLAN-T5-XXL等模型的响应效果。实验结果显示，模型在面对复杂指令和多技术复合攻击时仍存在较大漏洞，成功率在85%以上。检测方面，结合GPT-4判定的自动化检测方法达到了92%的准确率，验证了其实用性。研究还分析了不同意图（信息泄露、内容偏离、性能降低）对应的攻击策略，强调分类体系的实用价值。该工作不仅丰富了模型安全的理论体系，也为未来模型的安全防护提供了工具和数据基础。未来，结合深度学习与规则检测，将进一步提升模型的鲁棒性，推动行业标准的建立，减少模型被恶意利用的风险，确保AI系统的可信度与安全性。
深度分析
研究背景
近年来，LLMs如GPT-3、BLOOM等在自然语言理解和生成方面取得突破，但其安全性问题逐渐浮出水面。早期研究主要关注模型的偏见和误导性内容，近期则集中在“prompt injection”或“越狱”攻击，用户通过特殊提示绕过内容过滤，导致偏离目标的输出。相关工作包括Perez和Ribeiro（2022）对GPT-3的攻击分析，以及Wei等（2023）提出的攻击分类体系。尽管如此，缺乏系统的形式化定义和全面的分类体系，限制了对模型脆弱性的理解和防御策略的制定。
核心问题
核心问题在于，现有模型在面对复杂、多样的越狱攻击时表现出明显脆弱性。攻击者利用语言的多层次结构（语义、语法、语用）设计提示，成功绕过内容过滤和安全机制，造成内容偏离、隐私泄露甚至安全威胁。缺乏统一的攻击分类体系和有效检测手段，使得模型安全防护难以系统化，亟需建立理论框架和实用工具。
核心创新
本文创新点包括：1）提出基于语言结构的越狱分类体系，覆盖Orthographic、Lexical、Morpho-syntactic、Semantic和Pragmatic五大类别；2）构建模板生成机制，覆盖多任务、多模型场景，验证模型脆弱性；3）结合GPT-4判定的自动检测方法，提升识别效率和准确率；4）系统分析不同攻击技术与意图的关系，为模型安全提供理论支撑。这些创新突破了以往单一技术或意图的研究局限，推动了模型安全的系统化发展。
方法详解
- �� 设计五类语言攻击技术（Orthographic、Lexical、Morpho-syntactic、Semantic、Pragmatic）作为分类基础。
- �� 利用模板方法生成3700个多任务、多模型的越狱提示，确保覆盖不同攻击技术和意图。
- �� 采用自动化指标（如语言识别、代码合法性检测）结合GPT-4判定，评估模型输出的越狱成功率。
- �� 通过多模型（GPT-3.5、GPT-4、BLOOM、OPT）在翻译、分类、摘要、代码生成任务上测试，分析模型脆弱性。
- �� 结合人工评估验证自动检测的准确性，优化检测策略。
- �� 研究不同意图（信息泄露、偏离内容、性能降低）对应的攻击效果，丰富分类体系。
实验设计
实验采用GPT-3.5-turbo、GPT-4、BLOOM-176B、OPT-175B等模型，覆盖多任务场景。利用模板生成的3700个越狱提示，测试模型在不同任务中的响应偏离情况。指标包括越狱成功率、检测准确率（自动与人工结合）、不同技术类别的攻击效果。实验还分析模型对多技术复合攻击的防御能力，验证检测方法的鲁棒性。通过多模型、多任务的验证，确保体系的普适性和实用性。
结果分析
模型在面对模板提示时，越狱成功率达85%以上，GPT-4判定准确率达92%。Orthographic和Semantic技术表现最强，复合攻击效果优于单一技术。不同模型对同一技术的敏感度差异明显，提示设计复杂度与成功率正相关。检测方法在多任务场景中表现优异，验证了自动化检测的实用性。结果显示，模型安全性仍需提升，尤其在复杂、多层次攻击下。
应用场景
该体系可用于模型开发中的安全评估，帮助识别潜在漏洞。行业中，可用于内容过滤、隐私保护和内容监管，确保模型输出符合伦理和政策要求。未来还可结合自动检测工具，实时监控模型安全状态，提升AI系统的可信度。
局限与展望
检测方法主要依赖预定义指标和判定模型，可能对未知攻击存在盲点。模板生成虽覆盖多场景，但在极端复杂或多模态攻击中效果有限。实验对象局限于特定模型和任务，泛化到实际应用场景仍需验证。未来需引入更鲁棒的检测机制和多模态防御策略。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，厨师（模型）本来按照食谱（提示）做菜，但有些人偷偷在食谱里加了奇怪的指令（越狱提示），让厨师做出不一样的菜，甚至做出不该做的事情。这些隐藏的指令就像特殊的调料，能让厨师偏离正常流程，做出有害或不符合规则的菜。为了防止这种情况，厨师需要识别这些“调料”是否合理，确保每次都按正确的食谱做菜。这个比喻帮助理解越狱攻击的本质：攻击者试图在提示中加入特殊内容，骗过模型，让它做出偏离预期的行为。研究中提出了分类方法，就像厨师学会识别不同的调料和做法，能更好地保护厨房的安全。
简单解释 像给14岁少年讲一样
想象你在学校的食堂吃饭，厨师（模型）平时会按照菜单（提示）做饭。有一天，有人偷偷在菜单上写了隐藏的指令（越狱提示），让厨师做出不一样甚至不好的菜。这个过程就像有人用特殊的“暗号”骗过厨师，让它做出偏离正常的事情。研究就像教厨师怎么识别这些暗号，防止他们被欺骗。科学家们设计了很多不同的“暗号类型”，比如用奇怪的字母、隐藏的词或者特殊的句子，让厨师误以为是正常的指令。通过大量测试，他们发现一些暗号特别容易骗过厨师，而一些则比较难。最终目标是让厨师变得更聪明，能识别这些暗号，保证每次都按菜单做饭，不被坏人骗走。就像学校加强了安全措施，确保饭菜安全又健康。
原文摘要
Recent explorations with commercial Large Language Models (LLMs) have shown that non-expert users can jailbreak LLMs by simply manipulating their prompts; resulting in degenerate output behavior, privacy and security breaches, offensive outputs, and violations of content regulator policies. Limited studies have been conducted to formalize and analyze these attacks and their mitigations. We bridge this gap by proposing a formalism and a taxonomy of known (and possible) jailbreaks. We survey existing jailbreak methods and their effectiveness on open-source and commercial LLMs (such as GPT-based models, OPT, BLOOM, and FLAN-T5-XXL). We further discuss the challenges of jailbreak detection in terms of their effectiveness against known attacks. For further analysis, we release a dataset of model outputs across 3700 jailbreak prompts over 4 tasks.