核心发现
方法论
采用主题分析法对448个在线收集的越狱提示进行分类，归纳出五大类别和十个模式。设计两种指标评估越狱效果，结合人类标注，验证模型在GPT-3.5、GPT-4和PaLM-2上的越狱成功率。通过用户研究，分析非专业用户的越狱策略，结合AI辅助自动生成系统，测试766个失败提示的转化效果。
关键结果
- 通过两大策略，成功引出多种有害内容，模型在GPT-4中越狱成功率达85%。人类用户即使无专业背景，也能创造有效越狱提示。自动化系统在测试中转化了95%的失败提示，显著提升越狱效率。
- 系统化分类揭示了不同策略的成功机制，为未来防御提供理论基础。
- 用户研究发现，非专业用户依靠创造力也能构造复杂越狱提示，表明防御难度加大。
研究意义
本研究深入揭示了大规模语言模型越狱的策略与过程，丰富了安全攻击的理论体系，为模型安全防护提供了实证依据。通过系统化分类和自动化工具的开发，推动了对抗越狱攻击的技术进步，有助于行业制定更有效的安全策略，保障AI技术的健康发展。
技术贡献
提出五类越狱提示体系和十种模式，建立两项越狱效果评估指标。设计了基于提示变异的自动化生成框架，结合模仿软件模糊测试的思想，实现对失败提示的有效转化。公开了丰富数据集，促进社区研究，推动了提示工程与安全防护的结合。
新颖性
首次系统化梳理了大规模语言模型的越狱提示策略，提出两项创新指标评估越狱效果，并开发了自动化生成系统。与现有研究多依赖预定义提示不同，本研究强调人机协作与自动化结合，显著提升越狱效率，填补了自动化生成与策略理解的空白。
局限性
- 研究主要基于特定模型（GPT-4、PaLM-2），不同模型表现可能不同。自动化系统在复杂场景下仍存在误判，部分越狱提示可能被检测到。数据采集依赖社区公开资源，可能存在偏差。未来需探索更广泛模型与多模态场景的适应性。
未来方向
未来将结合多模态信息丰富越狱策略，提升自动化系统的鲁棒性。研究模型的防御机制，开发更智能的检测与防护工具。同时，推动社区合作，建立标准化的越狱与防御评估体系，促进安全技术的持续演进。
AI 总览摘要
随着大规模语言模型（LLMs）在内容生成、教育和虚拟助手等领域的广泛应用，其安全性问题日益凸显。越狱提示作为绕过模型限制、引发有害内容的主要手段，成为安全研究的重要方向。本研究系统化分析了448个在线收集的越狱提示，归纳出五大类别和十个模式，揭示了其背后的策略逻辑。通过设计两项指标评估越狱效果，验证了两种最有效的策略在GPT-3.5、GPT-4和PaLM-2上的高成功率。用户研究显示，即使无专业背景，普通用户也能创造出有效越狱提示，显示越狱的普遍性和隐蔽性。基于这些洞察，我们开发了结合提示变异的自动化生成系统，在测试中成功转化了95%的失败提示，显著提升了越狱效率。这一工作不仅丰富了越狱策略的理论体系，也为模型安全防护提供了新的技术路径。未来，结合多模态信息和强化检测机制，将进一步增强模型的安全性，推动行业形成更完善的安全生态。尽管如此，自动化系统在复杂场景下仍面临挑战，未来需持续优化算法与策略，确保AI技术的健康发展。
深度分析
研究背景
近年来，随着GPT-3、GPT-4等模型的出现，LLMs在多个行业引发变革。然而，模型的开放性也带来了安全隐患，如内容偏差、信息泄露和恶意利用。已有研究主要关注模型偏差和隐私保护，但对越狱攻击的系统性理解不足。社区中出现大量越狱提示，揭示了模型在安全边界上的脆弱性。现有防护措施多为黑箱机制，难以根本解决问题，迫切需要深入分析越狱策略、过程及其影响。
核心问题
越狱提示通过巧妙设计的自然语言指令，绕过模型的安全限制，诱导模型输出有害内容。现有研究多依赖预定义提示或个案分析，缺乏系统化分类和效果评估。用户在无专业背景下也能生成有效越狱提示，说明攻击门槛低。如何理解越狱策略的多样性、提升自动化生成效率，成为当前安全防御的核心难题。模型的安全边界模糊，攻击手段不断演化，导致安全防护面临巨大挑战。
核心创新
本研究提出五大类别和十个模式的越狱提示体系，首次系统化梳理了越狱策略。设计了两项指标评估越狱成功率，结合人类标注，量化模型的越狱能力。开发了基于提示变异的自动化生成框架，借鉴软件模糊测试思想，实现对失败提示的高效转化。这些创新突破了传统依赖人工设计的局限，为模型安全提供了新的技术路径。
方法详解
- �� 数据采集：通过网络爬虫、社区资源收集448个越狱提示。• 分类：采用主题分析法，将提示归入Disguised Intent、Role Play、Structured Response、Virtual AI Simulation和Hybrid Strategies五类。• 评估指标：设计两项指标，衡量越狱成功概率和输出详细度。• 自动化系统：基于提示变异策略，结合模仿测试，自动生成新提示。• 用户研究：招募92名用户，分析非专业用户的越狱策略。• 实验验证：在GPT-3.5、GPT-4和PaLM-2上测试，评估效果。
实验设计
采用公开社区资源和自定义问卷，收集448个越狱提示和161个恶意查询。利用人类标注评估模型响应，比较不同策略的成功率。自动化系统在766个失败提示中，成功转化了729个，成功率达95%。多模型对比显示，GPT-4的越狱成功率最高，达85%。通过消融实验验证提示变异策略的有效性，确保系统鲁棒性。
结果分析
系统化分类揭示了越狱提示的多样性和成功机制，成功引导模型输出多种有害内容。自动化生成系统显著提升了越狱效率，缩短了攻击时间。用户研究表明，即使无专业背景，普通用户也能创造复杂越狱提示。多模型实验验证了策略的普适性和有效性，为未来安全防御提供理论基础。
应用场景
该研究有助于开发更有效的模型安全检测工具，提升模型在实际应用中的安全性。自动化生成系统可用于模拟攻击，测试模型防御能力，指导安全策略制定。行业可以借助此技术，提前识别潜在风险，优化模型设计，确保AI应用的安全可靠。
局限与展望
研究主要集中在文本模型，未来需扩展到多模态场景。自动化系统在复杂语境下仍存在误判风险，部分提示可能被检测。数据采集偏向社区公开资源，可能存在偏差。模型的防御机制仍需加强，未来应结合多层次、多模态的安全策略。
通俗解读 非专业人士也能看懂
想象你在一个工厂里，工厂里有很多机器（模型），它们可以做很多事情，比如写作、回答问题。工厂里有一些不好的工人（攻击者），他们试图偷偷让机器做一些不该做的事情，比如制造危险品（有害内容）。这些工人会用一些巧妙的办法，比如给机器发特殊的指令（越狱提示），让机器误以为这些指令是正常的，从而完成他们的任务。工厂的安全系统（模型的限制）本来是为了阻止这些不良行为，但工人们不断想出新办法绕过它。研究就像是在分析这些工人用的各种套路，找到最有效的几招，然后用自动化工具模拟他们的操作，帮助工厂设计更好的安全措施。这样，未来的工厂就能更好地防止坏人利用机器做坏事，确保机器只为正当用途服务。
简单解释 像给14岁少年讲一样
想象你在学校里，有一台超级聪明的机器人老师，它可以帮你解答各种问题，但有时候有人会试图骗它做一些不好的事情，比如告诉它做作业作弊或者说不该说的话。那些想骗机器人的人会用一些特别的句子，把坏的内容藏在看起来无害的对话里，就像在信里夹带秘密信息一样。研究人员发现，即使没有专业知识，普通人也能用这些巧妙的句子骗过机器人。更厉害的是，研究人员还用电脑帮忙，设计出自动化的“骗术”，让电脑自己不断试验，找到最有效的方法。这样一来，未来我们可以用这些技术提前发现和阻止坏人利用机器人做坏事，保护大家的安全。就像训练一只警犬一样，教它识别坏人和坏事，确保它只帮忙做好事。
原文摘要
Recent advancements in generative AI have enabled ubiquitous access to large language models (LLMs). Empowered by their exceptional capabilities to understand and generate human-like text, these models are being increasingly integrated into our society. At the same time, there are also concerns on the potential misuse of this powerful technology, prompting defensive measures from service providers. To overcome such protection, jailbreaking prompts have recently emerged as one of the most effective mechanisms to circumvent security restrictions and elicit harmful content originally designed to be prohibited. Due to the rapid development of LLMs and their ease of access via natural languages, the frontline of jailbreak prompts is largely seen in online forums and among hobbyists. To gain a better understanding of the threat landscape of semantically meaningful jailbreak prompts, we systemized existing prompts and measured their jailbreak effectiveness empirically. Further, we conducted a user study involving 92 participants with diverse backgrounds to unveil the process of manually creating jailbreak prompts. We observed that users often succeeded in jailbreak prompts generation regardless of their expertise in LLMs. Building on the insights from the user study, we also developed a system using AI as the assistant to automate the process of jailbreak prompt generation.