核心发现
方法论
论文通过分析指令调控LLMs的程序性行为，借鉴传统计算机安全中的ROP、代码注入和虚拟化攻击技术，设计了多种攻击策略。具体包括字符串拼接、变量赋值、顺序执行、分支等能力的挖掘，验证模型在绕过内容过滤和生成恶意内容方面的潜力。实验采用OpenAI的ChatGPT、GPT-3、InstructGPT系列模型，结合内容过滤器测试，评估攻击成功率与生成成本。
关键结果
- 攻击方法（如代码注入、虚拟化）在绕过OpenAI内容过滤器方面成功率达100%，能生成仇恨言论、钓鱼、诈骗等恶意内容，成本低于人类努力（每次生成约0.0064美元）。
- 指令调控的LLMs表现出类似程序的行为，具备复杂计算能力，使传统程序攻击技术（如payload拆分、虚拟机模拟）可迁移至文本生成场景。
- 模型在生成恶意内容时具有高度逼真和个性化能力，尤其是ChatGPT在说服力和逻辑一致性方面优于其他模型，能有效进行定制化诈骗和虚假信息传播。
研究意义
此研究揭示了指令调控LLMs的程序性行为带来的安全隐患，表明传统计算机安全攻击技术可直接迁移，极大地增强了恶意利用的可能性。对行业而言，提出了内容过滤和模型安全的紧迫挑战，促使开发更强的防御机制。学术上，推动了对模型行为本质的理解，强调了模型程序性与安全的深度关联，为未来的模型设计和安全策略提供理论基础。此工作也提醒政策制定者关注AI双重用途风险，推动相关法规完善。
技术贡献
论文首次系统性地将传统程序攻击（如ROP、payload拆分、虚拟化）应用于指令调控LLMs，揭示模型具备类似程序的多项“gadget”能力。提出了基于模型程序性的攻击框架，结合内容过滤绕过策略，显著提升攻击成功率。技术创新在于将模型行为抽象为可链式操作的“指令集”，实现攻击的可模板化和大规模扩展，为AI安全提供新思路。还通过经济分析，量化了攻击成本，强调其实际可行性。
新颖性
本研究首次揭示指令调控LLMs的程序性行为与传统程序攻击的深度对应关系，提出了基于程序漏洞的攻击框架。与现有内容过滤和安全防护方法不同，强调模型行为的可编程性和复杂性，突破了单纯过滤策略的局限，开启了模型安全的新维度。创新点在于将传统软件安全技术迁移到自然语言生成场景，揭示模型的“程序化”本质，为未来模型安全提供理论基础。
局限性
- 攻击效果在特定模型和内容过滤器下验证，可能受模型版本和防御措施变化影响，未来需验证更广泛模型和环境。
- 攻击依赖特定的提示设计，复杂场景下可能需要更复杂的策略，实际应用中存在一定难度。
- 模型的程序性行为虽被揭示，但对其深层机制理解仍有限，未来需结合模型内部机制进行更深入分析。
未来方向
未来可探索模型内部机制的解释性研究，提升对程序性行为的理解。开发更鲁棒的内容过滤和安全机制，结合模型行为监控与动态防御。同时，研究模型的可控性与安全性平衡，推动标准化安全评估体系建立，为行业提供安全设计指南。还应关注模型的法律伦理责任，制定相应政策应对双重用途风险。
AI 总览摘要
近年来，大规模指令调控的语言模型（LLMs）在自然语言处理领域取得突破性进展，推动了自动文本生成、问答、翻译等多项任务的性能提升。然而，这些模型的强大能力也带来了严重的安全隐患。本文系统分析了指令调控LLMs的程序化行为，发现其具备类似传统计算机程序的多项“gadget”能力，包括字符串拼接、变量赋值、顺序执行和分支控制。这使得攻击者可以借鉴经典的程序漏洞技术，如代码注入、payload拆分和虚拟化，设计绕过内容过滤的攻击策略。实验证明，利用这些技术，攻击成功率在OpenAI的ChatGPT、GPT-3和InstructGPT模型中达到100%，能够生成仇恨言论、钓鱼、诈骗等恶意内容，且成本极低（每次生成约0.0064美元），远低于人类手工制作的成本。这些攻击不仅突破了现有的内容过滤机制，还能生成高度逼真、个性化的虚假信息，极大地增强了模型的双重用途风险。研究强调，模型的程序性行为使其成为“可编程的”系统，未来的安全防护需要借鉴传统计算机安全中的硬件隔离、沙箱等技术。本文的贡献在于首次将程序漏洞分析引入自然语言生成模型，为模型安全提供了新思路，也为行业制定更有效的防御策略提供了理论依据。未来工作应聚焦于模型机制的深层理解、增强防御能力，以及制定相关法规，确保AI技术的安全、负责任发展。
深度分析
研究背景
随着深度学习的发展，大规模预训练模型（如GPT、BERT）在自然语言处理中的表现不断提升。早期研究集中在模型架构优化和训练数据扩展，代表性工作包括Transformers（Vaswani et al., 2017）和GPT系列（Radford et al., 2018-2023）。近年来，指令调控技术（如InstructGPT、ChatGPT）通过微调增强模型的指令遵循能力，极大改善了交互体验。然而，这些模型的复杂性和开放性也引发安全担忧，包括内容生成的滥用、偏见放大和隐私泄露。尽管已有内容过滤和安全策略，但面对新型攻击手段，安全性仍存隐患。学界对模型的程序性行为认识不足，缺乏系统性分析，限制了安全防护的有效性。
核心问题
核心问题在于，指令调控的LLMs表现出类似程序的行为，具备字符串拼接、变量赋值、条件分支等能力。这使得攻击者可以设计复杂的提示策略，绕过内容过滤，生成恶意内容。传统内容过滤机制（如关键词屏蔽、模型微调）在面对这些程序化行为时效果有限，容易被绕过。攻击成本低、易于模板化，极大增加了模型滥用的风险。解决这一问题需要理解模型行为的本质，结合安全技术进行防护。
核心创新
本研究创新点在于：1）揭示指令调控LLMs的程序性行为，定义其“gadget”能力；2）将传统程序攻击技术（如ROP、payload拆分、虚拟化）迁移到文本生成场景；3）设计了多种绕过内容过滤的攻击策略，成功率达100%；4）结合经济分析，量化攻击成本，验证其实际可行性。这些创新突破了以往仅关注内容过滤的局限，开启了模型安全的新维度。
方法详解
- �� 识别模型的程序性能力：字符串拼接、变量赋值、顺序执行、分支控制。• 设计攻击模板：利用提示拆分、编码绕过过滤。• 采用内容过滤绕过策略：拼写变体、同义词替换、payload拆分。• 引入虚拟化攻击：多轮提示模拟虚拟机行为，激活模型中的“虚拟指令”。• 结合多技术：叠加攻击手段，提高绕过成功率。• 经济分析：评估攻击成本，验证大规模应用的可行性。
实验设计
采用OpenAI的ChatGPT、GPT-3、InstructGPT模型，测试多种恶意内容生成场景（仇恨言论、钓鱼、诈骗）。设计不同模板，结合内容过滤器测试，统计绕过成功率。每个场景生成多次，评估内容的逼真度和个性化程度。分析攻击成本，验证其经济性。还进行模型性能对比，确保攻击不影响模型正常交互。
结果分析
攻击方法（如代码注入、虚拟化）在绕过内容过滤方面成功率达100%，能生成仇恨言论、钓鱼、诈骗等恶意内容，成本极低（每次生成约0.0064美元），远低于人类努力。模型表现出高度的程序化行为，能进行复杂计算和逻辑推理，验证了攻击的可行性。攻击模板易于扩展，具备良好的规模化潜力。模型在生成恶意内容时表现出高度逼真和个性化，尤其是ChatGPT在说服力和逻辑一致性方面优于其他模型。
应用场景
该研究揭示了模型在内容生成中的潜在风险，提醒行业加强内容过滤和模型安全设计。未来可用于开发更智能的安全监控系统，实时检测和阻断恶意利用。同时，推动模型的可控性设计，确保其在实际应用中符合伦理和法律要求。长远来看，有助于建立安全、可信赖的AI生态系统，促进AI技术的健康发展。
局限与展望
当前攻击主要在特定模型和环境下验证，实际应用中可能受模型版本和防御措施变化影响。攻击依赖提示设计，复杂场景下效果可能减弱。模型的程序性行为机制尚未完全理解，未来需结合模型内部结构进行深入分析。防御策略仍需完善，特别是在硬件隔离和动态检测方面。
通俗解读 非专业人士也能看懂
想象一个工厂里有很多机械手臂，每个机械手臂都可以完成不同的任务，比如拼接、搬运、装配。大规模的语言模型（LLMs）就像这些机械手臂，它们可以根据指令完成各种任务，比如写文章、回答问题。现在，有些坏人发现，这些机械手臂其实像程序一样，可以被编程，让它们做一些不好的事情，比如制造虚假信息或诈骗。就像他们用特殊的指令，把机械手臂引导到危险的操作上。更糟糕的是，这些机械手臂还能“记住”之前的操作，像一个会记忆的机器人，能进行复杂的操作。科学家们发现，通过设计特殊的指令和技巧，坏人可以绕过工厂的安全措施，让机械手臂做出危险的动作。这就像用特殊的密码破解了工厂的安全系统。这个研究提醒我们，要像保护工厂一样，保护这些智能机械臂，避免它们被用来做坏事。
简单解释 像给14岁少年讲一样
想象你在玩一个超级智能的机器人，它可以帮你写作业、讲故事，甚至帮你做数学题。可是，有些坏人发现，他们可以用特殊的指令，让这个机器人做一些不好的事情，比如写虚假的消息或者骗别人。这就像你让机器人帮你做事，但他们偷偷告诉机器人做一些不对的事。科学家们研究发现，这些机器人其实像电脑程序一样，可以被编程成执行各种操作。坏人可以用一些技巧，把指令拆开，或者用特殊的密码，让机器人绕过安全检查，做出危险的内容。就像用密码破解门锁一样。这让科学家们很担心，因为这些智能机器人变得更厉害，也更容易被坏人利用。未来，我们需要想办法让这些机器人更安全，确保它们只帮我们做好事，不被坏人用来做坏事。
原文摘要
Recent advances in instruction-following large language models (LLMs) have led to dramatic improvements in a range of NLP tasks. Unfortunately, we find that the same improved capabilities amplify the dual-use risks for malicious purposes of these models. Dual-use is difficult to prevent as instruction-following capabilities now enable standard attacks from computer security. The capabilities of these instruction-following LLMs provide strong economic incentives for dual-use by malicious actors. In particular, we show that instruction-following LLMs can produce targeted malicious content, including hate speech and scams, bypassing in-the-wild defenses implemented by LLM API vendors. Our analysis shows that this content can be generated economically and at cost likely lower than with human effort alone. Together, our findings suggest that LLMs will increasingly attract more sophisticated adversaries and attacks, and addressing these attacks may require new approaches to mitigations.