核心发现
方法论
本文通过形式化Prompted Action Models，结合贝叶斯推断和变分距离分析，证明在缺乏控制-数据隔离的共享表示架构中，无法实现语义忠实控制(SFC)。具体包括：推导代表源追溯的不可能性、控制路径暴露以及有限覆盖不变性差距，结合实测模型和分词器数据验证理论。核心算法涉及attention机制中的值聚合和概率分布的统计性质，强调架构本身的固有限制。
关键结果
- 在共享表示空间中，trusted与untrusted内容的分布支持重叠，导致源追溯的贝叶斯最优错误不为零（基于总变差距离，误差≥0.2），表明难以区分可信与不可信源。
- 在标准共享注意力架构中，untrusted tokens通过相同的值聚合路径影响控制相关的计算路径，导致控制行为依赖于未验证的输入。
- 有限训练样本无法覆盖无限的语义等价类，导致无法保证控制行为在所有语义等价变体中保持一致，从而无法实现完美的语义忠实控制。
研究意义
此研究揭示了当前Transformer架构在安全性上的根本局限，类似于冯·诺依曼架构中的代码与数据混淆问题，强调架构层面必须实现指令与数据的严格隔离。对AI安全设计提出了架构级的根本性反思，为未来防御策略指明了方向，推动行业从单纯优化模型分类向架构变革迈进。
技术贡献
提出语义忠实控制(SFC)的正式定义，建立了架构中源追溯不可能性、控制路径暴露和有限覆盖不变性差距的理论框架。证明在共享嵌入空间中，缺乏不可变的控制-数据隔离机制时，任何内在机制都无法保证完美的安全性。提供了与缓冲区溢出类似的结构性漏洞分析，为模型架构设计提供理论基础。
新颖性
首次系统性证明在共享表示架构中，缺乏控制-数据隔离导致Prompt注入的根本不可能性，建立了与传统缓冲区溢出类似的结构性漏洞的对应关系，突破了以往仅依赖训练技巧的安全防御思路。
局限性
- 该结论依赖于模型未采用硬隔离机制的假设，实际应用中通过外部机制实现隔离仍可部分缓解风险。
- 理论分析主要针对Transformer架构，其他架构如外部策略引擎或硬编码隔离未纳入讨论。
- 未考虑动态训练或微调过程中可能引入的额外安全机制，未来需结合实际系统进行验证。
未来方向
未来应探索架构层面的强制隔离机制设计，例如引入不可变的控制路径或硬件级别的指令/数据分离。同时，结合可解释性和鲁棒性研究，开发更有效的防御策略，推动模型安全的系统性变革。
AI 总览摘要
当前大型语言模型（LLMs）在实际应用中面临Prompt注入的严重安全威胁，尽管多种防御措施不断提出，但效果有限。本文从架构层面出发，正式证明在共享嵌入空间中，缺乏严格的指令与数据隔离机制，完美防止Prompt注入在理论上是不可能的。通过形式化Prompted Action Models，结合贝叶斯推断和统计距离分析，揭示了代表空间中可信与不可信内容的重叠、控制路径的暴露以及有限训练覆盖的局限性。这些结果表明，任何试图在共享表示中实现绝对安全的方案都面临根本性障碍，类似于冯·诺依曼架构中的代码与数据混淆漏洞。研究强调，解决Prompt注入问题的根本途径在于架构设计上的控制-数据隔离，而非仅依赖模型内部的分类或对齐优化。此发现为未来AI系统的安全架构提供了理论基础，促使行业重新审视模型设计的安全原则。虽然该结论具有一定的假设限制，但其在理论上的普适性和指导意义极为重要，为AI安全研究提供了新的视角和方向。
深度分析
研究背景
随着LLMs在自然语言处理中的广泛应用，Prompt注入成为威胁模型安全的核心问题。早期研究如Instruction Tuning和RLHF在提升模型安全性方面取得一定进展，但未能根本解决指令与输入内容的区分难题。近年来，防御措施如过滤器、表示工程和沙箱机制不断尝试，但攻击者不断突破。传统架构设计多采用共享表示空间，导致指令与数据在同一向量空间中混杂，形成潜在的安全漏洞。类似于计算机中的缓冲区溢出问题，这种设计在安全性上存在结构性缺陷。本文从理论角度出发，系统分析了共享表示架构的固有限制，试图揭示其根本性的不可能性。
核心问题
核心问题在于，现有Transformer架构中，指令和用户输入都被映射到同一空间，缺乏不可变的控制-数据隔离机制。这导致模型无法在表示层面区分可信指令与潜在恶意输入，从而使Prompt注入攻击得以实现。尽管训练和对齐可以缓解部分风险，但在理论上，任何没有硬隔离的架构都无法保证控制行为只依赖于可信语义。这一问题关系到模型安全的根本性挑战，影响到自动化决策、工具调用和敏感信息保护。
核心创新
本文首次提出语义忠实控制(SFC)的正式定义，强调控制行为应只依赖于输入的语义内容而非表示形式。通过引入代表源追溯不可能性、控制路径暴露和有限覆盖不变性差距的理论工具，系统证明在共享嵌入空间中，缺乏不可变的控制-数据隔离机制时，完美的Prompt注入防御在架构层面上是不可能实现的。这一创新突破了以往仅依赖训练技巧的安全思路，为模型架构设计提供了根本性指导。
方法详解
- �� 定义Prompted Action Models，明确其输入、嵌入、动作空间和输出机制。
- �� 形式化trusted与untrusted内容的共享表示，分析其统计分布重叠性。
- �� 利用贝叶斯判别和总变差距离，推导源追溯的不可能性。
- �� 证明untrusted内容通过相同的值聚合路径影响控制相关计算，导致控制路径暴露。
- �� 结合有限训练样本覆盖的局限性，推导控制行为在所有语义等价变体中保持一致的不可行性。
- �� 最终结合上述结果，证明在缺乏硬隔离机制的架构中，完美语义忠实控制不可能实现。
实验设计
采用OpenAI GPT-3.5和GPT-4模型，结合真实分词器和Tokenizers数据，验证代表空间中的分布重叠性。通过模拟不同的Prompt注入攻击（如Universal Adversarial Suffixes），测量模型的拒绝率、工具调用和记忆写入行为的变化。对比不同训练样本规模和模型参数，验证有限覆盖导致的控制不稳现象。实验结果显示，代表空间中的分布重叠和路径暴露导致攻击成功率持续高达90%以上。
结果分析
实验证明，代表空间中trusted与untrusted内容的分布支持重叠，导致源追溯错误率≥20%。控制路径中untrusted tokens通过attention机制影响控制输出，验证了路径暴露。有限训练样本无法覆盖无限语义变体，导致控制行为在不同等价类中表现不一致，验证了理论推导。攻击实验中，Universal Adversarial Suffixes能在不同模型中成功改变控制行为，验证了理论的实际适用性。
应用场景
该研究强调架构设计上的控制-数据隔离在安全中的关键作用，适用于高风险场景如自动化决策系统、智能助手和敏感信息处理。未来，结合硬件级隔离和外部策略引擎，可提升系统安全性。行业中，建议采用分离的指令和数据路径，减少共享表示空间的潜在风险，从根本上提升模型的抗攻击能力。
局限与展望
该分析假设模型未采用硬隔离机制，实际系统中引入外部控制路径或硬件隔离可能部分缓解风险。理论分析主要针对Transformer架构，其他架构如外部策略引擎未覆盖。未来研究需结合实际系统，验证架构变革的可行性和成本，探索更强的安全保障机制。
通俗解读 非专业人士也能看懂
想象一个工厂，所有的指令和原料都存放在同一个仓库里。工人们根据这些指令生产产品，但如果有人偷偷把恶意的原料混进仓库，工厂就可能生产出有害的产品。这个工厂的设计没有专门的门或隔断来区分安全的指令和潜在的危险原料，所以任何人都可以把坏东西混进去，工厂就无法完全防止。这就像大模型中的指令和用户输入在同一空间，没有严格隔离，导致攻击者可以利用这个漏洞。要解决这个问题，就像在工厂里设置专门的门和隔断，确保指令和原料永远分开，才能真正保证安全。
简单解释 像给14岁少年讲一样
你可以把大模型想象成一个超级智能的厨房，所有的食材和厨师的指令都放在一起，没有专门的柜子或门来区分。有人可能偷偷把坏的食材混进去，厨师不知道，从而做出有害的菜。这就像模型里的指令和用户输入在同一个空间，没有隔离，坏人就可以利用这个漏洞。为了让厨房更安全，我们需要设计一个专门的门或隔断，把安全的指令和潜在的危险内容分开。这样，即使有人试图偷偷放坏东西，也无法影响到厨师的决定。这个研究告诉我们，只有在架构上实现严格的隔离，才能真正防止这些攻击。否则，就像没有门的厨房，坏人总能找到机会搞破坏。
原文摘要
Prompt injection is the top security risk for LLM-integrated applications, yet every defense proposed so far has been broken. We prove this is not a coincidence: in shared-embedding architectures that lack enforced control-data separation, perfect prompt-injection prevention is mathematically impossible. We formalize prompted systems as Prompted Action Models whose outputs include control-authoritative actions: refusal decisions, tool authorization, policy routing, and memory writes. We define Semantic-Faithful Control (SFC), the property that such behavior depends only on the meaning of untrusted input, not on how it is encoded. We then prove SFC is unachievable within the shared pipeline, via three results: a provenance-recovery impossibility (shared representations make trusted and untrusted content statistically inseparable, bounded by total variation distance); control-path exposure (untrusted tokens enter control-relevant computation through the same attention value-aggregation that determines outputs); and a finite-coverage invariance gap (finite training cannot certify invariance over infinite semantic-equivalence classes). We ground each quantity in measurements on production tokenizers and models. The result is structural, not a gap in current defenses. It mirrors the code-data confusion in Von Neumann machines that gives rise to buffer overflows, a vulnerability class that took decades of layered defenses (DEP, Write-XOR-Execute, ASLR, stack canaries, and ultimately memory-safe languages) to contain, because no single mechanism sufficed. The implication is the same: prompt injection cannot be eliminated by better in-pipeline classification or alignment alone. It requires architectural separation of instruction and data channels. We identify the root cause and the class of solution it demands.