LCGuard: Latent Communication Guard for Safe KV Sharing in Multi-Agent Systems

近年来，基于大型语言模型（LLM）的多智能体系统成为人工智能领域的研究热点。多智能体通过协调、委托和信息交换，共同完成复杂任务。传统多智能体通信主要依赖自然语言文本，智能体将内部状态序列化为文本，其他智能体再解析文本继续推理。这种方法虽然灵活且易于解释，但存在效率低下、信息丢失和重复计算的问题。近期研究开始探索超越文本的潜在通信方式，尤其是利用Transformer模型中的键值（KV）缓存作为通信载体。KV缓存直接传递高维语义表示，避免了重复解码和编码，提升了多阶段推理的效率和信息保留能力。

然而，KV缓存作为高维、语义密集的表示，编码了上下文输入、中间推理状态及智能体特有信息，形成了一个不透明的信息通道。先前研究表明，模型内部表示可能保留大量输入信息，即使这些信息未被显式解码。KV缓存的共享使敏感信息可能在智能体间隐式传播，攻击者通过训练解码器有能力从中恢复敏感输入，构成新的隐私泄露风险。这种风险不同于传统基于文本的泄露，难以通过现有安全机制检测和防范。

因此，如何在保证多智能体系统高效协同的同时，控制KV缓存潜在通信中的敏感信息泄露，成为亟待解决的核心问题。现有多智能体安全机制多聚焦于输出层或工具调用，缺乏对潜在表示层的约束；KV缓存安全研究多关注隔离和系统控制，缺少针对共享缓存内容的隐私保护框架。本文基于此背景，提出了LCGuard，旨在填补该领域空白。

多智能体系统中，智能体通过共享Transformer KV缓存进行潜在通信，提升了协同效率和信息丰富度，但也带来了敏感信息隐私泄露的新风险。具体而言，KV缓存不仅包含任务相关信息，还隐式编码了智能体特有的敏感输入，如用户上下文、检索文档和中间推理结果。这些信息通过高维表示空间传递，难以被外部观察者直接检测或控制。

攻击者若能访问共享缓存（例如通过被攻陷的智能体、日志系统或辅助模型），可训练解码器重构敏感输入，导致隐私泄露。该泄露发生于表示层，非显式文本输出，传统基于文本的隐私保护机制无效。此外，敏感信息可能在多跳通信中累积，形成组合泄露，增加防护难度。

因此，核心问题是设计一种通信机制，既能保持KV缓存潜在通信的高效和任务效用，又能最大限度地降低敏感信息的可重构性和泄露风险。这要求在表示层对共享缓存进行变换和约束，实现隐私与效用的平衡。

本研究的核心创新包括：

• �� 表示级泄露定义：首次将敏感信息泄露形式化为对共享KV缓存的重构能力，提出以重构损失衡量隐私风险的新范式。

• �� 对抗训练框架：设计通信函数与攻击解码器的对抗优化机制，通信函数学习变换共享缓存以抑制敏感信息重构，同时保持任务性能。

• �� 系统级优化策略：不仅针对单条通信链路，还联合优化全系统通信函数，抑制多跳通信中组合泄露，提升整体防护效果。

• �� 多模型多拓扑适配：方法兼容多种Transformer模型（Qwen3、Gemma、LLaMA）和通信拓扑（顺序、层级、图结构），具备广泛适用性。

这些创新突破了传统基于文本的隐私保护局限，首次针对潜在表示层通信泄露提出系统性解决方案，推动了多智能体系统隐私保护研究。

• �� 系统建模：定义多智能体集合{a_i}，每个智能体基于Transformer模型θ_i，接收任务输入x_i和敏感输入s_i，生成内部KV缓存K_i和V_i。

• �� 通信机制：智能体间通过学习的变换函数g_{ij}(K_i,V_i)传递潜在表示m_{ij}，无显式文本交换。

• �� 泄露定义：若攻击者解码器D_i能从观察到的通信集合M_obs重构敏感输入s_i，则视为泄露。重构损失L_rec衡量泄露程度。

• �� 对抗训练：构建min_ϕ max_ψ β Σ_i L_rec(M_obs) + L_task(M)的优化目标，ϕ为通信函数参数，ψ为攻击解码器参数，β控制隐私与效用权衡。

• �� 训练流程：交替优化攻击解码器以降低重构损失，优化通信函数以增加重构难度，同时保持任务性能。

• �� 多拓扑适应：支持顺序、层级和图结构通信，M_obs可为单条链路或全系统通信集合，捕获局部及组合泄露。

• �� 实验设置：在Qwen3、Gemma、LLaMA模型上，使用PrivacyLens、AgentLeak、MAGPIE等基准，评估隐私保护和任务性能。

实验涵盖三大模型家族（Qwen3-4B/8B/14B、Gemma-2-9B、LLaMA-3B/8B），在PrivacyLens、AgentLeak和MAGPIE多智能体隐私基准上进行评测。通信拓扑包括顺序、层级及图结构，模拟多种实际交互场景。基线方法包括原始KV共享（Vanilla KV）、基于策略的PrivAct和噪声注入的ADAPT。

评估指标涵盖任务准确率、帮助度（helpfulness）、隐私指标如攻击成功率（ASR）和重构损失。通过调节隐私权重β，分析隐私-效用权衡。还进行了消融实验，探讨攻击模型强度、通信拓扑和系统级优化的影响。

此外，附录中提供了推理效率对比，展示LCGuard在保持高效通信的同时实现隐私保护。整体实验设计全面，覆盖多模型、多场景、多指标，验证方法的鲁棒性和实用性。

实验结果表明，LCGuard显著降低了敏感信息的重构风险，同时保持了竞争性的任务性能。在Qwen3-4B模型的PrivacyLens顺序通信中，LCGuard将ASR从0.871降至0.216，帮助度维持在0.710，任务准确率保持0.720以上。Gemma-9B模型在AgentLeak层级通信中，ASR从0.885降至0.205，帮助度高达0.735，远优于ADAPT等基线。全系统优化版本优于逐代理优化，能有效抑制多跳组合泄露，提升隐私保护效果。不同通信拓扑和模型规模下，LCGuard均表现稳定，展现出良好的泛化能力。相比之下，原始KV共享虽任务性能最高，但隐私风险极大；ADAPT虽降低泄露，但任务性能大幅下降；PrivAct提升隐私指标但对潜在通信泄露无效。

LCGuard适用于多智能体系统中需要高效协同且存在隐私敏感信息的场景，如智能助理协作、跨机构数据分析、医疗诊断协同和安全监控等。通过潜在通信保护，系统可在不牺牲性能的前提下，防止敏感信息泄露，满足合规和安全需求。此外，LCGuard框架可扩展至其他基于Transformer的潜在表示共享场景，促进隐私保护技术在多模态和跨域协同中的应用。

LCGuard依赖于攻击模型的能力，若攻击者采用更复杂或未知的解码策略，防护效果可能受限。隐私与效用权衡仍需根据具体应用调整，极端隐私需求可能导致任务性能下降。当前实验基于公开模型和标准基准，实际部署中多样化通信协议和攻击面可能带来额外挑战，需进一步验证和优化。