Training-Free Policy Violation Detection via Activation-Space Whitening in LLMs
提出一种基于激活空间白化的无训练策略，用于检测大规模语言模型中的政策违规，达到86.0%的F1分数。
核心发现
方法论
本文提出了一种基于激活空间白化的无训练政策违规检测方法。该方法通过在模型内部隐藏激活状态上应用线性变换，将激活向量去相关化并标准化，从而形成一个符合高斯分布的特征空间。利用在政策内样本中估算的均值和协方差矩阵，计算白化变换矩阵W，使得变换后激活的协方差接近单位矩阵。随后，将模型响应的激活向量经过白化变换，计算其欧几里得范数作为合规分数。该方法只需少量示例样本和政策文本，无需模型微调，便可实现高效检测。在线检测阶段，将新响应的激活向量经过预先计算的白化变换，得到标准化特征，并与预设阈值比较，判断是否存在政策违规。该框架在多个大模型（如Qwen-8B、Gemma-9B等）和两个复杂政策基准（DynaBench和τ-bench）上进行了广泛评估，表现优异。
关键结果
- 在DynaBench和τ-bench两个基准上，提出的方法达到了最高86.0%的F1分数，明显优于微调模型和基于LLM的判决方法，提升幅度最高达9.1个百分点（相较微调基线）和16个百分点（相较LLM判决）。
- 在不同模型（如Qwen-8B、Gemma-9B）上均表现出稳定的检测能力，尤其在Qwen-8B模型中，F1达到了86.0%，显示出强大的泛化能力。
- 通过对比不同检测策略（Mahalanobis距离、能量分数、KNN等），白化方法在准确率和鲁棒性方面均优于传统方法，且计算成本显著降低，适合大规模部署。
研究意义
该研究突破了传统内容过滤仅依赖输出文本的限制，提出了在模型内部激活空间进行违规检测的全新思路。无需模型微调或大量标注数据，便能实现高效、可扩展的政策合规监测，为企业和机构在敏感领域部署大模型提供了可靠保障。这一方法不仅降低了检测成本，也增强了对复杂、动态政策的适应能力，推动了AI治理的技术进步。未来，结合持续学习和多模态信息融合，有望实现更全面、更智能的合规监控体系。
技术贡献
本文首次提出将政策违规检测作为激活空间的异常检测问题，利用线性白化变换实现无训练的高效检测。该方法通过在模型内部隐藏状态中估算统计参数，构建了一个无需微调的检测框架，显著降低了部署门槛。与传统的微调或判决模型不同，本文采用基于特征空间的异常检测思想，结合PCA白化技术，提升了检测的鲁棒性和泛化能力。实验中，方法在多个模型和复杂政策基准上均取得了优异表现，验证了其在实际应用中的潜力。
新颖性
该研究的创新点在于将政策违规检测转化为激活空间的异常检测问题，利用白化技术实现无训练的高效检测。这在大模型政策合规领域尚属首创，突破了传统依赖微调和输出判决的局限。通过在模型内部激活状态中建立统计模型，结合少量示例样本，即可实现准确的违规识别。这种基于特征空间的检测策略，为大模型的实时监控和动态政策更新提供了新的技术路径。
局限性
- 该方法依赖于在政策内样本中准确估算统计参数，若样本不足或多样性不足，可能影响检测效果。
- 在极端或复杂政策场景中，激活空间的分布可能不够清晰，导致检测性能下降。
- 虽然计算成本低，但在超大模型或高频率检测场景中，仍需优化白化变换的效率和存储机制。
未来方向
未来可结合多模态信息（如图像、语音）增强检测能力，或引入自适应在线更新机制，动态调整统计参数以应对政策变化。此外，探索深层次的激活空间结构和多层次异常检测策略，将进一步提升检测的准确性和鲁棒性，推动企业级AI合规体系的智能化发展。
AI 总览摘要
随着大规模语言模型（LLMs）在法律、金融、医疗等敏感领域的广泛应用，确保其行为符合组织内部政策成为关键挑战。传统的内容过滤和安全机制多局限于对生成文本的粗粒度控制，难以捕捉细致复杂的政策细节。微调和基于判决的检测方法虽然灵活，但在实际部署中面临高昂的训练成本和延迟，限制了其在实时监控中的应用。
本文提出了一种创新的无训练策略——基于激活空间白化的政策违规检测方法。该方法通过在模型内部隐藏状态上应用线性白化变换，将激活向量去相关化并标准化，形成一个符合高斯分布的特征空间。在这个空间中，政策合规的响应会聚集在原点附近，而违规响应则偏离该区域。利用在政策内样本中估算的统计参数，构建了一个无需微调的检测框架，只需少量示例样本即可实现高效检测。
在技术实现上，作者采用PCA白化技术，计算出线性变换矩阵W，使得激活向量经过变换后具有接近单位协方差的分布。检测时，将新响应激活经过变换，计算其欧几里得范数作为违规分数，并与预设阈值比较。该方法在多个模型（如Qwen-8B、Gemma-9B）和两个复杂政策基准（DynaBench和τ-bench）上进行了广泛评估，结果显示其在准确率和鲁棒性方面均优于微调模型和判决方法，最高F1达86.0%，提升幅度达9.1个百分点。
这一技术突破不仅降低了检测成本，还增强了模型对动态政策的适应能力，为企业和组织在敏感场景中的大模型部署提供了强有力的技术支撑。未来，结合多模态信息和自适应在线更新机制，有望实现更全面、更智能的政策合规监控体系，推动AI治理迈向新阶段。
深度分析
研究背景
近年来，随着大规模预训练模型（如GPT、LLaMA、Qwen等）在自然语言处理中的广泛应用，模型的能力得到了极大提升，但同时也带来了行为控制和合规性的问题。早期的安全措施主要依赖于内容过滤和关键词屏蔽，效果有限，难以应对复杂、多变的政策需求。近年来，研究者提出了多种策略，包括微调、强化学习、判决模型等，以提升模型的政策遵循能力。例如，DynaGuard模型通过微调实现了较好的违规检测效果，但其训练成本高昂，难以快速适应政策变化。内容监管的核心难点在于，政策规则繁杂、细节丰富，难以用简单规则或标签覆盖全部场景。此外，模型内部的激活状态中潜藏着丰富的行为信息，研究发现这些状态可以反映模型的输出正确性和行为合规性。基于此，近年来出现了利用中间激活特征进行异常检测的方法，为本研究提供了理论基础。
核心问题
传统的政策违规检测方法多依赖于模型输出的文本内容，存在无法捕捉潜在违规行为的局限性。微调模型虽然能增强合规性，但成本高、灵活性差，难以应对快速变化的政策环境。此外，判决模型在推理和判断上存在延迟，限制了实时监控的应用。更重要的是，模型内部的激活状态蕴含着丰富的行为信息，但如何有效利用这些信息进行违规检测仍未得到充分解决。现有方法缺乏一种低成本、可扩展、无需微调的检测机制，难以满足企业在大规模部署中的需求。因此，亟需一种基于模型内部状态的高效检测框架，既能保证检测准确性，又能降低部署门槛。
核心创新
本研究的核心创新在于提出了激活空间白化技术，用于无训练的政策违规检测。具体包括：1）将模型隐藏状态的激活向量进行线性白化，去相关化并标准化，构建符合高斯分布的特征空间；2）利用在政策内样本中估算的统计参数，快速计算白化变换矩阵W，无需微调模型参数；3）在检测阶段，将新响应激活经过白化变换，计算欧几里得范数作为违规分数，简洁高效。该方法充分利用激活空间的分布特性，将违规检测转化为异常检测问题，避免了繁琐的模型微调和标签依赖。通过少量示例样本，即可实现对不同政策的快速适应和检测，极大地提升了系统的可扩展性和实时性。
方法详解
- �� 统计参数估算：从政策内样本中提取每一层的激活向量，计算均值μ和协方差Σ。
- �� 白化变换：利用PCA白化技术，求解线性变换矩阵W，使得变换后激活的协方差接近单位矩阵。
- �� 特征标准化：将新响应激活x经过W变换，得到标准化激活y = W(x - μ)，确保不同样本在同一分布下。
- �� 分数计算：对变换后的激活向量y，计算其欧几里得范数s = ||y||，作为违规分数。
- �� 阈值校准：在少量政策内外样本中，选择最佳阈值τ，使得检测性能最大化（如Youden指数）。
- �� 在线检测：在实际应用中，将新响应激活经过预先计算的W变换，得到标准化特征，并与阈值比较，判定是否违规。
- �� 模型选择：在多层中选择表现最佳的层作为检测层，提升检测效果。
实验设计
作者在多个公开模型（如Qwen-8B、Gemma-9B、Llama-3.1-8B）上进行了评估，使用DynaBench和τ-bench两个复杂政策基准。每个基准包含多轮对话样本，标注为合规或违规。数据构建方面，利用GPT-5.1生成对政策规则的对比样本，包括符合和违反规则的响应对。通过自动验证确保数据质量。模型训练方面，仅在政策内样本上估算统计参数，进行白化变换的学习，避免微调。检测阶段，使用少量示例样本进行阈值校准，确保在不同模型和政策场景下的适应性。对比基线包括微调模型（DynaGuard）、判决模型（GPT-4判决）和传统的异常检测方法（如Mahalanobis距离、能量分数、KNN），评估指标为F1分数、AUC等。多次实验验证了方法的鲁棒性和泛化能力。
结果分析
在DynaBench和τ-bench两个基准上，提出的方法在所有模型中均表现出色，最高在Qwen-8B模型中达到了86.0%的F1分数，超越微调和判决基线，提升幅度最高达9.1个百分点。特别是在模型内部激活特征的利用上，显著优于仅依赖输出文本的检测方法。通过不同模型和政策场景的测试，验证了方法的稳定性和泛化能力。对比传统异常检测技术，白化方法在准确率和计算效率方面均优越，显示出其在实际企业环境中的应用潜力。
应用场景
该方法适用于企业和组织在敏感场景中的政策合规监控，尤其适合大规模模型部署环境。只需少量示例样本和政策文本，即可实现实时检测，降低了部署门槛。可以应用于内容审核、自动合规监控、敏感信息过滤等场景，为企业提供高效、低成本的合规保障。未来，结合持续学习和多模态信息融合，有望实现更智能的合规体系，支持动态政策调整和多场景适应。
局限与展望
该方法依赖于在政策内样本中准确估算统计参数，样本不足或多样性不足可能影响检测效果。在极端或复杂政策场景中，激活空间的分布可能变得模糊，导致检测性能下降。此外，虽然计算成本低，但在超大模型或高频检测场景中，仍需优化白化变换的效率和存储机制。未来还需研究多层次、多模态融合的检测策略，以应对更复杂的政策环境。
通俗解读 非专业人士也能看懂
想象一下你在一家工厂工作，这个工厂每天都生产各种商品。工厂有一套严格的规章制度，规定每个工人必须遵守的操作流程。工厂的管理者希望确保每个工人都按照规章操作，但不可能每天都检查每个细节。于是，他们设计了一套智能监控系统，观察工人在生产线上的行为。这个系统通过分析工人的动作和反应，建立了正常操作的“行为模型”。当工人偏离正常流程时，系统会检测到异常，及时发出警报。
类似地，这篇论文提出的方法就像这个工厂的监控系统。模型内部的激活状态就像工人的行为，白化变换就像是管理者用来识别正常操作的“标准模板”。当模型的激活状态偏离这个标准时，就意味着可能出现了政策违规。只需要少量的“正常行为”样本，系统就能学会识别偏离的情况，无需重新训练整个模型。这种方法简单高效，能帮助企业实时监控模型行为，确保其遵守所有政策规定，就像工厂的监控系统一样，保证生产线的安全和合规。
简单解释 像给14岁少年讲一样
你可以把这个方法想象成一个超级聪明的老师，他观察学生的表现，判断他们是否遵守了学校的规章制度。这个老师不需要每天重新学习所有规章，只需要观察一些正常的学生表现，记住他们的行为特点。当一个学生的行为偏离了正常范围，比如突然变得很不专心或做了不该做的事，老师就能立刻发现。这里的“学生表现”就像模型内部的激活状态，“正常表现”就是符合政策的行为。
老师用一种特别的方法，把正常学生的表现变成一个标准模板，这样他就可以快速判断任何新学生的行为是否偏离了这个标准。如果偏离得太远，老师就会提醒或制止。这个方法非常聪明，因为它不需要教学生所有的规矩，只需要观察一些正常的样本，就能快速识别出违规行为。这样，学校就能实时发现问题，确保每个学生都遵守规则，就像企业用这个系统确保模型行为合规一样。
原文摘要
As organizations increasingly deploy LLMs in sensitive domains such as legal, financial, and medical settings, ensuring alignment with internal organizational policies has become a priority. Existing content moderation frameworks remain largely confined to the safety domain and lack the robustness to capture nuanced organizational policies. LLM-as-a-judge and fine-tuning approaches, though flexible, introduce significant latency and training cost. To address these limitations, we frame policy violation detection as an out-of-distribution (OOD) problem in the model's activation space. We propose a training-free method that operates directly on the LLM internal representations, leveraging prior evidence that decision-relevant information is encoded within them. Inspired by whitening techniques, we apply a linear transformation to decorrelate and standardize the model's hidden activations, and use the Euclidean norm in this transformed space as a compliance score for detecting policy violations. Our method requires only the policy text and a small number of illustrative samples, making it lightweight and easily deployable. We extensively evaluate our method across multiple LLMs and challenging policy benchmarks, achieving 86.0% F1 score while outperforming fine-tuned baselines by up to 9.1 points and LLM-as-a-judge by 16 points, with significantly lower computational cost. Code is available at: https://github.com/FujitsuResearch/LLM-policy-violation-detection
参考文献 (20)
DynaGuard: A Dynamic Guardian Model With User-Defined Policies
Monte Hoover, Vatsal Baherwani, Neel Jain 等
DynaGuard: A Dynamic Guardrail Model With User-Defined Policies
Monte Hoover, Vatsal Baherwani, Neel Jain 等
τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains
Shun-Yu Yao, Noah Shinn, Pedram Razavi 等
Contrastive Out-of-Distribution Detection for Pretrained Transformers
Wenxuan Zhou, Fangyu Liu, Muhao Chen
Generalized ODIN: Detecting Out-of-Distribution Image Without Learning From Out-of-Distribution Data
Yen-Chang Hsu, Yilin Shen, Hongxia Jin 等
Discriminative Decorrelation for Clustering and Classification
Bharath Hariharan, Jitendra Malik, D. Ramanan
DIESEL: A Lightweight Inference-Time Safety Enhancement for Language Models
Ben Ganon, Alon Zolfi, O. Hofman 等
Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing: EMNLP 2023 - Industry Track, Singapore, December 6-10, 2023
Federal Trade Commission
Earl W. Kintner, Chairman, Robert T. Secrest 等
SOFTWARE CONSIDERATIONS IN AIRBORNE SYSTEMS AND EQUIPMENT CERTIFICATION
H. Lougee
A Baseline for Detecting Misclassified and Out-of-Distribution Examples in Neural Networks
Dan Hendrycks, Kevin Gimpel
Pretrained Transformers Improve Out-of-Distribution Robustness
Dan Hendrycks, Xiaoyuan Liu, Eric Wallace 等
ATOM: Robustifying Out-of-Distribution Detection Using Outlier Mining
Jiefeng Chen, Yixuan Li, Xi Wu 等
Out-of-distribution Detection with Deep Nearest Neighbors
Yiyou Sun, Yifei Ming, Xiaojin Zhu 等
Progress measures for grokking via mechanistic interpretability
Neel Nanda, Lawrence Chan, Tom Lieberum 等
Fine-Tuning Deteriorates General Textual Out-of-Distribution Detection by Distorting Task-Agnostic Features
Sishuo Chen, Wenkai Yang, Xiaohan Bi 等
Trustworthy LLMs: a Survey and Guideline for Evaluating Large Language Models' Alignment
Yang Liu, Yuanshun Yao, Jean-François Ton 等
NeMo Guardrails: A Toolkit for Controllable and Safe LLM Applications with Programmable Rails
Traian Rebedea, R. Dinu, Makesh Narsimhan Sreedhar 等
Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations
Hakan Inan, K. Upasani, Jianfeng Chi 等
被引用 (5)
What Do Compliance Detectors Read? An Audit of Activation Probes and Guard Models
RIFT-Bench: Dynamic Red-teaming For Agentic AI Systems
Training-free Detection of Generated Videos via Spatial-Temporal Likelihoods
Inference-Time Backdoors via Chat Templates: From LLM Supply Chains to Agentic System Compromise
LADFA: A Framework of Using Large Language Models and Retrieval-Augmented Generation for Personal Data Flow Analysis in Privacy Policies