核心发现
方法论
研究采用方向性消融技术，通过投影去除语言模型中的“拒绝方向”，无需梯度训练，仅需数百个对比提示。该方法适用于GLM-5.3-Flash模型，具有320B参数和288个专家，采用四流超连接残差和块FP8量化。
关键结果
- 在GLM-5.3-Flash上，单独编辑注意力、密集和专家模块分别去除0.039、0.016和0.148的拒绝；联合编辑三者去除0.776，表明74%的效果仅在联合干预下存在。
- 传统方法通过模块名称匹配仅去除0.066的拒绝，未能有效应对MoE架构。
- 在七个有害基准测试中，方法实现41-89个百分点的拒绝率降低，能力无明显变化。
研究意义
该研究揭示了在前沿规模下安全对齐的脆弱性，尤其是在混合专家模型中。它表明传统的方向性消融方法在处理复杂架构时存在局限性，强调了在多流残差和量化环境下重新评估安全对齐策略的重要性。
技术贡献
研究展示了方向性消融在多流残差和量化权重下的适用性，强调了编辑残差写入权重比层边界钩挂更彻底。它还揭示了在混合专家模型中，拒绝信号的分布不再局限于单一方向。
新颖性
首次在320B参数的混合专家模型上验证方向性消融的有效性，揭示了在复杂架构下拒绝信号的多样性和分布特点，挑战了传统单方向假设。
局限性
- 方法在多流残差中可能无法完全去除所有拒绝信号，尤其是集中于特定内容类别的信号。
- 量化权重的编辑可能引入额外的工程复杂性。
未来方向
未来研究可探索在不同架构和量化方案下的安全对齐策略，尤其是如何在不影响模型能力的情况下增强对抗鲁棒性。
AI 总览摘要
研究探讨了在前沿规模下语言模型的安全对齐脆弱性，尤其是在混合专家（MoE）架构中。传统的方向性消融方法通过投影去除模型中的“拒绝方向”，但在复杂架构下其有效性尚未验证。
研究在GLM-5.3-Flash模型上应用方向性消融，发现单独编辑注意力、密集和专家模块去除的拒绝有限，而联合编辑则显著提高效果。这表明在复杂架构下，拒绝信号的分布不再局限于单一方向。
实验结果显示，在七个有害基准测试中，方法实现了显著的拒绝率降低，而模型能力无明显变化。研究强调了在多流残差和量化环境下重新评估安全对齐策略的重要性，并为未来的安全对齐研究提供了新的视角。
深度分析
研究背景
随着语言模型规模的扩大，安全对齐成为一个重要问题。传统的方向性消融方法在较小的密集模型上已被验证有效，但在混合专家模型中，其有效性尚未得到充分验证。GLM-5.3-Flash模型采用了复杂的架构，包括多流残差和量化权重，这为研究提供了新的挑战。
核心问题
核心问题在于如何在复杂的混合专家架构中有效去除拒绝信号。传统方法假设拒绝信号集中于单一方向，但在多流残差和量化权重下，这一假设可能不成立。
核心创新
研究首次在320B参数的混合专家模型上验证方向性消融的有效性，揭示了在复杂架构下拒绝信号的多样性和分布特点。通过联合编辑多种模块，显著提高了拒绝信号的去除效果。
方法详解
- �� 采用方向性消融技术，通过投影去除语言模型中的“拒绝方向”。
- �� 在GLM-5.3-Flash模型上应用，具有320B参数和288个专家。
- �� 评估单独和联合编辑注意力、密集和专家模块的效果。
实验设计
实验在GLM-5.3-Flash模型上进行，采用七个有害基准测试评估方法的有效性。通过对比单独和联合编辑不同模块的效果，验证了方向性消融在复杂架构下的适用性。
结果分析
实验结果显示，单独编辑注意力、密集和专家模块去除的拒绝有限，而联合编辑则显著提高效果。在七个有害基准测试中，方法实现了41-89个百分点的拒绝率降低。
应用场景
研究结果可用于改进语言模型的安全对齐策略，尤其是在处理复杂架构和量化权重的模型时。它为开发更鲁棒的安全对齐方法提供了新的思路。
局限与展望
尽管方法在复杂架构下有效，但在多流残差中可能无法完全去除所有拒绝信号，尤其是集中于特定内容类别的信号。此外，量化权重的编辑可能引入额外的工程复杂性。
通俗解读 非专业人士也能看懂
想象你有一个巨大的图书馆，里面有很多书架，每个书架上都有不同的书。现在，你想要确保某些书不被借走，比如含有不当内容的书。传统的方法是给这些书贴上标签，但有人发现可以通过改变书架的排列方式来隐藏这些书。研究就像是在探索如何通过重新排列书架来确保不当内容不被借走，而不影响其他书的借阅。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏，你的任务是阻止坏人进入城堡。你有一个按钮可以关闭大门，但有些坏人很聪明，他们总能找到办法进来。研究就像是在寻找一种新方法，让这些聪明的坏人无论如何都进不来，而不影响好人进出城堡。是不是很酷？
术语表
方向性消融
一种通过投影去除模型中特定行为的方法，不需要梯度训练。
用于去除语言模型中的“拒绝方向”。
混合专家模型
一种通过条件计算扩展参数数量的模型架构，使用多个专家模块。
GLM-5.3-Flash采用的架构。
多流残差
一种将残差分为多个并行流的设计，增强了训练的稳定性。
GLM-5.3-Flash的残差设计。
量化权重
将模型权重以低精度格式存储，以减少存储和计算成本。
GLM-5.3-Flash的权重存储格式。
拒绝方向
模型中导致拒绝特定请求的线性方向。
通过方向性消融去除的目标。
开放问题 这项研究留下的未解疑问
- 1 如何在不影响模型能力的情况下增强拒绝信号的去除效果。
- 2 在不同架构和量化方案下，拒绝信号的分布特点。
应用场景
近期应用
安全对齐优化
改进语言模型的安全对齐策略，尤其是在处理复杂架构时。
远期愿景
鲁棒性增强
开发更鲁棒的安全对齐方法，适用于各种模型架构和量化方案。
原文摘要
Directional ablation removes an aligned language model's ability to refuse by projecting a single "refusal direction" out of the weights that write the residual stream. It needs no gradient-based training and no optimization, only a few hundred contrastive prompts, which makes it the canonical white-box attack on open-weight alignment. However, it has been established only on dense models up to roughly 70B parameters. We study whether it survives the shift to frontier mixture-of-experts (MoE) models whose residual streams are no longer a single tensor and whose weights ship quantized. We apply it to GLM-5.3-Flash (320B parameters, 288 routed experts, a four-wide hyper-connection residual, block-FP8). The attack survives the architecture, but what it reaches is no longer where a reader of the original recipe would look for it. Editing the attention, dense and routed-expert writers on their own removes 0.039, 0.016 and 0.148 of refusal respectively; editing all three together removes 0.776. As a result, 74% of the effect exists only under the joint intervention. The part the conventional recipe reaches by module-name matching accounts for 0.066 of that 0.776, which is why it fails silently on an MoE. The effect does not follow from removing just any direction: ablating a random direction orthogonal to it leaves refusal unchanged. A category-concentrated residue survives every edit we tried: subspaces fitted on violence, sexual content and hate leave measurable refusal at every rank from 1 to 12. We report the method, the 41-89 percentage-point reductions it achieves across seven harmful benchmarks with no detected change in capability, and the boundary where it stops.