核心发现
方法论
本文通过构建SUSTAINSCORE指标，量化在添加自明约束后模型任务性能的下降。采用数学、问答和代码生成任务，比较不同模型在无约束与有约束条件下的表现。利用模型自我生成约束，确保其原有能力满足约束条件，从而排除能力不足的影响。分析模型注意力分布，揭示失败案例中对约束的过度关注。还通过不同训练策略（如RL和监督微调）评估干扰机制，验证干扰的普遍性和规模依赖性。
关键结果
- 在数学、问答和代码生成任务中，添加自明约束导致模型性能平均下降15%-35%，甚至Claude-Sonnet-4.5模型也出现明显性能损失，表现出模型鲁棒性不足。
- 高指令遵循得分不代表任务鲁棒性，GPT-4.1在指令遵循达90%以上时，其在代码任务中的SUSTAINSCORE仅为50.8%，显示出性能与鲁棒性间的差距。
- 不同约束类型（方法、长度、关键词、风格、结构）对干扰影响一致，但在代码任务中关键词约束更易破坏逻辑，表现出更高敏感性。
研究意义
该研究揭示了当前大模型在执行任务时面临的隐性风险，即在追求指令符合性时可能牺牲核心任务能力。这对模型的实际应用提出警示，强调鲁棒性评估的重要性，推动未来模型在满足指令的同时保持任务性能。研究为模型调优和安全性提供了新的评估工具，有助于实现更可靠的AI系统。
技术贡献
提出SUSTAINSCORE指标，系统量化指令遵循对任务性能的干扰，填补了现有评估中对鲁棒性缺乏关注的空白。通过引入模型自我生成约束的机制，有效排除能力不足的影响，提供了更真实的性能评估框架。结合注意力分析，揭示干扰机制的潜在原因，为模型设计提供理论指导。此方法适用于多任务、多模型规模的鲁棒性研究，具有广泛的适用性和扩展性。
新颖性
本研究首次系统性量化指令遵循对任务解决能力的影响，提出了基于模型自我生成约束的鲁棒性指标，突破了传统仅关注指令符合性的评估范畴。通过多任务、多模型规模验证其普遍性，揭示了模型在追求符合性时的潜在脆弱性，提供了新的理论视角和实用工具。
局限性
- 当前指标主要基于自明约束，未考虑复杂或冲突性约束的影响，未来需扩展到更复杂场景。
- 模型注意力分析仅提供关联性证据，缺乏因果机制的深入验证，需结合解释性方法进一步研究。
- 实验集中在特定任务和模型，未来应拓展到更多任务类型和更大规模模型，以验证普适性。
未来方向
未来将探索多样化、复杂约束对模型性能的影响，结合因果推断揭示干扰机制，优化训练策略以增强鲁棒性。此外，计划开发更全面的评估框架，涵盖多任务、多约束场景，推动模型在实际应用中的可靠性提升。
AI 总览摘要
近年来，大型语言模型（LLMs）在多任务表现中取得了突破性进展，尤其是在指令遵循方面表现优异。然而，随着模型被逐步引入严格的约束条件，研究发现指令遵循反而可能削弱模型的核心任务解决能力。本文提出了SUSTAINSCORE指标，用以量化在添加自明约束后模型性能的下降，揭示了一个令人意外的现象：即使约束是模型原本成功输出中自然满足的，加入后仍会导致明显的性能损失。
通过在数学、问答和代码生成任务中的大量实验，作者发现即使是最先进的模型如Claude-Sonnet-4.5，也会在引入约束后表现出15%到35%的性能下降。更令人担忧的是，指令遵循得分高并不意味着模型具有强鲁棒性。例如，GPT-4.1在指令遵循上超过90%，但在代码任务中的SUSTAINSCORE仅为50.8%，显示出高指令符合性未必伴随任务鲁棒性。
进一步分析显示，模型在失败案例中对约束的注意力明显高于成功案例，暗示过度关注约束可能导致任务偏离正确路径。不同训练策略（如强化学习与监督微调）对干扰机制的影响也被验证，RL训练能部分缓解干扰。这些发现强调了在模型调优中兼顾指令符合性与任务能力的重要性，推动了鲁棒性评估工具的创新。
整体而言，本研究不仅揭示了当前模型在实际应用中的潜在风险，也为未来模型设计提供了理论基础和实用指标，有助于实现更安全、更可靠的AI系统。未来工作将聚焦于复杂约束的影响、因果机制的揭示以及多任务、多场景的鲁棒性提升，推动AI技术的持续发展。
深度分析
研究背景
近年来，随着GPT、BERT等模型的崛起，LLMs在自然语言理解和生成任务中表现出色。指令调优（Instruction Tuning）成为提升模型对人类意图理解的关键手段，推动了多项基准测试的发展，如SuperGLUE、BIG-Bench等。尽管如此，模型在满足严格指令时可能出现性能波动，尤其在复杂任务或约束条件下表现不稳定。此前研究多关注指令符合性，缺乏对模型在实际受限场景下鲁棒性的系统评估。本文借鉴人类认知中的“干扰”现象，提出模型在追求指令符合时可能出现的“性能干扰”问题，填补了该领域的研究空白。
核心问题
核心问题在于，当前指令遵循的评估指标未能反映模型在实际应用中的鲁棒性。即使模型在标准测试中表现优异，加入自明约束后，性能可能出现大幅下降。这种干扰机制限制了模型在受控环境中的可靠性，影响其在实际场景中的应用效果。特别是在多任务、多约束的复杂环境下，模型的鲁棒性成为制约其推广的瓶颈。如何科学量化这种干扰，理解其机制，并提出有效缓解策略，成为当前研究的关键难题。
核心创新
本研究的创新点主要体现在：
1）提出SUSTAINSCORE指标，系统量化指令遵循对任务性能的影响，填补了现有评估工具的空白；
2）引入模型自我生成约束的方法，确保评估的公平性和真实性，避免能力不足的干扰；
3）结合注意力分析，揭示模型在失败案例中对约束的过度关注机制，为模型设计提供理论依据；
4）验证不同训练策略（如RL、监督微调）对干扰的调控效果，提出提升鲁棒性的潜在路径。
方法详解
- �� 设计SUSTAINSCORE指标，定义模型在无约束成功基础上，加入自明约束后性能的变化。
- �� 采集模型在数学、问答、代码任务中的成功输出，利用模型自我生成约束，确保其能力满足约束条件。
- �� 构建五类常用约束（方法、长度、关键词、风格、结构），通过规则或语义提取具体参数。
- �� 采用自动化流程，将约束加入原始指令，评估模型在新指令下的任务成功率。
- �� 分析模型注意力分布，比较成功与失败案例的差异，揭示干扰机制。
- �� 评估不同训练策略对鲁棒性的影响，验证干扰的普遍性和规模依赖性。
实验设计
- �� 采用数学（GSM8K、SVAMP等）、问答（HotpotQA、2WikiMultiHop）和代码（HumanEval、MCEval）数据集，覆盖多任务场景。
- �� 比较Claude-Sonnet-4.5、GPT-4.1、Qwen3-32B等多模型规模，分析其在无约束与有约束条件下的表现差异。
- �� 计算SUSTAINSCORE、指令遵循得分和原始任务准确率，进行横向对比。
- �� 通过不同约束类型（方法、长度、关键词等）和数量（1-16个）测试模型鲁棒性。
- �� 进行消融实验，验证模型注意力与性能变化的关系，分析训练策略影响。
结果分析
- �� 大部分模型在引入自明约束后，性能平均下降15%-35%，即使是最先进模型如Claude-Sonnet-4.5也出现明显损失。
- �� 高指令遵循得分不代表鲁棒性，GPT-4.1在指令符合性达90%以上时，其在代码任务中的SUSTAINSCORE仅为50.8%，显示出明显的差距。
- �� 约束类型对干扰影响一致，但在代码任务中关键词约束更易破坏逻辑，表现出更高敏感性。
- �� 添加约束数量在前5个时，性能下降最为明显，之后趋于平稳，说明少量约束即可有效评估鲁棒性。
应用场景
- �� 该指标可用于模型开发中的鲁棒性评估，帮助调优模型在受限场景中的表现，提升实际应用的可靠性。
- �� 在自动化问答、代码生成、智能助手等场景中，确保模型在满足用户需求的同时，保持核心任务能力。
- �� 长远来看，推动构建具有高鲁棒性和安全性的AI系统，减少模型在实际部署中的风险。
局限与展望
- �� 目前指标主要基于自明约束，未充分考虑复杂或冲突性约束的影响，未来需扩展。
- �� 注意力分析仅提供相关性证据，缺乏因果机制验证，需结合解释性模型深入研究。
- �� 实验范围有限，未来应涵盖更多任务类型和更大规模模型，以验证普适性和适应性。
通俗解读 非专业人士也能看懂
想象你在厨房做菜，任务是做一道菜。平时你只需要按照食谱操作，但如果突然加入一些额外的规则，比如“不能用盐”或“必须用特定的调料”，你可能会发现菜变得更难做，甚至做不好。模型也是如此，它们在完成任务时学会了遵循指令，但当你要求它们在已有成功的基础上加入新规则时，反而可能让它们变得不那么擅长。这就像厨房里的厨师，平时熟练，但突然加了很多限制，反而让他们迷失了方向。研究发现，模型在遵守这些新规则时，容易过度关注规则本身，忽略了核心任务，导致整体表现下降。这提醒我们，给模型设定规则时要小心，不能只追求“看起来规范”，还要确保它们能稳妥完成任务。
简单解释 像给14岁少年讲一样
想象你在玩一个游戏，你平时可以轻松完成任务，但如果突然告诉你“必须用特定的方式做”，你可能会变得更难赢。这就像模型一样，它们在学会完成任务后，如果被要求加一些额外的限制，反而可能做不好。研究发现，当我们在模型的指令里加入一些看似简单的规则，比如“要用某个词”或“不要超过一定长度”，模型的表现就会变差。这是因为模型太过关注这些限制，反而忘记了最重要的目标。就像你在玩游戏时，如果太在意规则，反而忘了怎么赢。这个研究告诉我们，给模型设规则要小心，不能只追求“看起来规范”，还要保证它们能顺利完成任务。这样才能让AI变得更聪明、更可靠。
原文摘要
Instruction following aims to align Large Language Models (LLMs) with human intent by specifying explicit constraints on how tasks should be performed. However, we reveal a counterintuitive phenomenon: instruction following can paradoxically interfere with LLMs' task-solving capability. We propose a metric, SUSTAINSCORE, to quantify the interference of instruction following with task solving. It measures task performance drop after inserting into the instruction a self-evident constraint, which is naturally met by the original successful model output and extracted from it. Experiments on current LLMs in mathematics, multi-hop QA, and code generation show that adding the self-evident constraints leads to substantial performance drops, even for advanced models such as Claude-Sonnet-4.5. We validate the generality of the interference across constraint types and scales. Furthermore, we identify common failure patterns, and by investigating the mechanisms of interference, we observe that failed cases allocate significantly more attention to constraints compared to successful ones. Finally, we use SUSTAINSCORE to conduct an initial investigation into how distinct post-training paradigms affect the interference, presenting empirical observations on current alignment strategies. We will release our code and data to facilitate further research