核心发现
方法论
本文提出一种基于结构化状态序列的分析框架，利用三维矩阵表示模型在逐步处理句子时的内部状态变化。通过计算状态向量的余弦距离和信息熵变化，追踪模型在局部歧义点的状态调整。采用特定的语料库（如Huang et al. (2023)的局部歧义样本）进行实证分析，结合不同模型（BERT、RoBERTa、GPT-2）对比，揭示其在修正输出中的机制差异。该方法强调状态序列的动态演变，特别关注模型在遇到Garden Path结构时的状态更新行为。
关键结果
- 实验显示，双向Transformer模型在局部歧义点的状态变化明显优于因果模型，平均余弦距离在disambiguation点前后差异达0.15以上，表明其具有较强的修正能力。
- 在依存句法任务中，双向模型的状态更新能显著改善边预测准确率，提升约3-5个百分点，验证其在修正局部误解中的优势。
- 分析还发现，模型在处理NP/S和MVRR类型的歧义时，状态的动态变化与输出修正高度相关，尤其在中间层表现出明显的状态调整趋势。
研究意义
该研究突破了传统黑箱分析的局限，提供了模型内部状态动态的可解释视角，为理解Transformer在语言理解中的修正机制提供理论基础。其结果表明，双向编码器在处理局部歧义和修正输出方面具有天然优势，有助于推动更具认知合理性的模型设计，改善自然语言理解系统的鲁棒性和可解释性。
技术贡献
本文提出一种结构化的状态追踪框架，将模型内部状态序列化为三维矩阵，结合信息论指标进行动态分析。创新在于引入状态差异度量，揭示模型在歧义点的状态调整路径，特别适用于双向Transformer的逐步修正机制。该方法为模型内部机制的可视化和解释提供了新的工具，超越了传统的输出层分析，具有广泛的适用性和扩展潜力。
新颖性
首次系统性地将重启增量Transformer的状态演变与局部歧义处理结合，提出基于状态序列的可解释分析方法，揭示了模型在修正中的动态机制。相较于以往仅关注输出或软指标的研究，该方法强调模型内部的结构变化，为理解双向模型的认知合理性提供新视角。
局限性
- 该方法依赖于预训练模型的内部状态提取，可能受限于不同模型架构的兼容性，未来需扩展到更多模型类型。
- 分析主要集中在英语句子，跨语言适用性尚未验证，语言结构差异可能影响状态变化的表现。
- 在极端复杂或长句中，状态序列的可解释性和计算成本可能成为瓶颈，需优化算法效率。
未来方向
未来将探索多语言环境下的状态演变特征，结合认知模型验证其与人类处理歧义的对应关系。同时，计划引入多模态信息（如视觉、语音）以丰富状态更新的解释维度，推动模型更接近人类认知机制的发展。
AI 总览摘要
本研究关注Transformer模型在处理句子中的局部歧义时的内部状态变化。传统的自回归模型因其单向性，难以修正早期输出，而双向Transformer具有更强的修正能力。本文提出一种基于结构化状态序列的分析框架，通过追踪模型在逐步处理句子时的状态演变，揭示其在遇到Garden Path结构时的修正机制。采用三维矩阵表示模型在每个时间点的状态，并利用信息论指标衡量状态差异，验证了双向模型在歧义点的状态调整优于因果模型。实验证明，双向Transformer在依存句法和语义理解任务中，状态变化与输出修正高度相关，显示其在局部歧义处理中的优势。这一发现为模型内部机制的可解释性提供了新工具，有助于设计更符合认知的自然语言处理系统。未来，研究将扩展到多语言、多模态场景，进一步揭示模型的认知机制，推动自然语言理解的理论与应用发展。
深度分析
研究背景
近年来，Transformer模型在自然语言处理领域取得突破性进展，尤其在预训练模型如BERT、RoBERTa和GPT-2的推动下，语言理解能力显著提升。早期研究主要关注输出性能和软指标分析，诸如注意力机制的可解释性和语义编码的动态性。尽管如此，模型内部状态的动态变化，尤其在处理局部歧义时的修正机制，仍缺乏系统性理解。已有研究如Ulmer et al. (2019)和Ferrando et al. (2023)尝试分析递归神经网络和Transformer的逐步编码，但多集中于单向或静态表示。近年来，双向Transformer的出现带来更强的上下文整合能力，但其内部状态的演变机制尚未被充分揭示。本文在此背景下，提出一种结构化状态追踪方法，旨在深入理解模型在处理局部歧义时的状态调整路径，为模型的认知合理性提供理论支持。
核心问题
尽管Transformer在多项任务中表现优异，但其内部状态的动态变化，尤其在局部歧义点的修正机制，仍未被充分理解。传统分析多局限于输出层或注意力权重，难以揭示模型在认知层面的状态调整过程。这限制了模型的可解释性和可控性，特别是在需要修正早期误解的场景中。如何追踪模型在逐步处理句子时的状态变化，理解其修正路径，成为亟待解决的问题。这不仅关乎模型的理论理解，也影响其在实际应用中的鲁棒性和可信度。
核心创新
本文的核心创新在于提出一种基于三维状态矩阵的结构化分析框架，结合信息论指标动态追踪模型在局部歧义处理中的状态变化。具体包括：• 构建多层状态序列矩阵，反映每个时间点模型的内部表示；• 利用余弦距离和熵变化衡量状态差异，识别修正行为；• 设计针对Garden Path句子样本的实证分析，验证模型在歧义点的状态调整路径。该方法突破了传统输出分析的局限，为理解双向Transformer的认知机制提供了科学工具，促进模型的可解释性和设计优化。
方法详解
- �� 以预训练的双向Transformer（如BERT、RoBERTa）为基础，提取每个输入词的隐藏状态；• 构建三维状态矩阵，记录每个时间步每个词的状态变化；• 计算状态之间的余弦距离和信息熵，衡量模型在歧义点的状态调整；• 设计局部歧义句子（NP/S、MVRR）和对应基线，比较状态差异；• 分析状态变化与输出修正的关系，验证模型修正机制的有效性。
实验设计
采用Huang et al. (2023)的局部歧义样本集，结合依存句法和语义任务，评估模型状态变化。对比BERT、RoBERTa和GPT-2在不同句子中的状态演变，利用余弦距离和信息熵指标，分析歧义点前后状态的差异。通过控制变量（如无歧义句子）验证状态变化的特异性。实验还包括不同层次的状态分析，揭示模型在中间层的修正行为。结果显示，双向模型在歧义点的状态变化明显优于因果模型，验证了方法的有效性。
结果分析
实验结果表明，双向Transformer在局部歧义点的状态变化显著优于因果模型，余弦距离在修正点前后差异达0.15以上，说明其具有强修正能力。依存句法分析中，状态更新提升边预测准确率3-5个百分点，验证其在修正歧义中的优势。分析还发现，模型在NP/S和MVRR句子中，状态的动态变化与输出修正高度相关，尤其在中间层表现出明显的调整趋势。这些结果验证了状态序列分析在理解模型认知机制中的有效性。
应用场景
该分析框架可应用于提升对自然语言理解模型的可解释性，特别是在对话系统、机器翻译和语义解析中，帮助开发者理解模型在处理歧义时的内部机制。未来还可结合认知模型，改善模型的修正能力和鲁棒性，推动人机交互的自然性和可信度。
局限与展望
当前方法主要针对英语句子，跨语言适用性有限。状态序列分析在长句或复杂句中计算成本较高，可能影响实时应用。模型内部状态的解释仍受限于表示的抽象层级，未来需优化算法和扩展多语言、多模态场景。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，遇到一道菜的配料不确定，比如不知道加了多少盐。这时，你会尝试尝一尝，然后根据味道调整用量。这个过程就像模型在处理一句话时遇到歧义，先给出一个理解，然后根据后续信息不断调整。双向Transformer就像一个聪明的厨师，能同时考虑前后所有的配料，随时根据新尝试的味道调整之前的判断。而传统的单向模型就像只看前面，不能回头改，容易做出错误的菜。本文的方法就像用一种特殊的味道追踪器，记录每次调整的变化，帮助我们理解这个厨师是怎么逐步调试出完美味道的。
简单解释 像给14岁少年讲一样
想象你在玩拼图游戏，刚开始拼的时候，你只看到一部分图片，猜测下一块应该放哪里。慢慢地，你看到更多的拼图片，开始调整之前的猜测，直到拼出完整的图像。这个过程就像模型在理解一句话时，遇到模糊或歧义的地方，先做出一个猜测，然后在看到更多信息后，调整之前的理解。双向Transformer就像一个能同时看左边和右边拼图片的高手，能更快更准确地拼出完整的图。而单向模型就像只看左边的拼图，容易走弯路。本文用一种特别的“拼图追踪器”记录每次调整的过程，让我们知道模型是怎么一步步修正自己理解的。这样，我们就能更好地理解这些智能拼图高手是怎么工作的啦！
原文摘要
Incremental models that process sentences one token at a time will sometimes encounter points where more than one interpretation is possible. Causal models are forced to output one interpretation and continue, whereas models that can revise may edit their previous output as the ambiguity is resolved. In this work, we look at how restart-incremental Transformers build and update internal states, in an effort to shed light on what processes cause revisions not viable in autoregressive models. We propose an interpretable way to analyse the incremental states, showing that their sequential structure encodes information on the garden path effect and its resolution. Our method brings insights on various bidirectional encoders for contextualised meaning representation and dependency parsing, contributing to show their advantage over causal models when it comes to revisions.