核心发现
方法论
研究通过分析知识神经元，揭示多跳事实捷径的存在，并提出一种基于神经元擦除的方法来缓解捷径对知识编辑的影响。实验使用MQUAKE-CF-3K数据集，结合Dolma和Wikipedia预训练语料进行频率分析。
关键结果
- 结果1：多跳问题中捷径的强度与初始和终端实体在预训练语料中的共现频率高度相关，频率超过10次的实例更易受捷径影响。
- 结果2：Few-shot提示比Chain-of-Thought提示更依赖捷径，后者能更有效地引导模型进行逐步推理。
- 结果3：擦除捷径相关神经元后，多跳知识编辑失败率显著降低，GPT-J的失败率从25.83%降至22.13%。
研究意义
该研究揭示了大型语言模型在多跳推理中依赖事实捷径的现象，并提出了缓解方法。这不仅提升了知识编辑的可靠性，也为多跳推理能力的进一步优化提供了新的方向。
技术贡献
提出了基于知识神经元擦除的捷径缓解方法，结合频率分析和神经元定位技术，显著降低了多跳知识编辑失败率，同时验证了捷径与预训练语料中共现频率的强相关性。
新颖性
首次系统性分析了多跳事实捷径对知识编辑的影响，并提出了擦除捷径神经元的解决方案，填补了多跳推理一致性研究的空白。
局限性
- 局限1：擦除神经元可能影响模型对其他相关知识的推理能力。
- 局限2：方法依赖于预训练语料的共现频率，无法完全消除低频捷径。
- 局限3：实验仅在GPT-J和LLaMA-2上验证，未覆盖更广泛的模型。
未来方向
未来可探索更精细的神经元定位方法，研究如何在预训练阶段减少捷径的生成，并扩展至更多语言模型和任务场景。
AI 总览摘要
近年来，大型语言模型（LLMs）在知识回忆和推理方面表现出色，但其在多跳推理中的可靠性尚未充分研究。本研究揭示了LLMs在多跳推理中利用事实捷径的现象，这些捷径源于预训练语料中初始和终端实体的直接关联。
通过分析知识神经元，研究发现捷径的强度与实体共现频率高度相关，且Few-shot提示比Chain-of-Thought提示更易触发捷径。实验表明，约20%的知识编辑失败与捷径有关，尤其是高频共现的实例。
为缓解捷径带来的风险，研究提出擦除捷径相关神经元的方法，显著降低了多跳知识编辑失败率。这一方法不仅提升了模型的推理一致性，也为优化多跳推理能力提供了新的方向。
深度解读
原文摘要
Recent work has showcased the powerful capability of large language models (LLMs) in recalling knowledge and reasoning. However, the reliability of LLMs in combining these two capabilities into reasoning through multi-hop facts has not been widely explored. This paper systematically investigates the possibilities for LLMs to utilize shortcuts based on direct connections between the initial and terminal entities of multi-hop knowledge. We first explore the existence of factual shortcuts through Knowledge Neurons, revealing that: (i) the strength of factual shortcuts is highly correlated with the frequency of co-occurrence of initial and terminal entities in the pre-training corpora; (ii) few-shot prompting leverage more shortcuts in answering multi-hop questions compared to chain-of-thought prompting. Then, we analyze the risks posed by factual shortcuts from the perspective of multi-hop knowledge editing. Analysis shows that approximately 20% of the failures are attributed to shortcuts, and the initial and terminal entities in these failure instances usually have higher co-occurrences in the pre-training corpus. Finally, we propose erasing shortcut neurons to mitigate the associated risks and find that this approach significantly reduces failures in multiple-hop knowledge editing caused by shortcuts.