核心发现
方法论
本文通过探测分类器、知识神经元识别和注意力权重检查三种方法，分析LLMs在拼写过程中如何内部表示和利用字符级信息。研究表明，嵌入层未能完全编码字符信息，尤其是首字符之外的信息，LLMs依赖中高层Transformer层重构字符知识。
关键结果
- LLMs在拼写单词时，首字符准确率超过94%，但后续字符的准确率逐渐下降，表明模型在中高层重构字符信息。
- LLaMA3-8B模型在拼写任务中达到94.41%的整体准确率，而Amber-6.7B仅为58.86%，显示模型架构和预训练数据对字符级能力的影响。
- 通过神经元消融实验，发现后期字符位置的神经元对拼写任务影响更大，支持模型在后期层动态构建字符信息的假设。
研究意义
研究揭示了LLMs在字符级任务中的内在机制，挑战了其在复杂字符操作中的能力假设。通过识别拼写行为的突破层，研究为未来改进LLMs在字符级任务中的可靠性提供了基础。此研究对学术界和工业界在处理拼写、形态变化和拼写错误等应用中具有重要意义。
技术贡献
本文的技术贡献在于揭示了LLMs在字符级拼写任务中的内在机制，尤其是识别出中高层Transformer层在重构字符信息中的关键作用。这与现有的基于嵌入层的假设形成对比，为理解LLMs在字符级任务中的表现提供了新的视角。
新颖性
本研究首次系统地分析了LLMs在字符级拼写任务中的内部机制，尤其是通过识别突破层揭示了模型在重构字符信息中的动态过程。这与以往研究中对嵌入层能力的假设形成鲜明对比。
局限性
- 研究仅限于单词的单个字符拼写，未涉及多字符或多语言场景，可能限制了结果的普适性。
- 探测分类器和神经元分析方法可能未能完全捕捉模型的底层机制。
未来方向
未来研究可扩展至多语言和多字符场景，探索LLMs在更复杂字符级任务中的表现。此外，进一步研究模型在拼写任务中的注意力机制和神经元动态变化将有助于改进其字符级能力。
AI 总览摘要
大型语言模型（LLMs）在字符级拼写任务中表现出色，但在更复杂的字符操作上仍存在挑战。研究发现，尽管LLMs可以高精度地逐字符拼写单词，但其嵌入层未能完全编码字符信息，尤其是首字符之外的信息。
通过探测分类器、知识神经元识别和注意力权重检查，研究揭示了LLMs在拼写过程中依赖中高层Transformer层重构字符知识的机制。实验表明，LLMs在拼写单词时，首字符的准确率超过94%，但后续字符的准确率逐渐下降，表明模型在中高层重构字符信息。
研究的意义在于挑战了LLMs在复杂字符操作中的能力假设，为未来改进LLMs在字符级任务中的可靠性提供了基础。通过识别拼写行为的突破层，研究为学术界和工业界在处理拼写、形态变化和拼写错误等应用中提供了新的视角。
深度解读
原文摘要
Large language models (LLMs) can spell out tokens character by character with high accuracy, yet they struggle with more complex character-level tasks, such as identifying compositional subcomponents within tokens. In this work, we investigate how LLMs internally represent and utilize character-level information during the spelling-out process. Our analysis reveals that, although spelling out is a simple task for humans, it is not handled in a straightforward manner by LLMs. Specifically, we show that the embedding layer does not fully encode character-level information, particularly beyond the first character. As a result, LLMs rely on intermediate and higher Transformer layers to reconstruct character-level knowledge, where we observe a distinct "breakthrough" in their spelling behavior. We validate this mechanism through three complementary analyses: probing classifiers, identification of knowledge neurons, and inspection of attention weights.