核心发现
方法论
采用ALTI（Layer-Wise Token-to-Token Interactions）算法，追踪Transformer模型中每个输入token对输出的贡献。通过对多语言模型（如LLaMA-2和TOWER）在WMT22数据集上的5-shot提示进行逐层分析，量化不同上下文部分（源文本、示例、目标前缀）对翻译结果的影响。研究还结合位置偏差分析，探讨示例顺序和内容相关性对贡献的影响，利用偏差检测揭示潜在的病理翻译。
关键结果
- 无论翻译方向如何，示例源文本的贡献均大于对应目标，源文本在中英翻译中贡献比例高达60%以上。模型在多语言环境中表现出明显的偏置，早期示例贡献显著高于后续示例，且微调后偏差减弱。通过分析异常贡献发现，低源贡献常伴随幻觉等病理翻译，揭示模型在特定上下文下的潜在风险。
- 在不同模型（LLaMA-2、TOWER）中，示例位置偏差持续存在，且在加入任务描述或复制测试样本后，偏差有所减弱。实验还显示，模型在逐步生成过程中，源文本贡献逐渐减少，而目标前缀贡献增加，验证了传统神经机器翻译中源信息逐渐被目标上下文取代的现象。
- 通过偏差检测，能有效识别潜在的幻觉翻译，提供模型内部机制的可解释性工具。研究还发现，微调和任务特定训练会减弱示例偏差，但不能完全消除偏向，提示未来模型需在偏差控制和鲁棒性方面优化。
研究意义
本研究首次系统性揭示了LLMs在机器翻译中的上下文利用机制，超越传统编码器-解码器模型的理解。通过量化不同上下文部分的贡献，为模型解释性提供了新工具，有助于提升模型的透明度和安全性。研究结果对于设计更鲁棒、偏差可控的多语言翻译模型具有重要意义，推动LLMs在实际应用中的可信度和可控性提升。此外，偏差检测技术也为识别幻觉等病理行为提供了潜在途径，有助于未来的模型安全性研究。
技术贡献
本研究引入ALTI方法，结合层级贡献追踪，创新性地量化了多语言LLMs在机器翻译中的上下文贡献。通过细粒度的层级分析，揭示了示例位置偏差和内容相关性对模型行为的影响。与传统注意力权重不同，ALTI提供了更具解释性的贡献矩阵，增强了模型内部信息流的可视化能力。研究还结合偏差分析，提出了检测幻觉的潜在指标，为模型安全性提供了新思路。微调对贡献模式的影响分析，为模型训练策略提供了理论依据。
新颖性
本研究首次系统性分析了LLMs在机器翻译中的上下文贡献机制，特别是引入ALTI层级追踪方法，揭示了示例位置偏差和内容相关性对模型行为的影响。与以往仅关注性能指标的研究不同，本文强调模型内部信息流的解释性，为理解模型决策提供了新视角。此外，结合偏差检测识别幻觉，为模型安全性和鲁棒性研究提供了创新路径。这些贡献在多语言、多任务场景中具有广泛的应用潜力。
局限性
- 本研究主要基于WMT22数据集和特定模型（LLaMA-2、TOWER），在其他模型或数据集上的泛化能力尚待验证。ALTI方法在大模型上计算成本较高，限制了样本规模，可能影响统计稳定性。偏差分析虽揭示潜在风险，但未提供具体的偏差控制策略，未来需结合训练优化进行改善。模型在极端偏差或复杂语境下的表现仍不充分，需进一步研究偏差缓解机制。
未来方向
未来可探索结合偏差检测与训练策略，设计偏差控制机制，提升模型鲁棒性。还应扩展到更大规模、多任务、多语言环境，验证偏差检测的普适性。开发实时偏差监控工具，增强模型在实际应用中的安全性。此外，结合解释性技术，优化模型内部信息流，减少幻觉和偏差行为，推动多模态、多任务模型的可信度提升。
AI 总览摘要
近年来，大规模语言模型（LLMs）在机器翻译（MT）领域取得了突破性进展，表现出超越传统编码器-解码器架构的能力。它们通过少量示例实现了出色的上下文学习能力，但内部机制尚未完全理解。本文采用ALTI（Layer-Wise Token-to-Token Interactions）方法，追踪模型中每个输入token对输出的贡献，深入分析了多语言模型在不同上下文部分的利用情况。
研究发现，无论翻译方向如何，源文本在示例中的贡献始终高于目标文本，显示出明显的偏差。此外，早期示例对翻译的影响明显大于后续示例，揭示了位置偏差的存在。这一偏差在微调后有所减弱，但仍然显著。通过分析异常贡献，模型的幻觉行为得以识别，为模型安全性提供了新思路。
这些发现不仅丰富了对LLMs内部工作机制的理解，也为提升模型的解释性和鲁棒性提供了技术基础。未来，结合偏差检测与训练优化，有望开发出更安全、可信的多语言翻译系统，推动AI在实际场景中的应用落地。尽管如此，偏差控制和模型泛化仍面临挑战，仍需持续探索。
深度分析
研究背景
近年来，LLMs在自然语言处理中的表现不断提升，尤其在机器翻译任务中展现出强大能力。早期工作如Transformer（Vaswani et al., 2017）推动了端到端神经机器翻译的发展，随后引入的BERT（Devlin et al., 2019）和GPT（Radford et al., 2018）进一步增强了模型理解能力。传统MT模型多依赖编码器-解码器结构，强调源目标对齐。近年来，LLMs通过少样本学习（few-shot learning）实现无需微调的迁移，成为研究热点。然而，关于其内部信息流、上下文利用机制的理解仍有限，尤其是在多示例、多语言环境下的偏差和风险尚未充分揭示。
核心问题
尽管LLMs在MT中表现优异，但其内部的上下文贡献机制尚不明确。尤其是，示例位置偏差、内容相关性对模型行为的影响未被系统研究。幻觉等病理行为的出现，提示模型在特定上下文下可能依赖不合理信息，影响翻译质量。理解这些机制对于提升模型透明度、减少偏差和幻觉具有重要意义。现有研究多关注性能指标，缺乏对模型内部信息流的层级分析和偏差检测工具，限制了模型安全性和可解释性的发展。
核心创新
本研究创新性地引入ALTI层级贡献追踪方法，结合多语言模型的上下文分析，系统量化了示例源文本、目标文本和位置偏差。通过层级矩阵，揭示了不同上下文部分在翻译中的具体贡献差异。研究还结合偏差检测技术，识别幻觉行为，为模型安全提供新工具。与传统注意力分析不同，ALTI提供了更细粒度的贡献解释，增强了模型内部信息流的可视化能力。此方法可推广到其他任务和模型，为模型解释性研究提供新思路。
方法详解
- �� 采用ALTI算法，追踪Transformer模型中每层的token贡献，构建贡献矩阵。• 通过对多语言模型（LLaMA-2、TOWER）在WMT22数据集上的5-shot提示，分析不同上下文部分（示例源、示例目标、源文本、目标前缀）对翻译的贡献。• 结合位置偏差分析，比较示例在不同位置的贡献差异，利用偏差检测识别潜在幻觉。• 采用逐层分析，观察生成过程中的贡献变化，验证源信息逐渐被目标上下文取代的现象。• 通过异常贡献样本，探讨模型在偏差和幻觉方面的表现，为偏差控制提供依据。
实验设计
实验在WMT22公开数据集上进行，涵盖英德、德英、英俄、俄英等语言对。模型包括LLaMA-2、TOWER和微调版TOWERINSTRUCT。采用5-shot提示，随机打乱示例顺序，确保示例内容相关性。利用ALTI方法计算每个输入部分的贡献，分析不同位置和内容对翻译的影响。通过偏差检测，识别幻觉案例，并在不同生成阶段分析贡献变化。实验还比较微调前后偏差变化，验证训练策略对贡献模式的影响。
结果分析
结果显示，无论翻译方向如何，示例源文本贡献明显高于目标，源文本贡献比例在60%以上。早期示例贡献显著高于后续，位置偏差持续存在。微调后偏差减弱，但仍显著。异常贡献分析揭示幻觉行为，低源贡献常伴幻觉出现。模型在逐步生成中，源贡献逐渐减少，目标贡献上升，验证传统MT的动态信息流特性。偏差检测为模型安全提供了新工具，未来可结合训练策略进行偏差缓解。
应用场景
本研究的偏差分析工具可应用于模型调试、偏差控制和安全监控，帮助开发更鲁棒的多语言翻译系统。通过识别潜在幻觉，提升模型在实际场景中的可信度。未来可结合偏差检测与训练优化，设计偏差缓解机制，推动模型在自动翻译、内容生成等多领域的应用。偏差控制技术还可用于多模态模型，增强其安全性和解释性，满足行业对可信AI的需求。
局限与展望
本研究主要基于特定模型和数据集，泛化到其他模型和场景仍需验证。ALTI方法计算成本较高，限制大规模样本分析。偏差检测虽有效，但未提出具体偏差缓解策略，偏差控制仍是未来挑战。模型在极端偏差或复杂语境下表现不足，需进一步研究偏差缓解机制。未来应结合训练策略，提升模型的鲁棒性和公平性，减少幻觉和偏差行为。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，所有的食材和步骤都代表模型的输入。每次放入食材（输入token），厨师（模型）会根据已有的食材和步骤，决定下一步做什么。当你放入不同的食材顺序或量，厨师的反应也会不同。这个研究就像是在分析厨师在做饭时，哪些食材（上下文部分）对最终菜肴（翻译）影响最大。研究发现，厨师更重视最早放入的食材（示例偏差），而且如果某个食材放得越早，越容易影响菜肴的味道（翻译结果）。此外，如果厨房里放的食材少或偏差，菜肴可能会出现奇怪的味道（幻觉）。通过观察厨师的反应，可以帮助我们理解和改进厨房的流程，让做出来的菜更美味、更可靠。
简单解释 像给14岁少年讲一样
想象你在学校做项目，你有一堆资料（输入），老师让你用这些资料写报告（翻译）。你会发现，最早给你的资料（示例）对你写报告的帮助最大，后面给的资料影响就小很多。这就像是模型在翻译时，更看重最开始的示例内容，而不是后面新加入的内容。研究还发现，如果你在资料里放一些错误信息（幻觉），模型可能会照着错误的内容写，导致报告出现问题。通过观察哪些资料对结果影响大，可以帮我们找到模型出错的原因，改进它的学习方式，让它写的报告更靠谱、更准确。
原文摘要
Large language models (LLMs) have achieved state-of-the-art performance in machine translation (MT) and demonstrated the ability to leverage in-context learning through few-shot examples. However, the mechanisms by which LLMs use different parts of the input context remain largely unexplored. In this work, we provide a comprehensive analysis of context utilization in MT, studying how LLMs use various context parts, such as few-shot examples and the source text, when generating translations. We highlight several key findings: (1) the source part of few-shot examples appears to contribute more than its corresponding targets, irrespective of translation direction; (2) finetuning LLMs with parallel data alters the contribution patterns of different context parts; and (3) there is a positional bias where earlier few-shot examples have higher contributions to the translated sequence. Finally, we demonstrate that inspecting anomalous context contributions can potentially uncover pathological translations, such as hallucinations. Our findings shed light on the internal workings of LLM-based MT which go beyond those known for standard encoder-decoder MT models.