核心发现
方法论
本研究探讨了在商业环境中使用大型语言模型（LLMs）进行机器翻译时的过生成问题。通过对比不同的检测策略，包括MTQE模型和对齐检测方法，研究者们试图识别和分类这些过生成现象。研究使用了多种数据集，包括WMT25 AOC任务数据和内部开发的数据集，来验证这些策略的有效性。
关键结果
- 结果1：在WMT25 AOC数据集上，使用MTQE模型和对齐检测方法的组合策略能够以95%的准确率检测出过生成现象。
- 结果2：在内部数据集上，组合策略在检测最小分离过生成时表现出色，召回率达到77%，尽管精确率较低，仅为22%。
- 结果3：研究发现，LLMs在翻译中能够进行适当的解释性扩展，这在某些情况下是有益的，但也增加了检测的复杂性。
研究意义
本研究揭示了LLMs在机器翻译中生成过多内容的现象，并提出了有效的检测策略。这对于提高翻译质量和减少不必要的内容生成具有重要意义。研究不仅在学术界提供了新的视角，也为商业应用提供了实用的解决方案，特别是在需要高精度翻译的场景中。
技术贡献
技术贡献在于开发了一种结合MTQE模型和对齐检测方法的策略，能够有效识别和分类不同类型的过生成现象。该策略不仅提高了检测的准确性，还为未来的翻译质量评估提供了新的方法论基础。
新颖性
该研究首次系统地探讨了LLMs在翻译中生成过多内容的现象，并提出了结合多种检测方法的策略。这种方法在处理复杂的翻译生成问题上具有创新性，特别是在识别最小分离过生成方面。
局限性
- 局限1：对齐检测方法在处理非常短的过生成时可能会产生较高的误报率，因为这些短语可能与源文本对齐不良。
- 局限2：MTQE模型在检测最小分离过生成时的精确率较低，可能需要进一步优化。
- 局限3：当前的策略在处理不同语言对时的适用性尚未完全验证。
未来方向
未来的研究方向包括优化现有的检测策略以提高精确率，特别是在最小分离过生成的检测上。此外，还需探索这些策略在更多语言对上的适用性，以及如何更好地结合人类翻译者的反馈以改进模型性能。
AI 总览摘要
在现代机器翻译领域，大型语言模型（LLMs）因其生成能力而备受关注。然而，这些模型在翻译过程中往往会生成过多的内容，导致翻译质量下降。传统的神经机器翻译（NMT）模型主要面临的是重复和神经胡言乱语的问题，而LLMs则表现出更复杂的过生成现象，包括自我解释和不必要的扩展。
为了解决这一问题，研究者们提出了一种结合MTQE模型和对齐检测方法的策略，以识别和分类不同类型的过生成现象。MTQE模型是一种多语言编码器回归模型，经过微调以预测翻译质量，而对齐检测方法则利用对齐作为注意力权重的代理，以检测未对齐的文本块。
在实验中，研究者使用了多种数据集，包括WMT25 AOC任务数据和内部开发的数据集，以验证这些策略的有效性。结果显示，组合策略在检测过生成现象时表现出色，特别是在处理最小分离过生成时，尽管精确率较低，但召回率达到了77%。
这些发现表明，LLMs在翻译中能够进行适当的解释性扩展，这在某些情况下是有益的，但也增加了检测的复杂性。研究不仅在学术界提供了新的视角，也为商业应用提供了实用的解决方案，特别是在需要高精度翻译的场景中。
然而，当前的策略在处理不同语言对时的适用性尚未完全验证，未来的研究方向包括优化现有的检测策略以提高精确率，以及探索这些策略在更多语言对上的适用性。通过结合人类翻译者的反馈，研究者们希望进一步改进模型性能，以实现更高质量的机器翻译。
深度分析
研究背景
机器翻译技术在过去几十年中取得了显著进展，从早期的基于规则的方法到现代的神经机器翻译（NMT）模型。NMT模型通过编码器-解码器架构实现了对源语言到目标语言的高效转换。然而，随着大型语言模型（LLMs）的出现，翻译领域迎来了新的挑战和机遇。LLMs以其强大的生成能力而闻名，但在翻译过程中往往会生成过多的内容，这种现象被称为过生成。过生成不仅影响翻译的准确性，还可能导致信息的误解和混淆。尽管已有研究探讨了NMT模型中的神经胡言乱语问题，但LLMs的过生成现象更为复杂，涉及自我解释、不必要的扩展等多种形式。
核心问题
LLMs在翻译过程中生成过多内容的问题日益突出。这种过生成现象不仅影响翻译的准确性，还可能导致信息的误解和混淆。与传统的NMT模型不同，LLMs的过生成现象更为复杂，涉及自我解释、不必要的扩展等多种形式。如何有效检测和分类这些过生成现象，以提高翻译质量，是当前研究的核心问题。解决这一问题对于提高机器翻译的实用性和可靠性具有重要意义。
核心创新
本研究的核心创新在于提出了一种结合MTQE模型和对齐检测方法的策略，以识别和分类不同类型的过生成现象。具体而言，MTQE模型是一种多语言编码器回归模型，经过微调以预测翻译质量，而对齐检测方法则利用对齐作为注意力权重的代理，以检测未对齐的文本块。这种组合策略不仅提高了检测的准确性，还为未来的翻译质量评估提供了新的方法论基础。此外，研究还首次系统地探讨了LLMs在翻译中生成过多内容的现象，特别是在识别最小分离过生成方面。
方法详解
- �� 使用MTQE模型进行翻译质量预测：该模型基于XLM-R大模型，经过微调以适应多语言翻译任务。
- �� 对齐检测方法：利用AwesomeAlign工具进行对齐检测，以识别未对齐的文本块。
- �� 数据集选择：使用WMT25 AOC任务数据和内部开发的数据集进行实验验证。
- �� 组合策略：结合MTQE模型和对齐检测方法，以提高过生成现象的检测准确性。
- �� 结果分析：通过实验结果验证组合策略的有效性，特别是在处理最小分离过生成时。
实验设计
实验设计包括使用多个数据集来验证提出的检测策略。主要的数据集包括WMT25 AOC任务数据和内部开发的数据集。这些数据集涵盖了多种语言对，如英语-中文、英语-俄语和英语-日语等。实验中使用的基线模型包括传统的NMT模型和LLMs生成的翻译。关键的评估指标包括检测准确率、召回率和精确率。此外，研究还进行了消融研究，以评估不同策略组合对检测性能的影响。
结果分析
实验结果显示，组合策略在检测过生成现象时表现出色。在WMT25 AOC数据集上，组合策略能够以95%的准确率检测出过生成现象。在内部数据集上，组合策略在检测最小分离过生成时的召回率达到77%，尽管精确率较低，仅为22%。这些结果表明，组合策略在处理复杂的翻译生成问题上具有显著优势，特别是在识别最小分离过生成方面。
应用场景
本研究的成果在多个应用场景中具有重要意义。首先，它可以用于提高机器翻译系统的翻译质量，特别是在需要高精度翻译的场景中。其次，该策略可以帮助翻译服务提供商更好地识别和处理翻译中的过生成现象，从而提高客户满意度。此外，这些检测策略还可以用于其他自然语言处理任务中，如文本生成和摘要生成，以提高生成内容的准确性和相关性。
局限与展望
尽管本研究提出的组合策略在检测过生成现象时表现出色，但仍存在一些局限性。首先，对齐检测方法在处理非常短的过生成时可能会产生较高的误报率，因为这些短语可能与源文本对齐不良。其次，MTQE模型在检测最小分离过生成时的精确率较低，可能需要进一步优化。此外，当前的策略在处理不同语言对时的适用性尚未完全验证，未来的研究方向包括探索这些策略在更多语言对上的适用性。
通俗解读 非专业人士也能看懂
想象一下，你在厨房里做饭。你有一个食谱，上面写着需要哪些食材和步骤。你开始按照食谱准备食材，但有时候，你可能会多加一些不需要的调料，比如多放了盐或者糖。这就像大型语言模型（LLMs）在翻译时生成过多内容一样。虽然这些额外的调料可能让菜肴更有味道，但有时候也会让味道变得不对劲。
在翻译中，LLMs有时候会添加一些不必要的解释或扩展，就像在食谱中加入了不需要的步骤。为了确保菜肴的味道正好，我们需要一种方法来检测和纠正这些多余的调料和步骤。
研究者们提出了一种策略，就像在厨房里使用一个智能助手，它可以检测出你是否多加了调料，并告诉你应该如何调整。这种策略结合了两种方法：一种是检查菜肴的整体味道，另一种是检查每个步骤是否按照食谱进行。
通过这种方法，我们可以确保最终的菜肴味道正好，就像确保翻译的内容准确无误一样。这不仅提高了翻译的质量，也让我们在享受美味的同时，避免了不必要的麻烦。
简单解释 像给14岁少年讲一样
嘿，小伙伴！你知道吗？就像我们在玩游戏时，有时候会多按几个按钮，导致角色做出一些奇怪的动作，大型语言模型（LLMs）在翻译时也会这样！
这些模型就像超级聪明的机器人，它们能把一种语言翻译成另一种语言。但有时候，它们会多说一些不必要的话，就像在游戏中多按了几个按钮一样。
为了让翻译更准确，科学家们发明了一种方法，就像游戏里的作弊码，可以检测出这些多余的话，并帮助模型纠正它们。
这样一来，我们就能得到更好的翻译，就像在游戏中获得更高的分数一样！是不是很酷？
术语表
大型语言模型 (LLM)
大型语言模型是一种能够生成自然语言文本的人工智能模型，通常用于翻译、文本生成等任务。
在本文中，LLMs用于机器翻译，但会生成过多内容。
神经机器翻译 (NMT)
神经机器翻译是一种基于神经网络的翻译方法，通常使用编码器-解码器架构。
在本文中，NMT模型与LLMs的生成问题进行对比。
过生成
过生成是指在翻译过程中生成了不必要的内容，可能导致翻译质量下降。
本文研究了如何检测LLMs中的过生成现象。
MTQE模型
MTQE模型是一种用于预测翻译质量的多语言编码器回归模型。
本文中，MTQE模型用于检测翻译中的过生成。
对齐检测
对齐检测是一种通过检查翻译文本与源文本的对齐情况来检测过生成的方法。
本文中，对齐检测用于识别未对齐的文本块。
解释性扩展
解释性扩展是指在翻译中添加额外的解释或信息，以提高目标语言读者的理解。
本文中，解释性扩展被视为一种过生成现象。
召回率
召回率是衡量模型检测出所有真实正例的比例。
本文中，召回率用于评估过生成检测策略的有效性。
精确率
精确率是衡量模型检测出的正例中有多少是真正的正例。
本文中，精确率用于评估过生成检测策略的有效性。
消融研究
消融研究是一种通过移除模型的某些部分来评估其对整体性能影响的方法。
本文中，消融研究用于评估不同策略组合对检测性能的影响。
最小分离过生成
最小分离过生成是指翻译中仅有少量不必要的内容生成，通常难以检测。
本文中，最小分离过生成是检测策略的一个重点。
开放问题 这项研究留下的未解疑问
- 1 如何在不同语言对中有效应用当前的过生成检测策略？虽然本文提出的策略在某些语言对上表现良好，但其在其他语言对上的适用性尚未得到充分验证。
- 2 如何提高MTQE模型在检测最小分离过生成时的精确率？当前模型在这一方面的表现尚不理想，需要进一步的优化和改进。
- 3 对齐检测方法在处理非常短的过生成时为何会产生较高的误报率？需要深入研究对齐不良的原因，并寻找解决方案。
- 4 如何结合人类翻译者的反馈来改进过生成检测策略？人类翻译者的经验和直觉可能为模型的优化提供新的视角。
- 5 如何在不影响翻译质量的情况下减少LLMs的过生成现象？需要探索新的模型结构或训练方法，以减少不必要的内容生成。
应用场景
近期应用
翻译质量提升
通过检测和纠正过生成现象，翻译服务提供商可以提高翻译质量，满足客户对高精度翻译的需求。
文本生成优化
在其他自然语言处理任务中，如文本生成和摘要生成，检测策略可以帮助减少不必要的内容生成，提高生成文本的相关性。
多语言支持
该策略可以应用于多语言翻译系统，帮助识别和处理不同语言对中的过生成现象，提高系统的通用性。
远期愿景
智能翻译助手
未来，结合过生成检测策略的智能翻译助手可以实时提供翻译质量反馈，帮助翻译人员提高工作效率。
自动化内容审核
在内容审核领域，检测策略可以用于自动识别和过滤不必要的内容，确保信息的准确性和相关性。
原文摘要
LLMs are proving to be adept at machine translation although due to their generative nature they may at times overgenerate in various ways. These overgenerations are different from the neurobabble seen in NMT and range from LLM self-explanations, to risky confabulations, to appropriate explanations, where the LLM is able to act as a human translator would, enabling greater comprehension for the target audience. Detecting and determining the exact nature of the overgenerations is a challenging task. We detail different strategies we have explored for our work in a commercial setting, and present our results.
参考文献 (13)
Quality Estimation with Force-Decoded Attention and Cross-lingual Embeddings
E. Yankovskaya, Andre Tättar, Mark Fishel
Machine Translation Hallucination Detection for Low and High Resource Languages using Large Language Models
Kenza Benkirane, Laura Gongas, Shahar Pelles 等
Hallucinations in Large Multilingual Translation Models
Nuno M. Guerreiro, Duarte M. Alves, Jonas Waldendorf 等
HalOmi: A Manually Annotated Benchmark for Multilingual Hallucination and Omission Detection in Machine Translation
David Dale, Elena Voita, Janice Lam 等
Word Alignment by Fine-tuning Embeddings on Parallel Corpora
Zi-Yi Dou, Graham Neubig
SemEval-2024 Task 6: SHROOM, a Shared-task on Hallucinations and Related Observable Overgeneration Mistakes
Timothee Mickus, Elaine Zosa, Ra'ul V'azquez 等
SemEval-2025 Task 3: Mu-SHROOM, the Multilingual Shared Task on Hallucinations and Related Observable Overgeneration Mistakes
Ra'ul V'azquez, Timothee Mickus, Elaine Zosa 等
SALTED: A Framework for SAlient Long-Tail Translation Error Detection
Vikas Raunak, Matt Post, Arul Menezes
How Good Are GPT Models at Machine Translation? A Comprehensive Evaluation
Amr Hendy, Mohamed Abdelrehim, Amr Sharaf 等
Measuring the Mixing of Contextual Information in the Transformer
Javier Ferrando, Gerard I. Gállego, M. Costa-jussà
Confabulation: The Surprising Value of Large Language Model Hallucinations
Peiqi Sui, Eamon Duede, Sophie Wu 等
Explicitation and Implicitation in Arabic- English Translation of Institutional Academic Correspondence
Nada Mohamed Al Hammadi, Sane Yagi, S. Fareh
Towards Opening the Black Box of Neural Machine Translation: Source and Target Interpretations of the Transformer
Javier Ferrando, Gerard I. Gállego, Belen Alastruey 等