核心发现
方法论
本研究利用基于MQM和MeLLANGE的定制错误类型，设计两种不同Prompt，结合句子级对齐，将ChatGPT应用于识别DeepL和自译的专业翻译错误。通过人工标注作为参考，计算精确率、召回率和F1值，评估ChatGPT的错误检测与分类能力。采用Prompt链技术，确保信息完整传递，比较不同Prompt效果，验证模型在特定领域的适应性。实验中，ChatGPT在DeepL翻译中识别出约64%的错误类别，表现优于简化Prompt，且在自译中表现较差，揭示自我评估的局限。
关键结果
- 在DeepL翻译中，长Prompt实现精确率0.792、召回率0.653、F1值0.707，错误分类正确率达64.1%，比短Prompt显著优越。ChatGPT识别的错误数接近人工标注（399 vs. 384），表现出较强的错误检测能力。
- 在自译文本中，ChatGPT表现明显下降，错误识别率降低，反映出模型在自我评估方面存在局限性。整体上，模型对特定错误类型的识别准确性依赖于Prompt的详细程度。
- 实验验证了基于Prompt的错误识别在专业翻译中的潜力，尤其在高资源领域，但在自我评价和低资源场景中仍存在不足。
研究意义
本研究展示了大语言模型在LSP翻译错误自动识别中的潜力，为未来构建结合人工与AI的混合评估体系提供基础。尤其在专业领域，自动化错误分析有望降低评估成本，提高效率，推动翻译质量控制的数字化转型。研究强调Prompt设计的重要性，为后续优化提供方向，也为开源模型的应用奠定基础，促进AI在翻译教育和行业中的深度融合。
技术贡献
本研究首次系统性将MQM与MeLLANGE错误类型结合，设计多版本Prompt，验证ChatGPT在专业翻译错误识别中的表现。提出句子级对齐与Prompt链技术，显著提升模型识别准确性。通过与人工标注对比，量化模型在错误检测和分类中的能力，为未来基于Prompt的自动评估提供技术框架。此方法突破了以往仅依赖人工或简单自动指标的局限，展示了LLMs在特定领域的应用潜力。
新颖性
本研究首次专注于LSP领域，利用定制错误类型和Prompt链技术，系统评估ChatGPT的错误识别能力。区别于以往泛化研究，强调在专业语料和复杂术语环境中的应用，填补了自动错误分析在专业翻译中的空白。创新点在于结合多版本Prompt设计，验证模型在不同细节层级的表现，为未来研究提供范式。
局限性
- 模型在自我评估中表现显著下降，反映出其在复杂错误分类和细粒度识别上的不足，尤其在低资源或自译场景中效果有限。
- 实验仅在高资源语言对（英语-法语）和特定领域（NLP）中进行，泛化到其他语言和专业领域仍需验证。
- Prompt设计虽有效，但对不同任务和文本类型的适应性有限，需进一步优化和标准化。
未来方向
未来将探索多模态、多任务Prompt设计，结合微调与少样本学习，提升模型在低资源场景中的表现。计划扩展到多语种、多领域，验证模型的泛化能力。同时，将研究如何将自动错误分析融入翻译培训和后期编辑流程，优化人机协作，推动自动化评估在实际工作中的应用。
AI 总览摘要
本研究系统探讨了大语言模型（LLMs）在专业翻译错误自动识别中的潜力，特别是利用ChatGPT结合定制错误类型的Prompt设计。传统的翻译评估主要依赖人工标注，成本高且耗时。随着GPT-4等模型的崛起，自动化错误分析成为可能。研究中，作者基于MQM和MeLLANGE错误体系，设计了两种Prompt，分别在DeepL和自译文本上进行测试。结果显示，长Prompt在DeepL翻译中实现了64.1%的错误分类正确率，精确率达79.2%，召回率65.3%，F1值0.707，表现优于简化Prompt。模型在识别专业术语和复杂句式时表现出色，但在自我评估场景中效果明显下降，揭示模型在自我检测方面的局限性。研究强调Prompt设计的重要性，验证了LLMs在高资源、专业领域中的应用潜力，为未来结合人工与AI的混合评估体系提供基础。尽管取得积极成果，但模型在低资源和多领域场景中仍需优化。未来工作将聚焦于多模态Prompt、多任务微调，以及在翻译培训中的实际应用，推动自动化评估的行业落地。整体来看，此项研究为智能翻译质量控制提供了新思路，开启了利用LLMs进行专业错误分析的可能性。
深度分析
研究背景
近年来，机器翻译（MT）技术飞速发展，深度学习模型如Transformer架构（Vaswani et al., 2017）推动了端到端系统的突破。自动评估方法从传统的BLEU、METEOR等指标逐渐向基于错误分析的人工标注转变。错误类型体系如MQM（Quality Metrics for Machine Translation）和MeLLANGE，为错误分类提供标准框架，广泛应用于翻译质量控制（Freitag et al., 2021）。然而，人工标注成本高，难以规模化。近年来，LLMs如GPT-3、GPT-4的出现，为自动化错误检测提供新可能。相关研究（Kocmi et al., 2023；Lu et al., 2024）已验证其在高资源语言中的潜力，但在专业领域和低资源场景中仍存在挑战。本文在此基础上，结合定制错误类型和Prompt设计，探索LLMs在LSP翻译中的应用，为行业提供新工具。
核心问题
传统翻译错误检测依赖人工标注，成本高、效率低，难以满足快速发展的行业需求。自动化方法虽有一定进展，但在专业术语、复杂句式等领域仍表现不足。尤其在LSP（Language for Specific Purposes）翻译中，术语精确性和语境复杂性要求更高，现有模型难以全面捕捉错误类型。如何设计有效Prompt引导模型识别细粒度错误，提升自动化评估的准确性，是当前亟待解决的问题。模型在自我评估中的表现亦有限，反映出其在复杂任务中的局限性。解决这一问题，将极大推动翻译质量的数字化管理和培训自动化。
核心创新
本研究的创新点在于：1）结合MQM和MeLLANGE体系，设计针对LSP文本的定制错误类型，增强模型识别能力；2）采用多版本Prompt（长短Prompt）验证Prompt设计对性能的影响，突出详细信息对模型效果的提升；3）引入Prompt链技术，确保信息完整传递，提升识别准确率；4）在句子级对齐基础上，结合人工标注，量化模型在专业翻译中的表现。这些创新突破了以往泛化模型在专业领域的应用瓶颈，为自动错误检测提供了新思路。
方法详解
- �� 设计基于MQM和MeLLANGE的错误体系，定义详细错误类别。• 构建两种Prompt（长短版本），包含错误定义、示例和指令，利用Prompt链技术确保信息传递。• 采集高资源语言对（英语-法语）NLP领域论文摘要，建立人工标注参考数据集。• 利用ChatGPT对DeepL和自译文本进行句子级错误识别，输出错误位置和类别。• 计算模型识别的错误数、精确率、召回率和F1值，比较不同Prompt效果。• 评估模型在不同场景中的表现差异，分析Prompt详细程度对性能的影响。
实验设计
采用包含35个DeepL翻译样本和25个自译样本的双子集，人工标注399和193个错误。模型在高资源场景中表现优异，长Prompt实现精确率0.792、召回率0.653、F1值0.707。简化Prompt在错误分类正确率上略低（64.1% vs. 45.3%），验证Prompt细节对性能的影响。模型识别错误的能力在不同类型错误（术语、语法、内容转移）中表现不同，显示出在专业术语和复杂句式方面的优势。实验还比较了模型在自译文本中的表现，发现其在自我检测方面存在明显不足。整体设计确保了对模型性能的全面评估，为未来优化提供依据。
结果分析
长Prompt在DeepL翻译中达成精确率0.792、召回率0.653，F1值0.707，错误分类正确率64.1%，优于短Prompt。模型识别的错误数接近人工标注（399 vs. 384），验证了其有效性。自译文本中，识别准确性明显下降，反映模型在自我评估中的局限性。不同错误类型的识别表现差异显著，提示Prompt设计应考虑细节丰富度。整体结果证明基于Prompt的错误检测在专业翻译中具有较大潜力，但在自我检测和低资源场景中仍需改进。
应用场景
该方法可应用于翻译质量自动评估、翻译培训、后期编辑辅助等场景。行业中，企业可借助此技术实现快速质量检测，降低人工成本。教育领域，教师可利用模型辅助学生学习，提升错误识别能力。未来，结合多模态信息和微调技术，有望实现更广泛的行业应用，推动翻译行业的智能化升级。
局限与展望
模型在自我评估方面表现不足，难以准确识别复杂或多重错误，尤其在低资源或新兴领域。Prompt设计虽有效，但对不同文本类型和任务的适应性有限，需持续优化。此外，模型在处理多语言、多领域文本时，仍面临泛化和准确性挑战。未来需结合微调、多任务学习，提升模型的鲁棒性和适应性。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，食材代表翻译内容，厨师（模型）需要检查每个菜是否合格。传统方法是请专家逐个检查，费时又麻烦。现在，有智能助手（ChatGPT）可以根据一套规则（错误类型）帮你快速找出问题，比如调味不当或烹饪不熟。你只需给它一些指令（Prompt），它就能告诉你哪些菜有问题，分类是什么。虽然它在大多数菜中表现不错，但在自己做的菜（自译）时，效果就差一些。这就像用智能助手帮忙检查厨房的菜肴，效率高但还不能完全替代厨师的经验。未来，随着技术改进，这个助手会变得更聪明，能帮你做出更完美的菜肴。
简单解释 像给14岁少年讲一样
想象你在学校里，老师让你检查同学的作业，找出错误。以前，你得自己一一看，花很多时间。现在，有个聪明的哥哥（ChatGPT），只要你告诉他规则（Prompt），他就能帮你找出作业中的错误，还能告诉你是哪类错误，比如拼写错了还是语法不对。这个哥哥特别擅长处理那些专业的题，比如医学或法律的内容，但有时候自己检查自己写的作业，他就不那么准了。这就像用这个哥哥帮忙检查翻译，效果很好，但在自己评估自己翻译时，表现就差一些。未来，这个哥哥会变得更聪明，能帮老师和学生更快更好地学习和改正错误，让学习变得更轻松、更有趣。
术语表
MQM (Quality Metrics for Machine Translation)
一种标准化的错误分类体系，用于评估机器翻译的质量，细分不同错误类型。
本文中用于定义和分类翻译错误。
Prompt
给模型的指令或提示，指导模型完成特定任务。
用于引导ChatGPT识别和分类翻译错误。
Error Typology
一套系统的错误分类体系，用于描述不同类型的翻译错误。
本文基于定制错误体系设计Prompt。
Sentence-level Alignment
句子级对齐，将源文本与译文逐句对应。
确保错误识别的准确性。
F1 Score
衡量模型准确率和召回率的调和平均值，用于评估错误检测效果。
作为模型性能的综合指标。
开放问题 这项研究留下的未解疑问
- 1 如何将此方法推广到低资源语言或多语种场景？
- 2 模型在多领域、多任务中的泛化能力如何提升？
- 3 结合微调与Prompt的最佳策略尚未明确。
应用场景
近期应用
翻译质量自动检测
企业可用此技术快速筛查翻译错误，提升效率，降低成本。
翻译培训辅助
教育机构利用模型帮助学生识别错误，提升学习效果。
远期愿景
行业智能评估体系
未来实现全自动、多语种、多领域的翻译质量评估，推动行业标准化。
原文摘要
This study investigates the capabilities of large language models (LLMs), specifically ChatGPT, in annotating MT outputs based on an error typology. In contrast to previous work focusing mainly on general language, we explore ChatGPT's ability to identify and categorise errors in specialised translations. By testing two different prompts and based on a customised error typology, we compare ChatGPT annotations with human expert evaluations of translations produced by DeepL and ChatGPT itself. The results show that, for translations generated by DeepL, recall and precision are quite high. However, the degree of accuracy in error categorisation depends on the prompt's specific features and its level of detail, ChatGPT performing very well with a detailed prompt. When evaluating its own translations, ChatGPT achieves significantly poorer results, revealing limitations with self-assessment. These results highlight both the potential and the limitations of LLMs for translation evaluation, particularly in specialised domains. Our experiments pave the way for future research on open-source LLMs, which could produce annotations of comparable or even higher quality. In the future, we also aim to test the practical effectiveness of this automated evaluation in the context of translation training, particularly by optimising the process of human evaluation by teachers and by exploring the impact of annotations by LLMs on students' post-editing and translation learning.