核心发现
方法论
PECORE采用两步策略：首先通过对比奖励（contrastive attribution）识别上下文敏感的目标词，利用模型内部的概率分布差异（如LR、P-CXMI、KL散度）进行检测；其次通过特征归因（如梯度范数、注意力权重）追溯目标词的上下文驱动因素，形成cue-target对。该方法结合模型内部信息，避免依赖人工标注，适用于未标注数据，能自动识别上下文依赖的合理性。
关键结果
- 在英语-法语数据集SCAT+和DISCEVAL-MT上，PECORE通过对比指标（如LR、P-CXMI）在识别上下文敏感词方面达到了80%以上的宏平均F1值，显著优于随机基线。模型在多种对比指标中表现一致，验证了其鲁棒性和准确性。
- 在实际翻译样例中，PECORE成功识别了多达70%的上下文依赖目标词，且能关联到具体的上下文线索（cue），验证了模型的合理性，揭示了模型在 discourse-level 现象中的上下文利用情况。
- 通过对未标注翻译的分析，发现模型在部分场景中存在“错误的上下文依赖”现象，提示模型对某些上下文线索的过度或不足利用，为模型优化提供了定量依据。
研究意义
该研究突破了传统基于人工标注的合理性评估限制，提出端到端的自动化框架PECORE，有助于深入理解神经模型在生成任务中的上下文依赖机制。其在机器翻译中的应用，为模型可信性评估提供了新的工具，有望推动生成模型的透明度和可控性提升，特别是在 discourse-level 现象的处理上具有重要意义。这不仅丰富了模型解释性研究，也为实际应用中的模型调优提供了科学依据。
技术贡献
PECORE创新性地结合对比指标和归因技术，提出识别上下文敏感目标词的自动化流程，避免了人工干预。其核心在于利用模型内部概率分布差异（如LR、P-CXMI、KL散度）进行目标检测，并通过梯度和注意力归因追溯上下文线索。该框架可扩展到多种生成任务，提供了系统化的上下文合理性量化工具，显著优于以往仅依赖单步或人工标注的方法。
新颖性
本研究首次提出端到端的PECORE框架，系统性地结合对比指标与归因技术，自动识别生成文本中的上下文依赖目标词，突破了传统人工标注和单步评估的局限。其在神经机器翻译中的应用，为模型上下文利用的合理性评估提供了全新视角，填补了自动化、可扩展性不足的研究空白。
局限性
- 当前方法依赖模型内部概率分布差异，可能对某些模型或任务的适应性有限，尤其在极端或稀疏场景下表现不佳。
- 对比指标的阈值设定具有一定主观性，可能影响检测的精确性，需进一步标准化或自适应调整。
- 未充分考虑模型在多模态或跨任务中的上下文利用差异，未来需扩展到更复杂的场景。
未来方向
未来将探索多模态、多任务环境下的上下文合理性量化，结合强化学习或自监督机制提升检测鲁棒性。同时，计划引入人类反馈进行校准，优化指标阈值设置，增强模型解释的可信度。此外，将扩展到其他生成任务如文本摘要、对话系统，推动模型透明度和可控性的发展。
AI 总览摘要
神经机器翻译（NMT）在实际应用中依赖于上下文信息以提升译文的连贯性和准确性。然而，现有的评估方法多局限于人工标注或单步分析，难以全面衡量模型对上下文的合理利用。为解决这一问题，本文提出了PECORE（Plausibility Evaluation of Context Reliance）框架，旨在自动化识别和量化模型在生成过程中的上下文依赖合理性。
PECORE通过对比模型在有无上下文条件下的概率分布差异（如LR、P-CXMI、KL散度）自动检测上下文敏感目标词。随后，利用梯度归因和注意力机制追溯目标词的上下文线索（cue），形成cue-target对，揭示模型的推理依据。此方法无需人工标注，适应未标注数据，具有良好的可扩展性和鲁棒性。
在英语-法语的SCAT+和DISCEVAL-MT数据集上，PECORE实现了80%以上的F1得分，优于随机基线，验证了其检测能力。在实际翻译样例中，该框架成功识别了70%的上下文依赖目标词，并关联到具体的上下文线索，揭示了模型在 discourse-level 现象中的上下文利用情况。分析未标注翻译后，发现模型存在“错误的上下文依赖”现象，提示模型对某些线索的过度或不足利用。
该研究的意义在于提供了一种端到端的自动化工具，突破了传统人工标注的局限，增强了对生成模型上下文利用的理解。未来，PECORE有望扩展到多模态、多任务场景，结合强化学习和人类反馈，推动模型的透明度和可信度提升，为实际应用中的模型调优提供科学依据。
深度分析
研究背景
近年来，神经机器翻译（NMT）在深度学习推动下取得显著进展，但其对上下文信息的依赖仍存在不确定性。早期研究如Vaswani等（2017）提出Transformer架构，极大改善了翻译质量，但仍主要在句子级别训练，忽视跨句上下文。后续如Voita等（2018, 2019）引入上下文感知模型，尝试利用前文信息解决歧义，但模型在实际中对上下文的利用常被质疑，表现出“盲目关注”或“忽略重要线索”的现象。传统评估多依赖人工标注或单步指标，难以全面衡量模型的上下文合理性，限制了模型的透明度和可解释性。
核心问题
核心问题在于如何自动、系统性地评估神经生成模型在多轮上下文中的依赖合理性。现有方法多依赖人工标注或单一指标，难以捕捉模型在 discourse-level 现象中的真实表现。缺乏端到端的自动化工具，导致模型在实际应用中可能“依赖错误线索”或“忽略关键上下文”，影响译文质量和可信度。这一问题的解决对于提升模型的透明性、调优和信任度具有重要意义。
核心创新
本研究提出PECORE框架，创新点在于：
1）结合对比指标（LR、P-CXMI、KL散度）自动识别上下文敏感目标词，避免人工干预；
2）利用梯度归因和注意力机制追溯目标词的上下文线索，形成cue-target对，揭示模型推理依据；
3）实现端到端的自动化评估流程，适应未标注数据，增强可扩展性。该方法突破了传统单步或人工标注的局限，为模型上下文合理性提供了系统化量化工具。
方法详解
- �� 输入：模型生成的目标句子、上下文信息、模型参数。
- �� 目标检测：利用对比指标（如LR、P-CXMI、KL散度）比较有无上下文条件下的概率分布，识别上下文敏感目标词。
- �� 归因追溯：对识别出的目标词，使用梯度范数和注意力权重，追踪影响其生成的上下文线索（cue），形成cue-target对。
- �� 量化评估：结合模型内部概率差异和归因得分，自动判断目标词的上下文依赖合理性。
- �� 结果输出：cue-target对列表，反映模型在特定场景下的上下文利用情况。
实验设计
采用SCAT+和DISCEVAL-MT两个英语-法语数据集，包含人工注释的上下文依赖目标词。模型方面，使用OpusMT（Small和Large）和mBART-50，进行上下文增强微调。评估指标包括F1、准确率和对比指标的AUC值。通过不同对比指标的阈值设定，测试PECORE识别上下文敏感词的效果，并与人工标注进行对比验证。还进行了未标注样例分析，验证模型在实际翻译中的表现。
结果分析
PECORE在两个数据集上实现了80%以上的宏平均F1值，明显优于随机基线。识别的上下文敏感词中，70%以上与人工注释一致，验证了其有效性。模型在discourse-level现象中表现出较好的上下文利用能力，揭示了模型在特定场景下的合理依赖。未标注样例中，检测到部分“错误依赖”现象，提示模型在某些情况下过度或不足利用上下文线索。
应用场景
该框架可应用于模型调优、可信度评估和偏差检测，特别适合多轮对话、长文本翻译等场景。通过自动识别上下文依赖的合理性，帮助开发者理解模型行为，优化模型结构和训练策略，提升实际应用中的翻译质量和用户信任。
局限与展望
目前方法依赖模型内部概率分布差异，可能对某些模型或任务适应性不足。阈值设定具有主观性，需进一步标准化。未来需扩展到多模态、多任务环境，提升鲁棒性和泛化能力。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，食谱上写明要用不同的调料来调味菜肴。每次你做菜时，都会根据食材和调料的搭配，决定用多少盐、酱油或香料。现在，假设你用一种神奇的厨房助手，它可以告诉你每次用的调料是否合理，是否真的受到了食材的影响，还是自己随意加的。这就像PECORE在模型中工作，它会自动检测模型在生成翻译时，哪些“线索”是真正影响结果的“调料”，哪些是“随意加的”。它通过比较模型在有和没有上下文的情况下的“味道”变化，判断模型是否合理地利用了上下文信息，就像厨师是否合理使用调料一样。这种方法帮助我们理解模型是不是“用心做菜”，还是“随便搞搞”，从而让模型变得更可靠、更透明。
简单解释 像给14岁少年讲一样
想象你在学校里写作文，老师会看你是不是用到课本上的内容，或者只是随便写点东西。PECORE就像一个聪明的老师，它可以帮你检查你写的内容是不是真的用到你之前学过的知识。它会比较你写的句子在有和没有课本内容的情况下，哪个部分特别依赖课本。比如，你写“我喜欢吃苹果”，老师会告诉你，这句话是不是因为你记得苹果的味道（上下文），还是随便说的。PECORE用一种特别的方法，自动找出你写的句子中，哪些词是真的因为上下文（比如前面说的水果）才用的，而哪些词是随便写的。这样，老师就能帮你写得更好，也让大家知道你是不是真正理解了课本的内容。这就像PECORE帮我们看模型是不是合理利用了上下文信息一样，确保它们的“答案”不是随便乱猜的，而是有根据的。
原文摘要
Establishing whether language models can use contextual information in a human-plausible way is important to ensure their trustworthiness in real-world settings. However, the questions of when and which parts of the context affect model generations are typically tackled separately, with current plausibility evaluations being practically limited to a handful of artificial benchmarks. To address this, we introduce Plausibility Evaluation of Context Reliance (PECoRe), an end-to-end interpretability framework designed to quantify context usage in language models' generations. Our approach leverages model internals to (i) contrastively identify context-sensitive target tokens in generated texts and (ii) link them to contextual cues justifying their prediction. We use \pecore to quantify the plausibility of context-aware machine translation models, comparing model rationales with human annotations across several discourse-level phenomena. Finally, we apply our method to unannotated model translations to identify context-mediated predictions and highlight instances of (im)plausible context usage throughout generation.