核心发现
方法论
本文提出了一种双管齐下的诊断工具包，应用于SummEval数据集。首先，进行传递性分析，揭示了每个输入存在的广泛不一致性，尽管总体违规率较低（0.8%-4.1%）。其次，使用1-5 Likert评分的分割保形预测集，提供理论上保证的覆盖率，预测集宽度作为每个实例的可靠性指标。预测集宽度在不同评判者间显示出一致性，表明它捕捉到的是文档级别的难度，而非评判者特定的噪声。
关键结果
- 结果1：传递性分析显示，尽管整体违规率低（0.8%-4.1%），但33%-67%的文档至少存在一个有向3-循环，表明评判者在个别实例上的不一致性。
- 结果2：保形预测集在所有评判者和标准中显示Spearman相关系数为+0.576（p<10^-100），表明预测集宽度与实际评判者-人类分歧之间存在显著关联。
- 结果3：在四个评判者和四个标准中，相关性和连贯性被评判得最可靠，而流利性和一致性则较不可靠。
研究意义
该研究通过揭示LLM评判系统在每个实例上的不一致性，为自动NLG评估提供了重要的见解。通过传递性分析和保形预测集，研究表明评判标准比评判者更重要，尤其是在相关性和连贯性方面。这一发现对学术界和工业界都有重要意义，因为它挑战了当前对LLM评判系统的无条件信任，并提出了更可靠的评估方法。
技术贡献
本文的技术贡献在于首次在文档级别测量LLM评判者的有向3-循环率，并将其与保形不确定性联系起来。此外，保形预测集提供了有限样本的覆盖保证，并作为实例部署信号，预测集宽度与实际评判误差之间的相关性进一步验证了这一点。这些贡献为评估NLG系统提供了新的理论保证和工程可能性。
新颖性
本文首次将传递性分析和保形预测集结合用于诊断LLM评判系统的可靠性。与以往工作不同，本文不仅关注整体评估指标，还深入探讨了每个实例的评估可靠性，揭示了评判标准的重要性。
局限性
- 局限1：研究仅在SummEval数据集上进行，结果可能不适用于其他数据集或任务，如对话生成或机器翻译。
- 局限2：保形预测集提供的是边际覆盖保证，而非每个文档的条件覆盖，可能导致对困难文档的预测集过于紧凑。
- 局限3：研究使用固定的非一致性评分，未来可以探索基于评判者信心或LLM日志概率的学习型非一致性评分。
未来方向
未来研究可以扩展到更大规模的数据集和不同的NLG任务，如对话生成和机器翻译。此外，可以探索使用条件保形方法来提高对困难文档的覆盖精度，以及开发基于评判者信心的动态非一致性评分系统。
AI 总览摘要
在自然语言生成（NLG）的自动评估中，LLM评判系统因其可扩展性而受到广泛关注。然而，这些系统在每个实例上的可靠性仍未得到充分理解。现有的评估方法通常依赖于系统级别的指标，如Kendall's τ或与人类评分的Pearson相关性，这些指标虽然看似令人印象深刻，但往往掩盖了个别实例上的评判错误。
本文提出了一种双管齐下的诊断工具包，应用于SummEval数据集，以揭示LLM评判系统在每个实例上的不一致性。首先，进行传递性分析，揭示了每个输入存在的广泛不一致性，尽管总体违规率较低（0.8%-4.1%），但33%-67%的文档至少存在一个有向3-循环。其次，使用1-5 Likert评分的分割保形预测集，提供理论上保证的覆盖率，预测集宽度作为每个实例的可靠性指标。
研究发现，预测集宽度在不同评判者间显示出一致性，表明它捕捉到的是文档级别的难度，而非评判者特定的噪声。在四个评判者和四个标准中，相关性和连贯性被评判得最可靠，而流利性和一致性则较不可靠。这一发现对学术界和工业界都有重要意义，因为它挑战了当前对LLM评判系统的无条件信任，并提出了更可靠的评估方法。
此外，研究还发现，传递性分析和保形预测集的结果一致，表明评判标准比评判者更重要。这一结论为NLG系统的评估提供了新的视角，建议在部署LLM评判系统时，应该更加信任连贯性和相关性评分，而对流利性和一致性评分持怀疑态度。
尽管本文的研究揭示了LLM评判系统在每个实例上的不一致性，但仍存在一些局限性。研究仅在SummEval数据集上进行，结果可能不适用于其他数据集或任务。此外，保形预测集提供的是边际覆盖保证，而非每个文档的条件覆盖，可能导致对困难文档的预测集过于紧凑。未来研究可以扩展到更大规模的数据集和不同的NLG任务，并探索使用条件保形方法来提高对困难文档的覆盖精度。
深度分析
研究背景
自然语言生成（NLG）的自动评估是现代自然语言处理（NLP）研究的基石。随着大规模语言模型（LLM）的发展，LLM评判系统作为人类注释的可扩展替代品，迅速被广泛采用。传统的评估方法通常依赖于系统级别的指标，如Kendall's τ或与人类评分的Pearson相关性，这些指标虽然看似令人印象深刻，但往往掩盖了个别实例上的评判错误。近年来，一些研究开始关注LLM评判系统的可靠性，揭示了其在特定输入类型上的系统性弱点。然而，现有研究大多集中在整体评估指标上，缺乏对每个实例评估可靠性的深入探讨。
核心问题
LLM评判系统在每个实例上的可靠性仍未得到充分理解。现有的评估方法通常依赖于系统级别的指标，如Kendall's τ或与人类评分的Pearson相关性，这些指标虽然看似令人印象深刻，但往往掩盖了个别实例上的评判错误。一个在90%情况下正确的评判者，可能在最重要的10%情况下出现严重错误。因此，如何准确评估LLM评判系统在每个实例上的可靠性，成为一个亟待解决的问题。
核心创新
本文提出了一种双管齐下的诊断工具包，应用于SummEval数据集，以揭示LLM评判系统在每个实例上的不一致性。首先，进行传递性分析，揭示了每个输入存在的广泛不一致性，尽管总体违规率较低（0.8%-4.1%），但33%-67%的文档至少存在一个有向3-循环。其次，使用1-5 Likert评分的分割保形预测集，提供理论上保证的覆盖率，预测集宽度作为每个实例的可靠性指标。预测集宽度在不同评判者间显示出一致性，表明它捕捉到的是文档级别的难度，而非评判者特定的噪声。
方法详解
- �� 传递性分析：测量四个评判者在SummEval数据集上的有向3-循环违规率，揭示每个输入存在的广泛不一致性。
- �� 保形预测集：使用1-5 Likert评分的分割保形预测集，提供理论上保证的≥1-α覆盖率，预测集宽度作为每个实例的可靠性指标。
- �� 评估一致性：通过Spearman相关系数评估预测集宽度与实际评判者-人类分歧之间的关联，验证预测集宽度在不同评判者间的一致性。
实验设计
实验在SummEval数据集上进行，包含100个文档×16个系统（=1,600个输出），每个输出由三位注释者给出1-5的Likert评分。为了提高成本效率，实验对30个文档×8个系统进行子采样，并将平均人类评分四舍五入到最接近的整数用于保形校准。评判者包括gpt-4o-mini、meta-llama/llama-3.1-70b-instruct、qwen/qwen-2.5-72b-instruct和mistralai/mistral-small-3.1-24b-instruct。所有响应都缓存在SQLite中。
结果分析
传递性分析显示，尽管整体违规率低（0.8%-4.1%），但33%-67%的文档至少存在一个有向3-循环，表明评判者在个别实例上的不一致性。保形预测集在所有评判者和标准中显示Spearman相关系数为+0.576（p<10^-100），表明预测集宽度与实际评判者-人类分歧之间存在显著关联。在四个评判者和四个标准中，相关性和连贯性被评判得最可靠，而流利性和一致性则较不可靠。
应用场景
该研究的应用场景包括自动NLG评估中的评判系统部署。通过使用传递性分析和保形预测集，研究人员和从业者可以更准确地评估LLM评判系统在每个实例上的可靠性，从而提高评估结果的可信度。此外，该方法还可以用于其他需要自动评估的NLP任务，如机器翻译和对话生成。
局限与展望
尽管本文的研究揭示了LLM评判系统在每个实例上的不一致性，但仍存在一些局限性。研究仅在SummEval数据集上进行，结果可能不适用于其他数据集或任务。此外，保形预测集提供的是边际覆盖保证，而非每个文档的条件覆盖，可能导致对困难文档的预测集过于紧凑。未来研究可以扩展到更大规模的数据集和不同的NLG任务，并探索使用条件保形方法来提高对困难文档的覆盖精度。
通俗解读 非专业人士也能看懂
想象一下你在一个大型超市购物。超市里有很多收银员，他们负责检查每个商品的价格和质量。每个收银员都有自己的标准，有的可能更关注商品的外观，有的则更在意商品的功能。现在，你想知道这些收银员在每个商品上的判断是否一致。
本文的研究就像是在分析这些收银员的判断一致性。通过传递性分析，研究人员发现，虽然整体上收银员的判断看起来一致，但在某些商品上，他们的判断存在不一致性，就像有的收银员认为苹果比香蕉好，香蕉比橙子好，但橙子又比苹果好。
为了更好地评估每个商品的判断可靠性，研究人员使用了一种叫做保形预测集的方法。这就像是给每个商品打分，分数的范围越大，说明收银员对这个商品的判断越不确定。通过这种方法，研究人员可以更准确地评估每个商品的判断可靠性。
总之，本文的研究就像是在帮助超市更好地评估每个商品的质量，确保每个商品的判断都经过仔细的分析和评估。
简单解释 像给14岁少年讲一样
嘿，小伙伴！你知道在学校里，老师给你打分的时候，有时候会有不同的标准吗？比如，有的老师可能更看重你的作业质量，有的则更在意你的课堂表现。
本文的研究就像是在分析这些老师的打分标准。研究人员发现，虽然整体上老师的打分看起来一致，但在某些情况下，他们的打分可能会有些不一致。就像有的老师认为你在数学上表现很好，但在科学上表现一般，而另一个老师可能正好相反。
为了更好地评估每个学生的表现，研究人员使用了一种叫做保形预测集的方法。这就像是给每个学生打分，分数的范围越大，说明老师对这个学生的表现越不确定。通过这种方法，研究人员可以更准确地评估每个学生的表现。
总之，本文的研究就像是在帮助学校更好地评估每个学生的表现，确保每个学生的打分都经过仔细的分析和评估。
术语表
传递性分析 (Transitivity Analysis)
一种用于评估评判者在多个选项之间偏好一致性的方法。通过测量有向3-循环违规率，揭示评判者在个别实例上的不一致性。
在本文中用于揭示LLM评判系统在每个实例上的不一致性。
保形预测集 (Conformal Prediction Set)
一种提供有限样本覆盖保证的方法。通过分割保形预测集，预测集宽度作为每个实例的可靠性指标。
用于评估每个实例的评判可靠性。
SummEval数据集 (SummEval Dataset)
一个包含100个文档×16个系统输出的数据集，每个输出由三位注释者给出1-5的Likert评分。
用于本文实验的主要数据集。
有向3-循环 (Directed 3-Cycle)
在三个选项之间形成的循环偏好关系，例如A优于B，B优于C，但C优于A。
用于传递性分析中评估评判者偏好一致性。
Spearman相关系数 (Spearman Correlation Coefficient)
一种用于评估两个变量之间单调关系的非参数统计指标。
用于评估预测集宽度与实际评判者-人类分歧之间的关联。
Kendall's τ
一种用于评估两个排序之间一致性的统计指标。
用于评估LLM评判系统与人类评分之间的一致性。
Likert评分 (Likert Scale)
一种用于测量态度或意见的评分方法，通常使用1-5的评分范围。
用于评估SummEval数据集中的系统输出。
边际覆盖保证 (Marginal Coverage Guarantee)
在给定置信水平下，预测集包含真实值的概率。
保形预测集提供的覆盖保证。
条件覆盖 (Conditional Coverage)
在特定条件下，预测集包含真实值的概率。
未来研究可以探索使用条件保形方法来提高对困难文档的覆盖精度。
非一致性评分 (Nonconformity Score)
用于测量预测与实际结果之间差异的指标。
用于保形预测集的计算。
开放问题 这项研究留下的未解疑问
- 1 如何在更大规模的数据集和不同的NLG任务中验证本文的方法？现有研究仅在SummEval数据集上进行，结果可能不适用于其他数据集或任务，如对话生成或机器翻译。
- 2 如何提高保形预测集对困难文档的覆盖精度？现有方法提供的是边际覆盖保证，而非每个文档的条件覆盖，可能导致对困难文档的预测集过于紧凑。
- 3 如何开发基于评判者信心的动态非一致性评分系统？现有研究使用固定的非一致性评分，未来可以探索基于评判者信心或LLM日志概率的学习型非一致性评分。
- 4 如何在不同的评判标准下提高LLM评判系统的可靠性？现有研究表明评判标准比评判者更重要，未来研究可以探索不同标准下的优化方法。
- 5 如何在不增加计算成本的情况下提高评估结果的可信度？现有方法可能需要大量计算资源，未来研究可以探索更高效的评估方法。
应用场景
近期应用
自动NLG评估
研究人员和从业者可以使用传递性分析和保形预测集，更准确地评估LLM评判系统在每个实例上的可靠性，从而提高评估结果的可信度。
机器翻译质量评估
通过应用本文的方法，可以更好地评估机器翻译系统的输出质量，尤其是在评估标准上存在不一致性的情况下。
对话生成系统评估
在对话生成任务中，使用本文的方法可以帮助识别评判者在个别实例上的不一致性，从而提高系统的评估准确性。
远期愿景
跨领域评估标准化
本文的方法可以为不同领域的自动评估提供标准化的方法，提高不同任务之间的评估一致性和可比性。
智能评估系统开发
未来可以基于本文的方法开发智能评估系统，自动识别和纠正评判者在个别实例上的不一致性，提高评估系统的智能化水平。
原文摘要
LLM-as-judge frameworks are increasingly used for automatic NLG evaluation, yet their per-instance reliability remains poorly understood. We present a two-pronged diagnostic toolkit applied to SummEval: $\textbf{(1)}$ a transitivity analysis that reveals widespread per-input inconsistency masked by low aggregate violation rates ($\barρ = 0.8$-$4.1\%$), with $33$-$67\%$ of documents exhibiting at least one directed 3-cycle; and $\textbf{(2)}$ split conformal prediction sets over 1-5 Likert scores providing theoretically-guaranteed $\geq(1{-}α)$ coverage, with set width serving as a per-instance reliability indicator ($r_s = {+}0.576$, $N{=}1{,}918$, $p < 10^{-100}$, pooled across all judges). Critically, prediction set width shows consistent cross-judge agreement ($\bar{r} = 0.32$-$0.38$), demonstrating it captures document-level difficulty rather than judge-specific noise. Across four judges and four criteria, both diagnostics converge: criterion matters more than judge, with relevance judged most reliably (avg. set size $\approx 3.0$) and coherence moderately so (avg. set size $\approx 3.9$), while fluency and consistency remain unreliable (avg. set size $\approx 4.9$). We release all code, prompts, and cached results.
参考文献 (20)
SummEval: Re-evaluating Summarization Evaluation
A. R. Fabbri, Wojciech Kryscinski, Bryan McCann 等
Inductive Confidence Machines for Regression
H. Papadopoulos, Kostas Proedrou, Vladimir Vovk 等
The Devil Is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation
Patrick Fernandes, Daniel Deutsch, M. Finkelstein 等
A new monotonic, clone-independent, reversal symmetric, and condorcet-consistent single-winner election method
Markus Schulze
Benchmarking Cognitive Biases in Large Language Models as Evaluators
Ryan Koo, Minhwa Lee, Vipul Raheja 等
Aggregating inconsistent information: ranking and clustering
Nir Ailon, Moses Charikar, Alantha Newman
A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification
Anastasios Nikolas Angelopoulos, Stephen Bates
Condorcet's Theory of Voting
H. Young
FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets
Seonghyeon Ye, Doyoung Kim, Sungdong Kim 等
Judging LLM-as-a-judge with MT-Bench and Chatbot Arena
Lianmin Zheng, Wei-Lin Chiang, Ying Sheng 等
Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization
Chenhui Shen, Liying Cheng, Yang You 等
Unsupervised Quality Estimation for Neural Machine Translation
M. Fomicheva, Shuo Sun, L. Yankovskaya 等
Algorithmic Learning in a Random World
Vladimir Vovk, A. Gammerman, G. Shafer
RANK ANALYSIS OF INCOMPLETE BLOCK DESIGNS THE METHOD OF PAIRED COMPARISONS
R. Bradley, M. E. Terry
Verbosity Bias in Preference Labeling by Large Language Models
Keita Saito, Akifumi Wachi, Koki Wataoka 等
(Preprint)
Sarah Verschueren, J. van Aalst, A. Bangels 等
Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation
Lorenz Kuhn, Y. Gal, Sebastian Farquhar
Topics on tournaments
J. Moon