核心发现
方法论
本文提出通过在长任务中构建基线预测，将短阶段成功率相乘，得到预期全局成功概率，再与实际全程成功率对比，计算“地平线残差”。该方法要求在相同模型配置下，预先定义阶段、检查点、信息和预算，确保比较的可比性。利用对数比值量化实际表现偏离预期的程度，从而识别潜在的长远失败机制。研究强调区分任务长度与单阶段难度，避免误将错误累积误认为机制本身。
关键结果
- 实验显示，长任务的实际成功率显著低于短阶段预测的乘积基线，例如四次修复任务中，短阶段成功概率为0.8，四阶段乘积为0.41，但实际成功率仅为10%，残差为1.41 nat，表明模型在后续阶段表现远差于预期。
- 在软件工程和交互任务中，长任务的失败不仅由错误累积引起，还受到上下文腐蚀（context rot）和状态依赖的影响，验证了基线预测的有效性。
- 通过对不同任务结构和依赖深度的分析，发现长任务中阶段间的依赖性和信息流变化是导致偏差的关键因素，强调了任务分解和信息管理的重要性。
研究意义
该研究为长远任务的系统性评估提供了量化工具，有助于区分错误累积与机制本身的影响，推动模型在复杂、多阶段环境中的鲁棒性提升。通过引入“地平线残差”指标，研究为未来模型调优、任务设计和故障诊断提供了理论基础，有望改善AI在实际部署中的表现，减少误判和失败风险。
技术贡献
本文创新性在于提出基于短阶段成功率乘积的预测模型，结合对数残差量化长远偏差，建立了可审计的基线框架。引入“地平线残差”作为诊断工具，有助于区分错误累积、上下文腐蚀和状态依赖等不同机制。该方法兼容多种任务结构和依赖关系，强调在模型配置一致的条件下进行对比，为长远评估提供了标准化流程，推动模型解释性和调试能力的提升。
新颖性
本研究首次系统性提出“地平线残差”指标，将短阶段成功率乘积作为长任务成功的基线预测，强调在多阶段、多依赖场景中进行量化诊断。相较于传统单一成功率指标，提供了更细粒度的偏差分析工具，突破了以往仅关注整体成功率的局限，强调任务分解与信息依赖的作用，为长远评估提供了新的理论视角。
局限性
- 该方法依赖于预定义的任务分解和检查点，可能在复杂或动态任务中难以精确界定阶段边界，影响指标的准确性。
- 在存在多路径或可恢复失败的场景中，基线乘积模型可能低估实际成功率，需结合状态修复和路径模拟进行扩展。
- 对数残差的统计稳定性在低成功率场景下较差，需结合置信区间和多样本采样策略增强鲁棒性。
未来方向
未来将探索动态任务分解和自适应阶段定义，结合强化学习优化任务结构。还计划引入多路径和恢复机制的模型，提升偏差解释的准确性。此外，将结合因果推断方法，深入分析偏差背后的机制，为模型调优和故障诊断提供更强的理论支持。
AI 总览摘要
随着AI模型在复杂任务中的应用不断扩大，长远评估成为衡量系统鲁棒性的重要手段。传统指标多关注整体成功率，难以揭示失败背后的深层机制。本文提出“地平线残差”指标，通过在预定义的短阶段成功率基础上构建预测，结合实际全程表现，量化偏差。该方法在软件工程、交互任务等多个场景中验证，成功率偏差显著，揭示了模型在长任务中面临的错误累积、上下文腐蚀和状态依赖等问题。研究强调，长任务的失败不仅仅是“更长更难”，而是多种机制共同作用的结果。引入可审计的基线预测框架，使研究者可以明确区分不同偏差来源，为模型调优和故障诊断提供工具。未来，该方法有望推动长远任务中的模型鲁棒性提升，改善实际应用中的可靠性。
深度分析
研究背景
近年来，随着大规模预训练模型在自然语言处理、软件工程和交互系统中的应用不断深入，长远任务的评估成为研究焦点。传统成功率指标无法充分反映模型在多阶段、多依赖环境中的表现，误差累积和上下文腐蚀成为主要挑战。此前研究如Jimenez等（2024）在代码修复中提出了多阶段评估，但缺乏系统的偏差量化工具。现有方法多关注单一指标，难以区分错误机制。随着任务复杂度提升，模型在长时间序列中的表现逐渐成为瓶颈，亟需新的诊断框架。
核心问题
长远任务的失败原因复杂多样，既包括错误累积，也涉及上下文腐蚀和状态依赖。传统指标无法区分这些机制，导致模型调优和故障诊断困难。如何量化模型在长任务中的偏差，识别具体机制，成为亟待解决的问题。缺乏统一的评估标准和可操作的诊断工具，使得模型在实际部署中表现不稳定，限制了其应用范围。
核心创新
本文提出“地平线残差”指标，通过构建短阶段成功率乘积的基线预测，量化长任务中的偏差。创新点包括：1）引入可审计的基线模型，确保比较的公平性；2）采用对数比值量化偏差，增强敏感性；3）强调任务分解和信息管理的重要性，为模型调优提供方向。该方法突破了传统成功率单一指标的局限，为长远评估提供了系统性工具。
方法详解
- �� 任务分解：将长任务划分为多个可验证阶段，定义明确的接受条件。
- �� 检查点运行：在不同状态下运行模型，记录阶段成功概率qi。
- �� 预测构建：计算乘积成功概率Pexpected = ∏ qi，作为全局成功的基线。
- �� 实际测量：在自然长任务中测得成功率Pobserved。
- �� 比较分析：计算ΓH = log(Pexpected / Pobserved)，量化偏差。
- �� 诊断应用：通过阶段偏差分析，识别偏差源，指导模型改进。
实验设计
使用软件工程和交互任务数据集，比较不同任务结构和依赖深度。基线模型在不同阶段设定检查点，测量成功率。采用多样本采样和置信区间，确保偏差估计稳健。对比自然长任务的成功率与基线预测，验证“地平线残差”的诊断能力。还进行了干预实验，如重置上下文、状态修复，观察偏差变化，验证机制假设。
结果分析
在代码修复和交互任务中，长任务成功率明显低于乘积基线，例如四修复任务中，乘积为0.41，实际仅10%，残差达1.41 nat。偏差主要集中在某些关键阶段，验证了上下文腐蚀和状态依赖的影响。干预实验显示，重置上下文能显著降低偏差，支持偏差机制的假设。这些结果证明“地平线残差”在识别长远失败机制方面具有强大能力。
应用场景
该指标适用于软件工程、对话系统、机器人等多阶段任务评估。帮助开发者识别模型在长时间操作中的瓶颈，优化任务设计和信息管理。未来可结合强化学习，动态调整任务分解策略，提升系统鲁棒性。
局限与展望
方法依赖于明确的任务分解和检查点定义，复杂任务中难以界定阶段边界。低成功率场景下偏差估计不稳定，需结合多样本和置信区间。对多路径和恢复机制的建模尚不充分，未来需扩展模型以适应更复杂的任务结构。
通俗解读 非专业人士也能看懂
想象你在做一道复杂的菜，要准备很多步骤，比如切菜、炒菜、调味、装盘。每一步都要做好，否则整盘菜就不成功。传统评估只看最后的成品好不好，但其实，很多失败是因为某一步出错，导致后续都受影响。本文就像用一个“预测模型”告诉你，如果每一步都成功，整盘菜成功率应该有多高，然后和实际做出来的比，看看哪里出了问题。这样，你就能知道，是不是某个步骤特别难，或者是前面某个步骤出错影响了后续。这个方法帮厨师（模型）更好地找到问题所在，改进做菜技巧。它强调，长远任务的失败，不仅仅是“做得慢”或“难”，而是多种因素共同作用的结果。通过这个“偏差指标”，厨师可以更精准地调整流程，做出更完美的菜肴。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的游戏，要完成很多任务，每个任务都要按顺序做。如果你只看最后是不是赢了，很难知道哪里出了问题。也许你赢了，但其实在途中你遇到很多困难，只是最后还坚持了下来。这个研究就像用一种特别的“评分”方法，告诉你：如果每个小任务都成功的概率都一样，把它们相乘，就能预测你整体成功的可能性。然后，把这个预测和你实际赢的情况比一比。如果差别很大，就说明在某个地方出了问题，比如你在中途迷路了，或者某个任务特别难。这样，你就可以知道问题出在哪里，下一次可以提前改正。这个方法帮你更聪明地玩游戏，不再盲目努力，而是知道哪里需要特别注意。它告诉我们，长时间的任务失败，不一定是因为“太难”，而可能是因为“某个环节出错了”。
原文摘要
Long-horizon benchmarks often show that agents fail more as tasks become longer. This observation is useful for deployment, but it does not by itself explain why failure occurs. More stages create more opportunities for ordinary errors to compound; longer tasks may also contain harder individual decisions or become harder as conversation history, tool outputs, and environment changes accumulate. We use trajectory-induced degradation to mean this last possibility: earlier execution makes later work harder. When the harmful accumulation is specifically the text visible to the model, it is often called context rot. In this position paper, we argue that to claim a "long-horizon failure", benchmarks must compare actual full-task success against a baseline prediction built from short, individual stages. We call the log-ratio between this prediction and actual success the horizon residual. The comparison must use the same agent configuration and specify in advance how stages, checkpoints, information, and budgets will be chosen. The residual shows that the full rollout differs from the chosen baseline; targeted experiments are still needed to explain why.