核心发现
方法论
该方法在传统符合预测基础上引入正则化机制，通过调节类别概率尾部的噪声影响，增强预测集的稳定性与紧凑性。具体实现包括：•利用已训练模型输出类别概率；•对概率进行排序并引入正则化项，抑制尾部不可靠估计；•采用数据划分的符合校准策略，选择最小阈值保证覆盖率。算法核心为调节尾部类别的影响，结合随机化机制，确保在任何模型和数据集上都能提供形式化的有限样本覆盖保证。实验中，基于Imagenet和Imagenet-V2数据集，ResNet-152等模型，RAPS方案在保证覆盖的同时，预测集平均大小比单纯Platt校准缩小5-10倍，优于现有方法。
关键结果
- 在Imagenet上，ResNet-152模型的90%置信水平下，RAPS预测集平均大小为2.11，比APS和单独校准方法分别缩小约5倍和10倍，且覆盖率达成预期。
- 在Imagenet-V2上，RAPS同样实现了接近100%的覆盖，预测集平均大小显著低于传统校准方案，验证其在不同数据分布下的适应性。
- 通过调节正则化参数λ，模型在保持覆盖的同时，能动态调整预测集的大小，实现对易难样本的自适应控制。
研究意义
该研究突破了深度学习模型不确定性量化的瓶颈，提供了具有理论保证的、可扩展的预测集构建方案。其在图像识别、医疗诊断等高风险场景中的应用，极大提升了模型的可信度与实用性。通过引入正则化机制，有效缓解尾部概率校准偏差，推动符合预测技术向工业级应用迈进。该方法兼容任何预训练模型，为模型校准与不确定性表达提供了统一、可靠的工具，具有广泛的科研和工程价值。
技术贡献
论文在符合预测框架基础上创新性引入正则化策略，改善尾部概率估计的稳定性，确保预测集的紧凑性与覆盖性。提出的RAPS算法结合数据划分的校准机制，提供形式化的有限样本保证，超越传统Platt校准和APS方法的局限。理论上，证明了正则化参数调节下的覆盖保证与最优性，实证中在Imagenet系列数据集上验证了其优越性能。该方案为深度学习不确定性量化提供了新的数学工具和工程实现路径。
新颖性
本研究首次系统性结合符合预测与正则化机制，显著改善深度图像分类中的预测集大小与稳定性。相较于以往仅依赖概率校准或模型集成的方法，提出的RAPS在保证覆盖的同时，能动态调节预测集的紧凑性，具有理论与实践创新意义。这一方法填补了尾部概率校准偏差带来的性能空白，为深度学习模型在高风险场景中的可信度提供了坚实基础。
局限性
- 算法依赖于模型输出概率的正则化参数调节，参数选择可能影响性能，需进一步自动化优化策略。
- 在极端噪声或数据分布偏移较大的场景下，预测集的覆盖保证可能受到影响，需结合更鲁棒的校准机制。
- 计算成本虽低，但在超大规模模型和高维特征空间中，仍存在一定的效率挑战。
未来方向
未来将探索自适应正则化参数的自动调节机制，结合深度模型的在线校准能力，提升在动态环境中的适应性。同时，扩展到多模态、多任务学习场景，研究多维不确定性表达的理论基础与实践方法。此外，结合贝叶斯推断和集成学习，进一步增强预测集的可靠性与细粒度表达能力。
AI 总览摘要
深度学习模型在图像识别中取得了突破性进展，但其不确定性量化仍是制约实际应用的关键难题。传统方法如Platt校准虽能调整概率估计，但缺乏严格的理论保证，导致预测集过大或偏离真实置信水平。本文提出的RAPS（正则化自适应符合预测）算法，结合符合预测框架与尾部概率正则化，有效缓解尾部估计偏差，显著缩小预测集规模。在Imagenet和Imagenet-V2数据集上，RAPS实现了在保证90%覆盖率的同时，预测集平均大小比单纯校准方法缩小5-10倍，优于现有方案。该方法的核心在于引入正则化机制调节尾部类别的影响，结合数据划分的校准策略，提供形式化的有限样本覆盖保证。实验结果验证了其在不同模型和数据分布下的稳健性与优越性，为深度学习在高风险场景中的可信应用奠定了基础。未来，研究将聚焦于参数自适应调节及多模态扩展，推动符合预测技术在实际中的广泛部署。
深度分析
研究背景
深度学习在图像识别中的应用不断扩大，模型的高准确率伴随对不确定性表达的需求日益增长。早期方法如贝叶斯神经网络和集成模型虽能提供一定的置信估计，但计算成本高、难以扩展。近年来，校准技术如Platt校准成为主流，但其在尾部概率校准上的不足导致预测集过大或偏离预期覆盖率。符合预测（Vovk et al., 2005）作为一种统计学工具，为模型提供严格的覆盖保证，逐渐引起关注。相关研究如 Romano et al. (2020)提出了适用于深度学习的符合预测算法，强调在保证覆盖的同时优化预测集大小。然而，尾部概率的不稳定性仍是挑战，限制了其在实际场景中的应用。本文在此基础上，结合正则化机制，提出更稳定、更紧凑的预测集方案，推动符合预测在图像分类中的落地。
核心问题
深度图像分类模型的概率输出存在校准偏差，尤其在尾部类别估计中表现不佳，导致预测集过大，影响模型的实用性。现有校准方法如Platt校准未能提供严格的有限样本保证，且在尾部估计不稳定时表现欠佳。如何在保证覆盖的同时，缩小预测集，提升模型的可信度，成为亟待解决的问题。此外，模型尾部概率的噪声影响尾部类别排序，导致不可靠的预测集大小和内容，限制了符合预测的实际应用。解决这一问题，不仅需要理论上的覆盖保证，还需在实际中实现预测集的紧凑性和自适应性，满足高风险场景的需求。
核心创新
本论文的创新点主要在于：•引入正则化机制调节尾部类别概率，增强尾部估计的稳定性，减少噪声影响；•设计结合数据划分的符合预测算法，保证在任何模型和数据集上都能提供形式化的覆盖保证；•通过调节正则化参数，实现预测集的自适应调节，兼顾覆盖率与紧凑性，满足不同样本难易程度的需求。这些创新突破了传统校准和符合预测的局限，为深度学习模型的不确定性表达提供了更可靠的数学工具。
方法详解
- ��利用预训练模型输出类别概率，进行排序。•引入正则化项，抑制尾部类别的噪声影响，构建正则化预测集。•采用数据划分的符合预测策略，选择最小阈值保证覆盖。•在校准集上调节阈值，确保未来样本的覆盖率。•结合随机化机制，避免尾部类别排序的随机性影响，提升预测集稳定性。•通过理论分析，证明正则化参数调节下的覆盖保证与最优性。•在Imagenet系列数据上验证，预测集大小显著优于传统方法。
实验设计
采用Imagenet和Imagenet-V2数据集，使用ResNet-152等预训练模型。校准后，分别应用Naive、APS和RAPS方法，比较覆盖率和预测集大小。通过多次随机抽样，统计平均性能指标。调节正则化参数λ，观察预测集的变化趋势。评估指标包括：覆盖率、平均预测集大小、模型在不同难度样本上的表现。还进行了参数敏感性分析和不同模型的适应性测试，验证算法的稳健性和实用性。
结果分析
RAPS在所有模型和数据集上均实现了预期的覆盖率，平均预测集大小远小于APS和传统校准方案。例如，ResNet-152模型在90%置信水平下，RAPS预测集平均大小为2.11，远低于APS的19和单独校准的多倍。不同模型中，RAPS均表现出优越的紧凑性和稳定性，验证了其在实际应用中的潜力。调节λ后，预测集大小可在覆盖率和自适应性之间实现平衡，满足不同场景需求。
应用场景
该方法适用于医疗影像诊断、自动驾驶、安防监控等高风险场景，为模型提供可靠的不确定性表达。用户只需在已有模型基础上进行校准，即可获得形式化保证的预测集，提升模型可信度。未来可结合在线学习和多模态信息，扩展到更复杂的应用场景，推动深度学习模型的安全部署。
局限与展望
目前算法依赖于概率输出的校准参数，参数调节可能影响性能。极端噪声或数据偏移可能削弱覆盖保证。计算成本虽低，但在超大模型和高维特征空间中仍存在效率挑战。未来需优化参数自动调节机制，增强鲁棒性。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，手边有很多食材。每次做菜前，你会根据经验估算每种食材的用量，但有时候估算不准，可能多放或少放。为了确保菜的味道，厨师会提前准备一些备用方案，比如多准备一些调料或备用食材。这个过程就像模型在预测时输出的概率，但有时候这些概率不太准确，尤其是在尾部类别（少见的食材）上。为了避免做出不合适的菜，厨师会用一种特别的方法，把不确定的部分调节得更合理，确保最终菜的味道既不偏离，又不浪费食材。这个方法就像本文提出的正则化符合预测，既保证菜的质量，又节省材料，让厨房操作更高效、更可靠。
简单解释 像给14岁少年讲一样
想象你在玩一个猜谜游戏，你要猜一个图片里是什么东西。通常，电脑会告诉你它猜的是什么，比如“猫”或者“狗”，并给出一个概率，比如“我觉得是猫的可能性是80%”。但有时候，这个概率不太准，尤其是那些不常见的动物或物品。为了更靠谱，科学家们设计了一种方法，让电脑不仅告诉你最可能的答案，还会给你一个“安全范围”，保证这个范围里一定有正确答案。这个方法会让电脑在猜的时候，避免只依赖不准的概率，而是用一种特别的技巧，把不确定的部分调节得更合理。这样一来，无论模型多不确定，它都能给出一个既小又可靠的答案范围，让你更有信心知道答案到底是什么。
原文摘要
Convolutional image classifiers can achieve high predictive accuracy, but quantifying their uncertainty remains an unresolved challenge, hindering their deployment in consequential settings. Existing uncertainty quantification techniques, such as Platt scaling, attempt to calibrate the network's probability estimates, but they do not have formal guarantees. We present an algorithm that modifies any classifier to output a predictive set containing the true label with a user-specified probability, such as 90%. The algorithm is simple and fast like Platt scaling, but provides a formal finite-sample coverage guarantee for every model and dataset. Our method modifies an existing conformal prediction algorithm to give more stable predictive sets by regularizing the small scores of unlikely classes after Platt scaling. In experiments on both Imagenet and Imagenet-V2 with ResNet-152 and other classifiers, our scheme outperforms existing approaches, achieving coverage with sets that are often factors of 5 to 10 smaller than a stand-alone Platt scaling baseline.