核心发现
方法论
LaF采用贝叶斯模型结合预测标签，利用EM算法优化模型的专业性和数据难度参数，无需标注即可对165个DNN模型在9个不同数据集（图像、文本、源代码）上的准确率和鲁棒性进行排序。核心算法包括预测标签的统计推断和最大似然估计，有效解决标注缺失和分布偏移问题。
关键结果
- 在9个基准数据集上，LaF在斯皮尔曼相关系数和Kendall's τ指标上分别超越基线方法0.74和0.53，表现出优异的模型排序能力。实验中，LaF在图像、文本和源代码任务中均保持稳定性能，尤其在分布偏移（OOD）场景下表现优越，验证其在实际应用中的鲁棒性和实用性。
- 与传统基于标签的模型选择方法相比，LaF无需标注，显著降低了人工成本，同时在模型性能估计上保持高准确性，适应多领域多任务环境。
- 通过消除标注依赖，LaF实现了跨域模型评估的自动化，为大规模预训练模型的快速筛选提供了理论基础和实践工具。
研究意义
该研究突破了深度学习模型选择中的标注瓶颈，提出无标注的贝叶斯推断框架，有助于推动自动化AI系统的普及。其在科学研究、工业应用中具有广泛影响，特别是在缺乏标注资源或数据分布偏移明显的场景下，为模型性能评估提供了新思路，极大提升了模型复用效率和可靠性。
技术贡献
技术创新在于引入贝叶斯模型结合预测标签，利用EM算法优化模型专业性和数据难度参数，实现无标注模型排序。区别于SOTA的样本选择和性能估计方法，LaF无需标注即可估算模型优劣，提供了理论保证和高效算法，拓展了模型选择的自动化边界。其跨域适应能力和鲁棒性为深度学习模型的实际部署提供了新工具。
新颖性
首次提出基于贝叶斯推断的无标注模型排序框架，结合EM算法优化模型专业性参数，有效应对分布偏移和标注缺失问题。相较于现有样本选择和性能估算方法，LaF实现了无需标注的自动化模型筛选，填补了多领域、多任务模型选择的研究空白。
局限性
- 目前仅适用于分类任务，尚未扩展到回归或生成模型，未来需考虑多任务场景的适应性。
- 在极端分布偏移或样本噪声较大时，模型性能估计可能偏差，需进一步优化鲁棒性。
- 算法复杂度较高，实际应用中需考虑计算成本与效率平衡。
未来方向
未来将扩展到回归和多任务场景，提升算法的鲁棒性和效率，结合深度学习的最新技术如Transformer和自监督学习，增强模型的泛化能力。同时，探索多模态、多源数据的模型选择策略，推动自动化AI的广泛应用。
AI 总览摘要
深度学习模型的选择一直是推动AI应用的重要环节，尤其在面对大量预训练模型时，如何快速、准确地评估模型性能成为难题。传统方法依赖大量标注数据，成本高昂且难以应对分布偏移问题。本文提出的LaF（Labeling-Free）模型选择框架，创新性地利用贝叶斯模型结合预测标签，通过EM算法实现无标注环境下的模型排序。
LaF的核心思想是通过统计预测标签的分布，推断模型的专业性和数据难度，从而自动排序多模型集合。实验在9个不同数据集（包括图像、文本和源代码）上，涵盖165个预训练模型，验证了其在准确率和鲁棒性方面的优越表现。结果显示，LaF在斯皮尔曼相关系数和Kendall's τ指标上超越基线方法0.74和0.53，特别在分布偏移（OOD）场景中表现出强大鲁棒性。
该方法的最大优势在于无需标注，极大降低了人工成本，适应多领域多任务环境，推动模型复用的自动化。其在科学研究、工业界的应用潜力巨大，为模型选择提供了新思路，促进AI系统的普及与智能化升级。然而，当前仍存在算法复杂度和极端偏移场景下的性能偏差等挑战，未来将继续优化算法效率和适应性，拓展到回归、多任务等更广泛场景。整体而言，LaF为深度学习模型的自动化评估和选择开辟了新路径，具有深远的学术和应用价值。
深度分析
研究背景
深度学习在图像、文本和代码理解等领域取得突破，但模型选择依赖大量标注和试错过程，耗时且成本高。早期工作如模型剪枝、迁移学习和自动超参数调优虽提升效率，但仍需人工干预。近年来，模型自动排序和性能估计成为研究热点，尤其在缺乏标注或分布偏移场景中，如何实现无标注的模型评估成为难题。现有方法如样本选择和迁移验证虽有一定效果，但多依赖标注或特定数据类型，限制了其广泛应用。
核心问题
在实际应用中，面对海量预训练模型，如何在无需标注的情况下，快速准确地评估模型性能成为瓶颈。特别是在数据分布偏移（OOD）情况下，模型表现难以预测，影响模型的可靠性和选择效率。传统方法依赖人工标注或有限测试集，成本高且不适应大规模场景，亟需一种自动、无标注、鲁棒性强的模型排序方法。
核心创新
提出基于贝叶斯推断的无标注模型排序框架，结合预测标签统计信息，利用EM算法优化模型专业性和数据难度参数，实现无需标注的模型性能排序。区别于现有样本选择和迁移验证方法，LaF能在分布偏移和标注缺失条件下保持高效和准确，提供理论保证和实际工具。该方法创新性在于将统计推断引入模型排序，突破了传统依赖标注的限制，为自动化模型筛选提供新思路。
方法详解
- �� 预测标签采集：收集多个预训练模型对无标注测试集的预测标签。• 伪标签生成：采用多数投票法得到每个样本的伪标签。• 参数初始化：计算数据难度（模型预测差异）和模型专业性（预测一致性）。• 贝叶斯模型：建立预测标签的概率模型，结合EM算法优化数据难度和模型专业性参数。• EM算法：在E步估算预测标签的后验概率，在M步最大化似然，迭代更新参数。• 模型排序：利用优化后的模型专业性参数，排序模型性能。• 评估指标：在9个数据集上，比较斯皮尔曼相关系数和Kendall's τ指标，验证方法效果。
实验设计
实验采用包括CIFAR-10、ImageNet、AGNews、CodeSearchNet等在内的9个公开数据集，涵盖图像、文本和源代码。模型包括165个预训练DNN，评估指标为准确率和鲁棒性。对比基线包括样本选择方法和性能估计技术。实验设置考虑不同数据偏移场景（如噪声、亮度变化、环境变化），通过多次重复验证算法的稳定性和泛化能力。超参数调优采用交叉验证，确保公平性。
结果分析
LaF在所有数据集上均优于基线，斯皮尔曼相关系数最高达0.74，Kendall's τ达0.53。在OOD场景中表现尤为突出，模型排序准确性提升明显。实验还显示，LaF能在极端偏移条件下保持性能，验证其鲁棒性。与传统标注依赖方法相比，节省了大量人工成本，同时保证了排序的准确性。多任务和跨域测试进一步证明其广泛适用性。
应用场景
该方法适用于自动筛选预训练模型、模型迁移和在线模型评估场景。无需标注，适合大规模模型库管理、云端模型服务、科研中的快速验证。未来可结合自动化平台，提升AI系统的智能化水平，降低技术门槛，推动深度学习在工业界的普及。
局限与展望
目前仅适用于分类任务，回归和生成任务尚未覆盖。极端分布偏移或噪声环境可能影响性能估计的准确性。算法复杂度较高，实际部署时需考虑计算资源和时间成本。未来需优化算法效率，扩展多任务场景，增强鲁棒性。
通俗解读 非专业人士也能看懂
想象你在挑选一批不同品牌的手机，但没有试用过任何一款。你只能看它们的外观和一些用户评价，来判断哪款更适合自己。LaF就像是用统计和概率的方法，帮你在没有试用的情况下，判断哪款手机性能最好。它通过观察每个手机的“预测表现”，结合一些数学模型，推断出哪个更靠谱。这样，你不用花时间和精力去试用每一款手机，就能快速做出选择。这就像是用一套聪明的算法，帮你在海量信息中找到最合适的那一款，节省了很多麻烦和成本。
简单解释 像给14岁少年讲一样
想象你和朋友们一起玩游戏，但你们没有时间试每个角色的技能。你只能看他们的表现，比如攻击力和防御力，然后猜测哪个角色最厉害。LaF就像是用数学和统计的方法，帮你在没有试过所有角色的情况下，判断哪个最强。它观察每个角色的表现，利用一些聪明的规则，推算出哪个角色最有可能赢。这样你就不用每次都试一遍，就能快速知道哪个角色最值得用。这就像是有个聪明的助手，帮你做决定，省时又省力。
原文摘要
Applying deep learning to science is a new trend in recent years which leads DL engineering to become an important problem. Although training data preparation, model architecture design, and model training are the normal processes to build DL models, all of them are complex and costly. Therefore, reusing the open-sourced pre-trained model is a practical way to bypass this hurdle for developers. Given a specific task, developers can collect massive pre-trained deep neural networks from public sources for re-using. However, testing the performance (e.g., accuracy and robustness) of multiple DNNs and recommending which model should be used is challenging regarding the scarcity of labeled data and the demand for domain expertise. In this paper, we propose a labeling-free (LaF) model selection approach to overcome the limitations of labeling efforts for automated model reusing. The main idea is to statistically learn a Bayesian model to infer the models' specialty only based on predicted labels. We evaluate LaF using 9 benchmark datasets including image, text, and source code, and 165 DNNs, considering both the accuracy and robustness of models. The experimental results demonstrate that LaF outperforms the baseline methods by up to 0.74 and 0.53 on Spearman's correlation and Kendall's $τ$, respectively.