核心发现
方法论
CARGO利用样本多样性采样（prompt变异）结合贝叶斯早停策略，通过多次响应一致性估算模型的可靠性。采用Beta分布后验对响应中最频繁答案的概率进行估计，动态调节采样次数以平衡效率与准确性。系统支持部署时校准目标合作比例，无需额外训练，适应多任务、多模型场景。
关键结果
- 在数学推理、问答任务中，CARGO在合作比例为30%的设置下，准确率提升至93.89%，优于无路由和训练路由基线。多模型评估显示，CARGO在不同规模和预训练/微调模型中均表现优异，部分场景超越监督学习路由。
- 在多任务、多模型组合中，CARGO显著减少采样次数（平均节省40%响应生成），同时保持高可靠性，验证其样本效率和适应性。
- 贝叶斯早停机制确保采样数有限，平均响应时间降低20%，在资源受限环境中表现出良好实用性。
研究意义
该研究突破了传统依赖训练路由的限制，提出基于模型内在响应一致性的无训练路由方案，为边缘设备和资源有限场景提供高效、可调节的合作策略，有望推动大模型在实际部署中的普及与优化。
技术贡献
引入多样性prompt采样结合贝叶斯后验估计，提出无训练的响应一致性路由机制，确保在不同任务和模型架构下的可靠性。创新性地实现了动态采样控制与合作比例调节，为模型可靠性估算提供理论保障，拓展了模型自信度的应用边界。
新颖性
首次提出利用响应一致性作为无训练路由信号，结合贝叶斯早停实现样本效率优化，突破了现有方法对训练数据和任务特定依赖的限制，展现出模型内在行为的普适性和可调性。
局限性
- 当前方法对极端复杂或模糊任务的响应一致性判断仍有限，可能导致误判。
- 贝叶斯估计依赖假设响应独立性，实际中可能受模型偏差影响。
- 在极端资源受限环境下，响应采样仍存在一定延迟。
未来方向
未来将探索多模态响应一致性，结合上下文信息提升鲁棒性，并研究自适应采样策略以进一步降低延迟。同时，考虑多任务联合优化和动态合作比例调节的多目标训练方案。
AI 总览摘要
在大规模语言模型（LLM）部署中，如何在保证性能的同时实现资源节约成为关键问题。传统方法多依赖训练专门的路由器或微调模型，既耗时又缺乏灵活性。本文提出CARGO，一种无需训练的路由框架，基于模型响应一致性估算信号，结合贝叶斯早停机制，有效实现本地模型的可靠性评估。通过prompt变异采样，CARGO能够在不同任务和模型规模下，动态调节采样次数，平衡效率与准确性。实验结果显示，CARGO在数学推理、问答等多任务场景中，显著优于无路由和训练路由基线，在部分场景甚至超越监督学习路由。其核心创新在于利用模型内在行为特征，避免繁琐的训练过程，增强系统的适应性和可调性。这一技术突破为边缘设备和资源有限环境中的大模型应用提供了新的解决方案，推动了智能系统的普及与优化。未来，结合多模态信息和多任务联合优化，将进一步提升其鲁棒性和实用性，为大模型的高效部署开辟新路径。
深度分析
研究背景
近年来，大规模语言模型（LLM）在多个领域取得突破性进展，但其部署面临资源限制、延迟和隐私等挑战。传统方案依赖云端推理或微调模型，成本高且缺乏灵活性。边缘设备对模型的响应速度和能耗提出更高要求，促使研究者探索本地推理与云端协作的优化策略。现有的路由方法多采用训练好的分类器或微调模型，虽然效果显著，但在部署环境变化时缺乏适应性。近年来，响应一致性（self-consistency）作为模型内在信号逐渐被关注，显示出在无训练条件下估算模型可靠性的潜力。本文基于此，提出一种全新的无训练路由框架，旨在解决模型可靠性估算的效率与泛化问题。
核心问题
核心问题在于如何在无需额外训练的情况下，利用模型自身的响应行为判断其在特定任务中的可靠性。传统方法依赖训练好的路由器或微调模型，成本高且难以适应动态变化的部署需求。边缘设备对延迟和计算资源有限，要求路由机制既要高效又要灵活。如何在保证准确率的同时，减少响应采样次数，成为关键挑战。此外，系统还需支持不同合作比例的调节，以满足多样化的应用场景。
核心创新
本文的创新点主要包括：1）提出基于响应一致性的无训练路由信号，避免依赖任务特定的监督信息；2）结合贝叶斯后验估计，动态调节采样次数，实现样本效率最优化；3）引入prompt变异机制，确保多样性采样而非随机噪声干扰；4）设计贝叶斯早停策略，确保在保证可靠性前提下，减少响应生成次数。这些创新共同实现了一个高效、灵活且无需训练的路由方案，适应多任务、多模型环境。
方法详解
- �� 采样多样性：通过设计一组语义等价的系统prompt，促使模型生成多样响应，避免随机噪声影响。• 可靠性估算：利用响应中最频繁答案的概率（mode mass）作为模型可靠性指标，采用Beta分布后验进行估计。• 贝叶斯早停：在采样过程中，计算后验置信区间，满足预设置信度和误差阈值后停止采样，提升效率。• 动态调节：通过校准参数λ，调整响应一致性阈值，实现目标合作比例。• 采样策略：在每个查询中，逐步采样响应，直到置信区间满足条件或达到最大采样数。• 路由决策：根据估算的可靠性指标，利用sigmoid函数映射为云端或本地输出的概率，随机采样决定最终路径。
实验设计
采用多任务数据集（如MATH-lighteval、GSM8K、SVAMP、SQuAD）评估CARGO的性能。比较基线包括随机路由、自信度阈值、链式推理（CoT）步数和监督学习路由。指标涵盖准确率、采样次数和延迟。模型包括Llama-3.2-1B、Qwen2.5-7B等，云端模型为DeepSeek-R1。通过调节合作比例，验证系统在不同资源限制下的适应性。还进行消融实验，分析贝叶斯早停和prompt多样性的贡献。
结果分析
CARGO在合作比例为30%的条件下，准确率达93.89%，优于无路由（88.72%）和训练路由（88.88%）。在多模型、多任务场景中，显著减少采样次数（平均节省40%），同时保持高可靠性。贝叶斯早停机制确保响应时间降低20%，在资源受限环境中表现优异。多任务评估显示其泛化能力强，部分场景超越监督路由，验证了其高效性与适应性。
应用场景
该方法适用于边缘设备、移动端和隐私敏感场景，能在无需微调或额外训练的情况下实现智能问答、推理和决策支持。特别适合动态变化的系统环境，可调节合作比例，满足不同应用需求。未来可结合多模态信息，提升复杂场景下的可靠性，为智能边缘系统提供新方案。
局限与展望
当前方法在极端复杂或模糊任务中，响应一致性判断可能不够准确，导致误判。贝叶斯估计假设响应独立性，实际中可能受模型偏差影响。采样过程仍存在一定延迟，尤其在极端资源受限环境下，响应时间可能不够理想。未来需优化采样策略和多模态融合以提升鲁棒性。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭，面对一道复杂菜肴，你可以用不同的食材和调料尝试多次，观察每次的味道变化。如果多次尝试后，味道都差不多，说明这道菜已经做好了，可以直接端上桌；如果每次尝试都不一样，说明还需要调整或请教厨师。这就像CARGO用不同的prompt让模型生成多样响应，观察它们的一致性，判断模型是否能可靠回答问题。这样不用专门训练一个厨师（路由器），只靠自己观察就能决定是否自己动手或请专家帮忙。这种方法简单高效，适应不同菜谱（任务）和厨房（模型），节省时间和成本。
简单解释 像给14岁少年讲一样
想象你在学校的科学实验室里，面对一个难题，你可以用不同的方法尝试解决。每次尝试后，你会觉得这个方法是否靠谱，比如每次都得到差不多的答案，说明你对这个问题有信心；如果每次都答得不一样，说明还不确定，需要请老师帮忙。CARGO就像你用这个办法，它让电脑模型自己多次尝试回答问题，然后观察答案是否一致。如果答案都差不多，模型就可以自己解决问题；如果不一致，就让云端的更强模型帮忙。这样不用专门教模型怎么判断自己是否靠谱，只靠它自己生成的答案来决定。这个方法既快又灵活，能在不同任务和模型中都用得上，就像你用不同的尝试方法来判断问题的难度一样。
原文摘要
Local-cloud collaboration is a practical way to deploy large language models under resource constraints, but existing methods often rely on trained routers or collaboration-aware finetuning that tie routing behavior to a particular operating regime. In this work, we show that such training may be unnecessary: the local model's own inference-time agreement across sampled responses already provides a strong signal for deciding when to trust local execution and when to offload to a stronger cloud model. We propose CARGO, a training-free routing framework that estimates this agreement through prompt-varied sampling, applies Bayesian early stopping for sample-efficient uncertainty control, and supports arbitrary target collaboration ratios through lightweight deployment-time calibration. Across diverse reasoning and question-answering tasks, multiple local LLM families and scales, and both pretrained and finetuned local models, CARGO consistently outperforms other training-free baselines and in several settings surpasses supervised learned routers. These results suggest that effective and adaptable local-cloud collaboration can emerge directly from the local model's intrinsic response behavior, without requiring an additional trained router.