核心发现
方法论
DaMo采用可训练的多层感知机（MLP）预测不同数据比例下模型在下游任务中的性能。通过在有限样本上采样数据混合比例，训练MLP拟合性能曲线，实现对未见比例的性能预测。该方法结合多任务微调（SFT）策略，优化多模态大模型在移动场景中的表现。核心机制包括：• 采样多样化数据混合比例，• 在不同训练步骤保存模型检查点，• 利用MLP拟合性能轨迹，• 通过预测性能选择最优数据比例。实验验证显示，MLP预测性能的R^2达0.81，有效指导数据混合，显著优于传统指数拟合方法。
关键结果
- 在PhoneAgentBench上，DaMo实现了3.38%的性能提升（从基线54.83%到68.18%），优于其他数据混合策略。该方法在BFCL-v3、MME-Reasoning、MME-Perception和OCRBench等公开基准中也表现出色，平均提升2.57%。在单一任务优化（如BFCL-v3）中，性能提升达12.47%。此外，DaMo展现出良好的模型迁移能力，应用于Qwen和InternVL模型时，预测相关性保持在0.75以上，线性映射后提升至0.9以上。
- 结果显示，DaMo能高效预测多模态模型在复杂多任务场景中的表现，减少了大量试错成本，推动模型在移动端的实际应用。其预测准确性和泛化能力为多任务微调提供了新思路，特别适合工业场景中的多模态数据融合。
- 这些结果验证了神经网络在拟合非线性性能轨迹中的优势，突破了指数或幂律模型的限制，为多任务数据混合优化提供了理论基础和工程实践路径。DaMo的引入显著改善了多模态大模型的训练效率和性能表现，为未来移动端智能代理的研发提供了关键技术支撑。
- 未来工作可在更大规模、多样化模型上验证DaMo的普适性，结合强化学习或元学习进一步提升预测精度，并探索多模态数据动态变化的适应机制，以实现更智能的模型调优策略。
研究意义
本研究解决了多模态大模型微调中数据比例优化的难题，填补了工业级多模态移动端场景缺乏系统评估基准的空白。通过引入性能预测机制，显著降低了模型调优的成本和复杂度，为移动端智能代理的普及奠定基础。该方法不仅提升了模型性能，也推动了多任务学习和数据融合技术的发展，有望在智能手机、物联网等领域实现广泛应用，推动人工智能向更高效、更智能的方向演进。
技术贡献
本文提出的DaMo创新性地结合神经网络预测多模态模型在多任务场景中的性能，打破了传统指数拟合的局限。其核心技术包括：• 构建多模态任务基准PhoneAgentBench，涵盖复杂任务规划、工具调用、多模态记忆等关键能力；• 设计基于MLP的性能预测模型f，利用有限样本实现对未见数据比例的性能估算；• 提出数据混合空间的离线采样与预测策略，有效指导微调数据的选择。该方法实现了在不同模型架构上的良好迁移性和扩展性，为多模态模型的高效调优提供了新工具。
新颖性
本研究首次提出利用神经网络直接预测多模态大模型在多任务场景中的性能，突破了传统指数或幂律模型的限制。与现有数据混合优化方法主要依赖预训练损失或经验规则不同，DaMo通过学习性能轨迹实现精确预测，显著提升调优效率和效果。这一创新在多任务、多模态、多场景的模型微调中具有开创性意义，为工业应用中的模型自动化调优提供了理论基础和实践路径。
局限性
- 当前方法依赖有限样本采样，可能在极端或未覆盖的任务场景中表现不佳，需进一步扩展样本多样性。
- 模型迁移时仍需少量线性校准，存在一定的调优成本，未来需降低迁移复杂度。
- 在超大规模模型或极端多任务场景下，性能预测的准确性和泛化能力仍需验证，存在潜在的局限性。
未来方向
未来将结合强化学习和元学习技术，提升性能预测的鲁棒性和泛化能力。探索多模态数据动态变化的适应机制，实现模型在不断变化环境中的自我调节。还计划将DaMo应用于更大规模、多样化的工业场景，推动多模态模型的自动化调优和部署，缩短工业落地周期，促进人工智能在移动端的深度普及。
AI 总览摘要
随着移动端智能应用的快速发展，如何高效微调多模态大模型以应对复杂多任务场景成为研究热点。传统方法依赖大量试错，成本高且效率低，难以满足工业应用的需求。本文提出的DaMo（Data Mixture Optimizer）通过训练神经网络预测不同数据比例下模型在下游任务中的性能，实现了对最优数据混合策略的快速识别。
在核心技术上，DaMo采样有限的多模态数据混合比例，利用多层感知机（MLP）拟合性能轨迹，从而在未见比例上进行性能预测。实验在PhoneAgentBench及多个公开基准上验证了其有效性，性能提升达3.38%（PhoneAgentBench）和2.57%（平均分），在BFCL-v3任务中更是提升12.47%。该方法展现出良好的迁移能力和扩展性，适用于不同模型架构，极大降低了多模态模型微调的成本。
这一创新不仅推动了多任务、多模态模型的高效调优，也为工业界实现智能手机、物联网等场景下的智能代理提供了技术支撑。未来，结合强化学习和动态数据适应机制，DaMo有望在更大规模、多样化环境中实现自主优化，推动人工智能的普及与应用升级。
深度分析
研究背景
多模态大模型（MLLMs）近年来快速发展，已成为推动智能交互的重要技术基础。早期研究多集中在单一任务或单模态数据上，随着多任务、多模态需求的增长，微调策略成为关键。现有工作如LLaMA、InternVL等在预训练阶段采用指数或幂律模型优化数据混合，但在微调阶段缺乏系统性解决方案。工业应用中，模型需同时处理环境感知、任务规划、工具调用等多能力，现有基准多偏向单一任务或GUI场景，难以全面评估模型性能。缺乏针对多模态、多任务场景的工业级基准，限制了模型的实际落地。
核心问题
多模态大模型在多任务微调中，如何选择最优的数据比例成为核心难题。不同数据比例对模型性能影响复杂，传统指数拟合难以捕捉非线性变化。现有方法多依赖经验或试错，成本高且效果不佳。工业场景需求模型在多任务、多模态条件下实现高效调优，但缺乏系统性工具支持。如何在保证模型性能的同时，降低调优成本，成为亟待解决的问题。
核心创新
本研究的核心创新包括：1）提出基于神经网络的性能预测模型DaMo，直接映射数据比例到模型性能，突破指数拟合的局限；2）构建PhoneAgentBench，涵盖复杂任务规划、工具调用、多模态记忆等关键能力，提供全面评估平台；3）设计离线采样与预测策略，有效指导多任务微调，显著提升调优效率。这些创新使得多模态模型的调优变得自动化、精准化，为工业应用提供了可行方案。
方法详解
- �� 采样多样化数据混合比例：从固定空间中随机抽取多维比例，确保覆盖广泛场景；• 在不同训练步骤保存模型检查点，评估下游任务性能；• 构建性能预测模型f（MLP），输入数据比例和训练步数，输出预测性能；• 利用训练好的f在未见比例上进行性能预测，筛选出最优比例；• 通过多次采样和排序，选出性能最高的混合比例，用于实际微调；• 实验验证模型的预测能力，确保在不同模型架构和任务中均表现优异。
实验设计
采用PhoneAgentBench及多个公开基准（BFCL-v3、MME-Perception、MME-Reasoning、OCRBench）进行验证。训练数据包括220K多模态指令，涵盖中文和英文。对比基线包括均匀采样、自然比例和指数拟合（DML）。通过10折交叉验证评估MLP的拟合R^2（达0.81），验证预测准确性。采样250个数据点后，预测性能与实际表现高度相关。对未见比例进行性能预测，筛选出最优混合比例，实际训练验证效果优于所有对比方法。
结果分析
在PhoneAgentBench上，DaMo实现了3.38%的性能提升（从54.83%到68.18%），优于传统策略。在公开基准中，平均提升2.57%，在BFCL-v3任务中，性能提升达12.47%。迁移测试显示，DaMo在Qwen和InternVL模型中保持良好预测相关性（r>0.75），线性映射后提升至0.9以上。实验证明，DaMo能高效指导多模态模型在复杂多任务场景中的调优，显著降低试错成本，提升实际应用效果。
应用场景
该方法适用于工业中多模态模型的快速调优，特别是在移动端智能代理、智能手机助手、物联网设备等场景。只需少量样本即可预测性能，减少调参时间，提升模型性能。未来可结合动态数据变化机制，实现模型在不断变化环境中的自我优化，推动多模态模型的广泛应用和普及。
局限与展望
当前方法依赖有限样本采样，可能在极端或未覆盖场景中表现不足。模型迁移仍需少量线性校准，增加复杂度。在超大模型或极端多任务场景下，预测准确性和泛化能力仍需验证。未来需扩展样本多样性，降低迁移成本，提升在复杂环境中的适应性。
通俗解读 非专业人士也能看懂
想象你在厨房做菜，准备各种食材（数据），不同的食材比例会影响最终的味道（模型性能）。以前厨师们只能凭经验随意搭配，试了很多次才能找到好味道。现在，有个聪明的助手（DaMo），它能根据少量试验，预测不同食材搭配的味道好坏，帮你提前选出最优搭配。这样，你就不用反复试错，就能快速做出美味菜肴。这就像在训练AI模型一样，合理选择训练数据比例能大大提升模型表现，节省时间和成本。
简单解释 像给14岁少年讲一样
假设你在学校里准备演讲，想知道用不同的资料（比如图片、视频、文章）搭配，哪个组合能让你的演讲更精彩。以前，你只能自己试很多次，反复练习才能找到最佳搭配。现在，有个聪明的朋友（DaMo），它可以根据你提供的少量试验结果，预测不同资料组合的效果，帮你提前选出最有可能成功的搭配。这样，你就不用每次都试错，节省了很多时间，也能让你的演讲更棒。这就像训练AI一样，合理选择训练数据能让模型表现更好，效率更高。
原文摘要
Mobile Phone Agents (MPAs) have emerged as a promising research direction due to their broad applicability across diverse scenarios. While Multimodal Large Language Models (MLLMs) serve as the foundation for MPAs, their effectiveness in handling multiple mobile phone tasks simultaneously remains limited. Although multitask supervised fine-tuning (SFT) is widely adopted for multitask learning, existing approaches struggle to determine optimal training data compositions for peak performance. To address this challenge, we propose DaMo (Data Mixture Optimizer) - a novel solution employing a trainable network that predicts optimal data mixtures by forecasting downstream task performance for any given dataset ratio. To support comprehensive evaluation, we introduce PhoneAgentBench, the first specialized benchmark to evaluate MLLMs on multimodal mobile phone tasks, comprising 1235 QA pairs spanning diverse real-world industrial mobile application scenarios. Demonstrating strong predictive capability (R^2=0.81) in small-scale pilot experiments, DaMo efficiently extrapolates optimal data mixing configurations. Our results show DaMo achieves a 3.38% performance improvement on PhoneAgentBench compared to alternative methods. Furthermore, extensive experiments across established benchmarks including BFCL-v3, MME-Reasoning, MME-Perception, and OCRBench reveal DaMo's superior generalization, outperforming other approaches by 2.57% in terms of average score. When used solely for MLLM optimization on the BFCL-v3 task, DaMo improves the metrics by 12.47% than other methods. Notably, DaMo maintains robust scalability, preserving its effectiveness when applied to other model architectures. The code and dataset are available at https://github.com/OPPO-Mente-Lab/DaMo.git