核心发现
方法论
DomainPilot通过在训练过程中引入令牌级域损失监控，实时捕捉各域学习动态。第一阶段利用缩放定律拟合域损失轨迹，确定粗略的混合比例调整依据；第二阶段通过控制扫描实验建模跨域交互，细化比例调整。架构采用补丁式设计，将域感知损失计算集成到现有训练框架（如MindSpeed、Megatron-LM），仅需30行适配代码。实验在Qwen3-1.7B模型上验证，优化后在多个任务上实现+1.8%至+3.8%的性能提升，且不增加数据量或训练成本。
关键结果
- 在Qwen3-1.7B模型微调中，优化混合比例使MMLU-Redux提升2%，AIME24提升1.8%，LiveCodeBench v5提升3.8%，BFCL v3提升3.6%。
- 通过域损失轨迹拟合，识别出如swe（软件工程）和termagent（工具调用）等低效域，调整比例显著改善了对应任务表现。
- 实验表明，该方法在不增加数据或计算成本的前提下，有效提升模型多任务性能，验证了域级损失信号的有效性和轻量性。
研究意义
该研究突破了传统数据调度的高成本瓶颈，提出基于域损失的动态优化方案，为工业级大规模预训练提供了低成本、高效的解决路径。通过引入域级学习动态监控，显著改善多域数据混合策略的科学性和自动化水平，有助于推动大模型在多任务、多场景中的应用普及。此方法兼具理论创新和工程实用价值，为未来大模型训练中的数据管理提供新思路。
技术贡献
技术上，提出令牌级域损失监控机制，结合缩放定律和混合定律，形成两阶段优化流程。架构采用补丁式设计，兼容多种训练框架，极大降低集成难度。算法创新在于利用域损失轨迹拟合学习曲线，指导比例调整，避免繁琐样本筛选或辅助模型训练。实验证明，该方法在不增加训练成本的基础上，实现了性能的显著提升，为大规模模型微调提供了新工具。
新颖性
本研究首次提出基于域级损失监控的两阶段混合优化框架，突破了样本级损失信号的局限，结合缩放定律实现数据比例的科学调节。相较于现有的样本重加权或自动聚类方法，DomainPilot具有低成本、易集成、效果显著的优势，填补了工业环境中缺乏高效动态数据调度的空白。
局限性
- 目前验证仅在1.7B参数模型和微调阶段，尚未验证在大规模预训练中的适用性，未来需扩展到更大模型和预训练场景。
- 第二阶段的跨域交互建模（混合定律）尚未完成，实际效果仍待验证，可能受限于实验设计复杂性。
- 方法依赖于训练框架的补丁式集成，部分框架（如DeepSpeed）可能存在兼容性挑战。
未来方向
未来将扩展到更大模型（如Qwen3-4B、8B），验证域损失监控的普适性。计划实现跨框架适配（如HuggingFace、DeepSpeed），并结合样本级质量评分，提升数据筛选的精度。此外，将探索低质量数据的自动识别与剔除，建立闭环数据清洗机制，推动大模型的自动化训练与优化。
AI 总览摘要
大规模语言模型（LLMs）在实际应用中面临数据质量与配置的巨大挑战。传统数据调度方法因成本高昂、效率低下，难以满足工业级需求。本文提出DomainPilot，一种基于域级损失监控的两阶段数据混合优化框架，旨在提升微调效果同时降低成本。
该方法通过在训练过程中引入令牌级域损失监控，实时捕捉不同域的学习动态。第一阶段利用缩放定律拟合域损失轨迹，估算出每个域的学习难度和收敛速度，从而实现粗略比例调整；第二阶段通过控制扫描实验，建模跨域交互关系，细化比例调整。这一架构采用补丁式设计，极大简化集成难度，兼容多种训练框架。
在Qwen3-1.7B模型微调中，实验结果显示优化混合比例后，模型在多个任务上实现了+1.8%至+3.8%的性能提升，且未增加训练数据或计算成本。具体表现为在LiveCodeBench v5中提升3.8%，BFCL v3中提升3.6%，验证了域级损失信号的有效性。该方案不仅提升了模型性能，也为工业界提供了低成本、高效的动态数据调度新思路。
未来，作者计划将此方法推广到更大模型规模，完善跨框架适配，结合样本级质量评分，构建自动化数据清洗闭环，推动大模型训练的智能化与自动化发展。整体而言，DomainPilot为大模型数据管理提供了理论创新与工程实践的双重突破，具有广泛应用前景。
深度分析
研究背景
近年来，随着Transformer架构的普及，大规模语言模型（如GPT、BERT等）在自然语言处理领域取得突破。代表性工作包括OpenAI的GPT系列、Google的T5、Meta的Llama等，推动了模型参数规模不断扩大。训练过程中，数据的质量与多样性成为关键因素。传统方法多依赖手工调优或静态数据混合，存在效率低、成本高的问题。近年来，动态数据调度技术逐渐兴起，试图通过样本筛选、比例调整等手段优化训练效果，但面临计算成本、框架兼容性等挑战。
核心问题
工业级大规模预训练和微调中，数据选择与混合策略成为瓶颈。样本级损失信号难以区分噪声与难度，导致重加权策略效果有限。现有动态调度方法多依赖复杂模型或高昂计算，难以在实际生产环境中推广。此外，缺乏有效的实时反馈机制，导致数据配置难以动态适应模型学习状态，影响训练效率和模型性能。
核心创新
本研究提出基于域级损失监控的两阶段优化框架。第一阶段利用缩放定律拟合域损失轨迹，估算每个域的学习难度和收敛速度，指导粗略比例调整。第二阶段通过控制扫描实验，建模跨域交互关系，微调比例以最大化性能提升。架构采用补丁式设计，简洁高效，易于集成到现有训练框架中。创新点在于引入域级损失信号，突破样本级信号的局限，实现低成本、高效的动态数据调度。
方法详解
- �� 令牌级域损失监控：在数据预处理阶段，利用knapsack packing标记每个令牌的域信息，训练中通过模型前向传播，聚合每个域的损失。
- �� 缩放定律拟合：对每个域的损失轨迹进行曲线拟合，提取初始损失、收敛速度和极限损失参数。
- �� 粗略比例调整：基于拟合参数，计算每个域的调整得分，调整比例符合学习难度和收敛速度。
- �� 跨域交互建模：通过控制扫描实验，调节域比例，拟合交互模型，捕捉不同域间的影响关系。
- �� 细化比例优化：利用交互模型，求解最优比例配置，提升整体训练效果。
- �� 体系架构：采用补丁式设计，将域损失计算和比例调整集成到现有训练框架（如MindSpeed、Megatron-LM），只需30行适配代码。
实验设计
在Qwen3-1.7B模型上进行微调实验，数据涵盖8个域（如chat、math、safety等），原始比例由手工调优确定。训练过程中启用域损失监控补丁，实时记录每个域的损失轨迹。利用缩放定律拟合每个域的学习曲线，计算调整得分，调整比例后进行二次扫描实验验证交互模型。评估指标包括多任务性能（如MMLU-Redux、AIME24、LiveCodeBench、BFCL），与原始比例相比，优化后在多个任务上均获得显著提升。对比不同调度策略，验证方法的有效性和低成本特性。
结果分析
优化比例后，模型在LiveCodeBench v5中提升3.8%，BFCL v3中提升3.6%，MMLU-Redux提升2%，AIME24提升1.8%。特别是软件工程和工具调用域（swe、termagent）表现最优，说明低效域得到了有效资源重配。实验还显示，未增加数据量或训练成本，性能提升明显，验证了域级损失信号的指导作用。微调结果优于传统样本重加权和自动聚类方法，展现出低成本高效的优势。
应用场景
该方法适用于大规模多域任务的模型微调，尤其在工业环境中，能够自动调节数据比例，提升模型性能。可广泛应用于智能客服、代码生成、科学计算等场景，减少人工调优成本。未来还可结合样本质量评分，建立自动数据清洗闭环，推动大模型训练的智能化。
局限与展望
目前验证仅在1.7B参数模型和微调阶段，尚未在预训练大模型中验证效果。第二阶段交互模型仍在开发中，实际效果有待验证。架构依赖补丁式集成，可能在某些框架（如DeepSpeed）中存在兼容性问题。此外，方法对训练框架的依赖较强，未来需提升通用性和自动化水平。
通俗解读 非专业人士也能看懂
想象你在准备一场大型派对，里面有不同的区域：游戏区、音乐区、食物区。每个区域的受欢迎程度不同，派对策划者需要根据每个区域的反馈调整资源分配。传统方法可能只看整体满意度，难以判断哪个区域需要更多关注。DomainPilot就像派对策划者通过每个区域的实时反馈（比如每个区域的满意度）来动态调整资源比例。它会观察每个区域的变化趋势，识别哪些区域还需要投入，哪些可以减少。这样，整个派对的体验就会变得更好，效果更明显。这种做法比盲目增加所有区域的投入要聪明得多，也更节省成本。
简单解释 像给14岁少年讲一样
想象你在学校组织一个大型活动，有很多不同的项目，比如运动会、文艺表演、科学展览。每个项目的准备时间和难度都不一样。以前，你可能会平均分配时间和资源，但这样不一定效果最好。有了DomainPilot，就像你用一个聪明的助手，观察每个项目的进展，发现哪些项目还需要更多帮助，哪些已经差不多了。助手会根据每个项目的表现，建议你调整资源分配，比如多帮运动会一点，少花时间在文艺表演上。这样，整个活动就能更顺利，效果也更好。它用一种聪明的方法，帮你在有限的资源下，让每个项目都发挥出最好的水平。
术语表
Domain Loss (域损失)
衡量模型在某一特定数据域上的表现，反映学习动态。技术上为每个域的平均损失值。
在论文中用于监控不同数据域的学习状态。
Scaling Law (缩放定律)
描述模型损失随训练数据或参数规模变化的数学关系，常用指数或幂律函数。
用以拟合域损失轨迹，指导比例调整。
Mixing Law (混合定律)
建模不同数据域交互影响的二阶展开，用于微调比例以最大化性能。
在第二阶段细化比例时应用。
补丁架构 (Patch-based architecture)
将算法逻辑封装为独立补丁，集成到不同训练框架中，避免修改核心代码。
实现低成本、多框架兼容的集成方案。
令牌级域标记 (Token-level domain tagging)
在数据预处理时为每个令牌打上所属域的标签，便于损失聚合。
实现域损失监控的基础技术。
开放问题 这项研究留下的未解疑问
- 1 尚未验证该方法在大规模预训练中的效果，特别是在参数规模超过10B的模型中表现如何。
- 2 第二阶段的跨域交互建模（混合定律）还未完全实现，实际效果仍需验证。
- 3 如何结合样本质量评分进行更精细的资源调配，仍是未来研究方向。
应用场景
近期应用
多域模型微调优化
在工业环境中，利用域损失监控自动调整多域数据比例，提升模型在多任务上的表现，减少人工调优成本。
数据资源高效利用
帮助数据工程师根据实时学习动态优化数据分配，实现数据利用最大化。
远期愿景
自动化大模型训练
结合域损失监控和自动数据清洗，推动大模型训练的全流程智能化，降低人力成本。
原文摘要
The training efficacy of large language models (LLMs) is fundamentally constrained by the quality and composition of training data. Existing dynamic data scheduling methods face critical limitations in industrial-scale pretraining and supervised fine-tuning (SFT): data selection incurs prohibitive O(N) costs on terabyte-scale corpora, mixture optimization schemes introduce severe I/O bottlenecks or require training auxiliary reference models, and sample-level reweighting strategies rely on loss signals that conflate noise, difficulty, and novelty. We present DomainPilot, a domain-level loss-guided two-stage data mixture optimization framework. DomainPilot introduces token-level domain loss monitoring to capture per-domain learning dynamics during training without halting the data pipeline. Building on these signals, we propose a Scaling Law guided coarse optimization stage that fits domain-specific convergence curves and derives a principled prior for mixture adjustment. A subsequent Mixing Law guided fine optimization stage refines the mixture by modeling cross-domain interaction effects through controlled sweep experiments. The entire mechanism is realized via a patch-based architecture that injects domain-aware loss computation into existing training frameworks (e.g., MindSpeed/Megatron-LM) with only ~30 lines of framework-specific adapter code. We validate DomainPilot on the Qwen3-1.7B model during SFT. Compared to the original data mixture, our optimized mixture achieves improvements of +2% on MMLU-Redux, +1.8% on AIME24, +3.8% on LiveCodeBench v5, and +3.6% on BFCL v3, without increasing total data volume or training cost. These results demonstrate that domain-level training signals provide an effective, lightweight alternative to expensive data selection or auxiliary model training for mixture optimization.