DataFlex: A Unified Framework for Data-Centric Dynamic Training of Large Language Models
DataFlex整合数据选择、混合和重加权，提升大模型训练效率和性能。
核心发现
方法论
DataFlex基于LLaMA-Factory，设计了支持样本选择、域混合调整和样本重加权的统一动态训练框架。采用模块化架构，定义Select、Mix、Weight三类训练器，结合特定算法（如LESS、NICE、DoReMi、ODM）实现多样化数据优化策略。系统标准化模型嵌入提取、推理和梯度计算，支持大规模训练（如DeepSpeed ZeRO-3）。通过多轮实验验证，动态方法在MMLU任务上显著优于静态全数据训练，提升准确率和收敛速度。
关键结果
- 在Mistral-7B和Llama-3.2-3B模型上，动态样本选择方法提升MMLU准确率约3-4个百分点，超越静态训练，表现稳定且具有良好泛化能力。
- 采用DoReMi和ODM进行数据混合，在Qwen2.5-1.5B模型预训练中，提升了6B和30B规模下的MMLU表现，准确率提升2-3个百分点，困惑度降低10%以上。
- 系统实现实现了运行时间的优化，平均提升10-15%，在大规模训练环境中表现出良好的扩展性和效率。
研究意义
该研究突破了数据优化的孤立算法局限，提供了统一、可扩展的系统平台，极大促进了数据驱动的模型训练研究。解决数据选择与混合策略难以比较、集成的问题，为大模型的高效训练提供了标准化工具，有助于推动行业实践与学术创新的融合。
技术贡献
提出支持多策略的模块化架构，统一模型依赖操作（嵌入提取、推理、梯度计算），实现算法的快速集成和公平比较。系统兼容大规模训练框架（如DeepSpeed ZeRO-3），提升训练效率。通过多算法实验验证，系统在性能和效率上均优于传统静态方法，为未来数据驱动训练提供了坚实基础。
新颖性
首次将多类数据优化策略（选择、混合、重加权）在单一系统中统一实现，突破算法孤岛状态。引入模块化设计和标准化接口，极大简化算法集成与比较，推动数据驱动训练体系的标准化发展。
局限性
- 系统主要在预定义算法基础上实现，尚未涵盖所有新兴策略，未来需支持更多自定义算法。
- 在极端大规模环境中，部分动态策略仍存在性能瓶颈，需进一步优化调度机制。
- 对模型依赖信号的依赖较强，可能在某些模型或任务中表现有限。
未来方向
未来将扩展支持更多在线与离线数据优化算法，增强系统的自适应能力。探索多模态、多任务场景下的动态数据优化策略，提升模型泛化能力。结合强化学习等技术，优化数据调度策略，以实现更智能化的训练流程。
AI 总览摘要
随着大规模语言模型（LLMs）在自然语言处理中的广泛应用，如何高效利用海量异构数据成为核心挑战。传统训练方法多依赖静态数据集，难以应对数据多样性带来的优化难题。DataFlex应运而生，作为一个支持多策略的统一数据驱动训练平台，旨在提升模型性能与训练效率。
DataFlex基于LLaMA-Factory，设计了支持样本选择、域混合调整和样本重加权的模块化架构。通过定义Select、Mix、Weight三类训练器，结合具体算法（如LESS、NICE、DoReMi、ODM），实现动态调控数据使用策略。系统标准化了模型嵌入提取、推理及梯度计算，兼容大规模训练环境（如DeepSpeed ZeRO-3），极大简化了多算法集成与比较。
实验结果显示，动态数据选择在MMLU任务中提升准确率3-4个百分点，优于静态全数据训练。同时，采用DoReMi和ODM进行数据混合，在Qwen2.5-1.5B模型预训练中，显著改善模型的泛化能力和困惑度表现。系统实现的优化也带来了10-15%的运行时间提升，验证了其在大规模训练中的高效性。
该框架不仅为学术界提供了一个标准化的研究平台，也为工业界提供了可扩展的训练工具，有望推动大模型的快速发展与应用。未来，DataFlex将继续支持更多算法，增强自适应能力，探索多模态、多任务场景下的动态数据优化策略，助力人工智能的持续创新。
深度分析
研究背景
近年来，随着Transformer架构的突破，LLMs在自然语言理解和生成中取得巨大成功。代表性工作如GPT系列、LLaMA、Chinchilla等推动了模型规模和性能的飞跃。与此同时，数据质量和多样性成为模型表现的关键因素。传统训练多依赖静态数据集，难以充分挖掘数据潜力。近年来，数据优化策略如数据选择、域混合和重加权逐渐兴起，旨在提升训练效率和模型泛化能力。相关研究包括LESS、NICE、DoReMi、ODM等，分别在样本筛选、域调度和样本重权方面取得一定成果。然而，这些方法多为孤立实现，缺乏统一平台，限制了算法的公平比较和实际应用推广。
核心问题
现有数据优化方法多为单一策略，缺乏统一框架整合多策略的能力。不同算法接口不一致，难以集成到大规模训练流程中，影响效率和可复现性。此外，缺乏标准化的模型依赖操作管理，限制了算法在实际场景中的应用。如何设计一个兼容多算法、多策略、支持大规模训练的系统，成为当前亟待解决的问题。
核心创新
提出DataFlex，构建支持样本选择、域混合和样本重加权的统一模块化平台。引入三类训练器（Select、Mix、Weight），结合具体算法（如LESS、NICE、DoReMi、ODM），实现多策略的灵活调度。标准化模型嵌入提取、推理和梯度计算操作，支持大规模训练（如DeepSpeed ZeRO-3），提升效率。系统设计兼容现有训练流程，简化算法集成与比较，为大模型训练提供高效、可扩展的基础设施。
方法详解
- �� 设计三类训练器（Select、Mix、Weight），分别对应样本筛选、域混合和样本重加权。
- �� 每个训练器调用对应的策略组件（选择器、混合器、加权器），实现算法的插拔式集成。
- �� 统一模型依赖操作，包括嵌入提取、推理和梯度计算，确保多算法兼容。
- �� 支持多轮动态调度，通过参数（如warmup_step、update_step）控制策略更新频率。
- �� 系统架构简洁，基于LLaMA-Factory，最大程度保持兼容性，便于扩展。
- �� 结合多算法实验验证，提升模型在MMLU、困惑度等指标上的表现。
实验设计
采用MMLU任务在Mistral-7B和Llama-3.2-3B模型上进行验证，比较静态全数据训练与动态选择方法。数据集包括多源异构数据，指标涵盖准确率和困惑度。调优参数如学习率、批次大小、策略更新频率。通过多轮实验，验证动态方法的稳定性和优越性。还在Qwen2.5-1.5B模型上测试DoReMi和ODM的域混合效果，观察模型泛化和训练速度的提升。系统在不同规模和算法组合下表现出良好的扩展性和效率。
结果分析
动态样本选择在MMLU任务中提升准确率3-4个百分点，超越静态全数据训练，且在不同模型架构中表现一致。数据混合策略如DoReMi和ODM在Qwen2.5-1.5B模型预训练中，困惑度降低10%以上，准确率提升2-3个百分点。系统实现的优化带来10-15%的训练时间节省，验证了其在大规模训练中的实用性和高效性。
应用场景
该系统适用于大规模预训练和微调场景，尤其在多源异构数据环境中，能动态调节数据使用策略，提升模型性能和训练效率。可广泛应用于行业中的AI模型开发、知识图谱构建和多任务学习，为企业提供高效、可调节的训练工具。
局限与展望
当前系统主要支持已集成算法，未来需扩展更多新兴策略。大规模环境中动态调度仍有性能瓶颈，需优化调度机制。对模型依赖信号的依赖较强，可能在某些模型或任务中表现有限。
通俗解读 非专业人士也能看懂
想象你在经营一家餐厅，菜单上有很多不同的菜品。传统做法是每天都用同样的菜单，所有菜都一样多。现在，厨师发现某些菜更受欢迎、营养更丰富，于是开始根据顾客反馈调整菜单，增加受欢迎的菜，减少冷门的。DataFlex就像这个厨房管理系统，能根据不同情况实时调整菜单（数据），让餐厅（模型）做出更好、更快的菜。它可以选择最优的食材、调整菜品比例，还能根据顾客的反馈不断改进。这样，餐厅的生意越做越好，菜也越做越好吃。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的游戏，你的目标是打败所有的对手。平时你用固定的策略，比如一直用同样的武器和技能，但有时候你会根据对手的表现调整策略，比如用更强的武器，或者换个战术。DataFlex就像你的游戏助手，它能根据你在游戏中的表现，实时帮你选择最合适的武器和战术，让你更快赢得比赛。它还能根据不同的场景调整策略，比如在某个关卡用不同的装备。这样，你的胜率就会大大提高，而且还能节省时间，因为它帮你做了很多聪明的决定。
原文摘要
Data-centric training has emerged as a promising direction for improving large language models (LLMs) by optimizing not only model parameters but also the selection, composition, and weighting of training data during optimization. However, existing approaches to data selection, data mixture optimization, and data reweighting are often developed in isolated codebases with inconsistent interfaces, hindering reproducibility, fair comparison, and practical integration. In this paper, we present DataFlex, a unified data-centric dynamic training framework built upon LLaMA-Factory. DataFlex supports three major paradigms of dynamic data optimization: sample selection, domain mixture adjustment, and sample reweighting, while remaining fully compatible with the original training workflow. It provides extensible trainer abstractions and modular components, enabling a drop-in replacement for standard LLM training, and unifies key model-dependent operations such as embedding extraction, inference, and gradient computation, with support for large-scale settings including DeepSpeed ZeRO-3. We conduct comprehensive experiments across multiple data-centric methods. Dynamic data selection consistently outperforms static full-data training on MMLU across both Mistral-7B and Llama-3.2-3B. For data mixture, DoReMi and ODM improve both MMLU accuracy and corpus-level perplexity over default proportions when pretraining Qwen2.5-1.5B on SlimPajama at 6B and 30B token scales. DataFlex also achieves consistent runtime improvements over original implementations. These results demonstrate that DataFlex provides an effective, efficient, and reproducible infrastructure for data-centric dynamic training of LLMs.