Autodata: An agentic data scientist to create high quality synthetic data

随着深度学习的发展，训练高性能模型对高质量数据的需求不断增长。传统依赖人工标注的方式成本高、效率低，难以满足复杂任务的需求。近年来，合成数据作为替代方案逐渐兴起，诸如Self-Instruct、Grounded Self-Instruct等方法，通过提示和筛选生成多样化样本，但难以控制数据难度和质量。大规模预训练模型（如GPT-4）为自动化数据生成提供了技术基础，但缺乏系统性优化机制，导致生成样本的有效性有限。Autodata提出引入元优化框架，训练代理自主学习生成高质量数据，解决了现有方法在数据难度调节和多样性方面的瓶颈。

现有合成数据方法难以实现对数据难度的精确控制，导致模型训练效果不稳定或不足。人工设计难度复杂且成本高，缺乏自动化、动态调节能力。如何利用大模型和强化学习，自动生成既具有挑战性又符合任务需求的高质量数据，成为关键难题。尤其是在需要深层推理或专业知识的任务中，数据的质量直接影响模型的性能和泛化能力。解决这一问题对于推动AI在科研、法律等领域的应用具有重要意义。

本研究的核心创新在于引入元优化机制，训练代理作为数据科学家，自动调节数据难度和多样性。具体包括：

• �� 多子模型协作：挑战者、弱模型、强模型和评判者共同作用，生成和筛选样本。
• �� 动态调节：利用强化学习（如GRPO）优化数据策略，根据模型表现调整样本难度。
• �� 反馈循环：分析生成数据的质量，持续改进生成策略，形成闭环优化体系。这些创新使得数据生成过程更加智能化、自动化，显著提升模型推理能力。

• �� 数据生成：代理基于任务源（如论文、法律文档）生成初始样本，利用大模型（如GPT-4）结合提示策略。
• �� 多子模型交互：挑战者生成样本，弱模型尝试解答，强模型验证，评判者评估质量。
• �� 反馈调节：评判者提供反馈，调整挑战者的提示，生成更具挑战性样本。
• �� 元优化：利用强化学习（GRPO）优化生成策略，提升样本难度和多样性。
• �� 循环迭代：多轮交互，直到满足质量指标，形成高质量训练集或评估基准。

在计算机科学、法律推理和数学推导任务中，使用公开数据集（如S2ORC、PRBench）进行验证。对比传统Prompt和基于代理的自我指令方法，评估指标包括模型性能（如平均@3、得分提升）和样本难度。采用RL（GRPO）对数据策略进行优化，观察模型在RL训练中的表现变化。通过 ablation 研究验证各个组件的重要性，确保方法的稳健性和泛化能力。

在多个任务中，基于Autodata生成的数据显著优于传统方法。例如，Qwen-3.5-4B在RL训练中，平均@3从0.630提升至0.774，验证集得分提升约0.15。在法律推理任务中，得分从0.280提升至0.441，表现优于传统Prompt方法。数据难度调节机制有效增强了样本的挑战性和多样性，促进模型深层推理能力的提升。这些结果验证了自动化数据生成的有效性和潜力。

该方法可应用于科研任务中的数据增强、模型微调、基准测试等场景。尤其适合需要深度推理和专业知识的领域，如法律、数学、科学研究。通过自动调节数据难度，减少人工标注成本，加快模型开发流程。未来还可结合多模态数据，扩展到图像、视频等多媒体任务，推动AI的广泛应用。

目前依赖大规模预训练模型，计算成本高，资源消耗大。生成样本的多样性和难度调节在某些任务中仍有限，可能导致模型过拟合或训练不稳定。未来需优化算法效率，增强跨任务适应性，并解决模型偏差和数据偏差问题。此外，实际应用中还需考虑数据隐私和伦理问题。