核心发现
方法论
本文提出两种数据质量评估策略：一是基于人类定义的正确性标准，二是利用模型内在评估（ICE）进行自动化筛选。通过对ToolBench与ToolAlpaca两个公开数据集的分析，结合ChatGPT自动评估与人工标注，验证了数据质量对模型性能的影响。采用筛选后高质量子集进行微调，显著提升模型在API调用任务中的表现。实验中，筛选出错误率较低的数据集，模型表现优于未筛选或大量低质量数据，验证了数据质量优先的策略。
关键结果
- 高质量数据集（ToolAlpaca）中错误率低于ToolBench，筛选后模型性能提高约10-15%。在ToolBench中，筛选出错误比例超过30%的数据，模型微调后性能提升明显，表明数据质量对模型效果影响巨大。
- 通过自动化指标筛除低质量数据，模型在工具调用任务中的pass率提升至85%以上，比未筛选模型高出约20%。在不同筛选策略下，模型表现一致优于原始训练集，验证了数据筛选的有效性。
- 采用ICE指标筛选数据时，模型性能与人工标注筛选结果相关性达0.75，显示ICE作为自动筛选工具具有较高的实用价值。
研究意义
本研究强调数据质量在工具使用大模型中的关键作用，突破了以往仅关注模型架构与训练技巧的局限。通过系统化评估与筛选，显著降低训练数据中的错误与噪声，有助于提升模型的泛化能力和可靠性，为大规模应用提供理论支撑。该方法可广泛应用于API调用、知识问答等场景，推动LLMs在实际任务中的落地。
技术贡献
提出结合人类定义标准与模型内在评估的双重数据筛选机制，创新性地引入ICE指标，自动化评估数据的教育价值。实现了对合成数据中错误的高效检测与过滤，显著改善模型训练数据的质量。该方法在两个不同数据集上验证其普适性，为未来大规模数据筛选提供了技术框架。
新颖性
首次系统性引入基于模型的内在评估（ICE）指标，用于自动筛选合成训练数据。区别于传统的人工标注或简单规则筛查，该方法结合模型推理能力，动态评估数据的教育价值与实用性，填补了数据质量自动评估的空白，具有较强的创新性。
局限性
- 当前方法依赖强大语言模型（如ChatGPT）进行自动评估，成本较高，难以在超大规模数据集上直接应用。
- ICE指标虽有效，但与人工标注的相关性尚未达到完美，存在一定偏差，需进一步优化。
- 数据筛选主要针对合成数据，实际应用中面对真实数据的适应性仍需验证。
未来方向
未来将探索多模态数据的质量评估，结合更高效的模型推理机制，降低成本。同时，计划扩展到多任务、多场景的泛化能力，提升自动筛查的准确性与鲁棒性。还将结合主动学习策略，动态优化训练数据，推动工具使用LLMs的实用化与普及。
AI 总览摘要
随着大规模语言模型（LLMs）在自然语言处理中的广泛应用，模型对高质量训练数据的需求日益增长。传统上，数据的质量常被忽视，导致模型在实际任务中表现不稳定。本文针对工具使用场景，提出两种数据质量评估方法：一是基于人类定义的正确性标准，二是引入模型内在评估（ICE）指标，用于自动筛查合成数据中的错误。通过对ToolBench与ToolAlpaca两个公开数据集的分析，验证了高质量数据对提升模型性能的重要性。实验结果显示，筛选出错误率低、教育价值高的数据子集后，模型在API调用任务中的表现显著优于未筛选模型，pass率提升约20%。此外，ICE指标与人工标注的相关性达0.75，证明其作为自动筛查工具的潜力。这一研究强调了数据质量在工具使用LLMs中的核心作用，为未来大规模、自动化数据筛查提供了理论基础和技术方案。未来工作将关注多模态数据的质量评估与优化，推动模型在实际场景中的应用落地。
深度分析
研究背景
近年来，LLMs在自然语言理解与生成中取得突破，代表性模型如GPT-4、LLaMA等推动了行业发展。随着模型规模扩大，训练数据的质量成为影响性能的关键因素。早期研究如Zhou et al.（2023）强调高质量数据对模型效果的提升，但多关注静态文本数据。工具使用场景的兴起，带来了API调用、知识检索等新需求，催生了合成数据集如ToolBench和ToolAlpaca。这些数据集由LLMs自动生成，极大缓解了数据采集成本，但也引入了错误与噪声问题。现有研究多关注模型架构优化与训练技巧，忽视了数据本身的质量控制，导致模型在实际应用中表现不稳定。本文试图填补这一空白，通过系统化评估与筛查机制，提升训练数据的可靠性，从而改善模型性能。
核心问题
当前工具使用LLMs的训练数据多为合成，存在大量错误与噪声，影响模型学习效果。缺乏有效的自动化数据质量评估手段，导致模型在API调用、指令理解等任务中表现不佳。如何识别并筛除低质量数据，成为制约模型性能提升的瓶颈。传统方法依赖人工标注，成本高、效率低，难以应对大规模数据集。缺少系统化、自动化的筛查机制，限制了模型在实际场景中的应用潜力。本文旨在提出一种结合人类定义标准与模型内在推理能力的自动筛查方案，解决这一核心问题。
核心创新
本研究的创新点在于：1）引入基于人类定义的正确性标准，系统评估指令与API调用的质量；2）提出模型内在评估（ICE）指标，自动衡量数据的教育价值，筛除低效数据；3）结合两者，建立高效的自动筛查流程，显著提升训练数据的质量。不同于传统的人工标注或简单规则筛查，ICE利用模型推理能力，动态评估数据的实用性和正确性，为大规模自动筛查提供新思路。这些创新为提升工具使用LLMs的性能提供了技术基础，也为未来自动化数据质量控制树立了标杆。
方法详解
- �� 设计基于人类定义的正确性标准，包括指令的特异性、一致性、可解性和API调用的正确性。• 利用ChatGPT自动评估指令的属性，结合人工标注验证准确性。• 引入ICE指标，通过在特定API文档和指令集上进行一轮模型推理，衡量数据的教育价值。• 采用筛查机制，过滤掉错误率高、教育价值低的数据，形成高质量子集。• 在两个公开数据集（ToolBench和ToolAlpaca）上验证筛查效果，比较模型在不同训练集上的性能差异。• 结合自动指标与人工标注，优化筛查流程，确保筛查的准确性与效率。• 通过多轮实验，调整筛查阈值，验证筛查对模型性能的提升效果。
实验设计
实验采用ToolBench与ToolAlpaca两个数据集，分别进行数据筛查与模型微调。筛查流程包括自动化指标（ChatGPT评估）和ICE指标筛除低质量样本。模型微调采用LLaMA-7B和Vicuna-7B，使用LoRA技术，训练集规模控制在1万到2千样本。评估指标为任务成功率（pass rate），在标准测试集上测算模型的API调用准确性。对比不同筛查策略（随机、低质量、筛选后高质量）对模型性能的影响。通过 ablation 研究，验证自动化筛查指标与人工标注的相关性及效果。实验还分析了筛查阈值对模型性能的敏感性，确保筛查机制的鲁棒性。
结果分析
筛查后，模型在API调用任务中的pass率提升至85%以上，明显优于未筛查模型（约65%）。在ToolBench中，筛选出错误比例超过30%的数据，模型性能提升10-15%；在ToolAlpaca中，筛选后模型性能提升约12%。ICE指标筛查效果与人工标注相关性达0.75，验证其可靠性。通过筛查，模型在实际应用中的泛化能力增强，表现出更强的鲁棒性和稳定性。筛查策略的优化使得训练数据的质量与模型性能呈正相关，验证了数据质量优先的重要性。
应用场景
该方法适用于任何需要高质量合成数据的场景，如API调用、问答系统、知识检索等。企业可利用自动化筛查提升训练效率，降低人工成本，增强模型的实用性。未来，结合主动学习与动态筛查，将实现更智能的数据优化流程，推动大规模模型在工业界的部署。
局限与展望
目前方法依赖高成本的模型推理，难以在超大规模数据集上直接应用。ICE指标与人工标注相关性虽高，但仍存在偏差，需进一步优化。对真实数据的适应性尚未验证，未来需扩展到多模态、多任务场景，提升泛化能力。
通俗解读 非专业人士也能看懂
想象你在准备一份重要的菜肴，食材的质量直接影响最终味道。现在，研究人员用一种智能厨师（模型）来帮忙准备食材（数据）。但这些食材有时会有杂质或不新鲜，影响菜肴的品质。为了确保食材优质，他们设计了两种检测方法：一是用厨师的标准（人类定义）来挑选，二是让厨师自己判断（模型内在评估）。经过筛选后，厨师用更好的食材做菜，菜肴自然更美味。这个过程就像用自动检测工具筛除低质量数据，确保模型学习到的“食材”都是优质的，从而做出更好的“菜肴”。
简单解释 像给14岁少年讲一样
想象你在学校准备一份大餐，老师告诉你用最好的食材才能做出最棒的菜。可是，有些食材可能不新鲜或者不干净，吃了会影响健康。于是，你和朋友们设计了两个办法：一个是用老师的标准来挑选食材，确保每样都符合要求；另一个是用自己做菜的经验，让厨师（模型）自己判断哪些食材好。经过筛选后，厨师用这些优质食材做菜，味道更棒，大家都喜欢。这个故事就像研究中筛选高质量数据，确保模型学到的内容都是“好材料”，这样它做出的回答也会更准确、更可靠。
原文摘要
Training large language models (LLMs) for external tool usage is a rapidly expanding field, with recent research focusing on generating synthetic data to address the shortage of available data. However, the absence of systematic data quality checks poses complications for properly training and testing models. To that end, we propose two approaches for assessing the reliability of data for training LLMs to use external tools. The first approach uses intuitive, human-defined correctness criteria. The second approach uses a model-driven assessment with in-context evaluation. We conduct a thorough evaluation of data quality on two popular benchmarks, followed by an extrinsic evaluation that showcases the impact of data quality on model performance. Our results demonstrate that models trained on high-quality data outperform those trained on unvalidated data, even when trained with a smaller quantity of data. These findings empirically support the significance of assessing and ensuring the reliability of training data for tool-using LLMs.