核心发现
方法论
该框架采用三角色架构：人类研究者提出假设，编码代理（Claude Code、Codex CLI）执行任务，确定性Python验证脚本确保任务隔离、不可变性和结果一致性。通过任务文件夹、版本化规范和验证器实现结构化管理，支持多任务并行，确保每个步骤的可追溯性和审计能力。验证器检测任务违规，修正覆盖和项目总览提升了数据质量和透明度。该系统在多领域多轮实验中表现出极低的时间开销（约1%墙钟时间），实现了高效的多代理并发运行。
关键结果
- 在BEA 2026竞赛中，利用Glite ARF架构，团队在所有三个目标语言（西班牙语、德语、普通话）中获得第一（封闭轨）和第二（开放轨）名次，RMSE平均降低29.9%（封闭）和35.9%（开放），显著优于官方基线。共执行273个任务（146个实验轮次），由最多12个代理并行完成，API花费约450美元，整体成本低廉且高效。
- 通过结构化的源数据追踪，成功识别并剔除4个泄露目标变量的特征集，将RMSE从0.609修正至0.802，验证了验证器在保证数据完整性中的关键作用。多轮实验中，系统仅增加约1%的墙钟时间，展现出高效的并行能力。
- 在三项不同领域的多轮研究中，系统表现出稳定的结构优势，支持大规模、多任务的自动化研究流程，验证了其在科学研究中的实用性和扩展性。
研究意义
该研究突破了大规模LLM编码代理在自动化科学研究中的可控性瓶颈，提供了结构化、可验证的研究流程。通过验证驱动机制，显著减少了因代码错误和数据泄露引发的失败，提升了研究的可靠性和审计能力，为未来自动化科研提供了可扩展的框架。其在实际竞赛中的优异表现，展示了该方法在多语言、多任务环境下的强大适应性，为AI在科学探索中的应用奠定了基础。
技术贡献
提出了一套基于任务隔离、不可变性、验证器的结构化框架，结合版本化规范和自动审计机制，实现多代理协作的高效管理。引入任务文件夹和验证脚本，确保每个步骤的结构完整性和数据一致性。系统支持多任务并行，验证器检测违规行为，自动修正错误，极大提升了自动化研究的可靠性。该框架兼容现有多代理调度工具，提供了端到端的可追溯性和审计能力，推动了自动化科研的工程实现。
新颖性
本研究首次将验证驱动的研究流程引入多LLM编码代理体系，强调规则在代码中的强制执行而非口头指令，解决了大规模自动化研究中低效和不可靠的问题。通过结构化任务管理和验证机制，实现了多任务高效并行和数据完整性保障，区别于传统的提示优化或单一模型调度方法，开创了自动化科研的结构化新范式。
局限性
- 当前系统依赖人类在假设选择上的主导，自动假设生成仍需人工干预，限制了完全自主的研究流程。
- 验证器主要保证结构和数据完整性，语义合理性仍需人工判断，难以完全杜绝潜在偏差或错误。
- 大规模多代理运行仍存在硬件成本和调度复杂性，未来需优化资源利用和调度策略。
未来方向
未来将探索自动假设生成和策略优化，结合强化学习提升自主决策能力。同时，计划引入更智能的验证机制，自动检测语义偏差和潜在泄露，增强系统的鲁棒性。还将扩展多模态数据支持，推动自动化科研在更复杂场景中的应用，促进AI与科学研究的深度融合。
AI 总览摘要
在当今科学研究中，利用大规模语言模型（LLMs）进行自动化实验已成为趋势，但缺乏有效的结构和验证机制导致结果不可靠。本文提出的Glite ARF框架，借鉴测试驱动开发思想，将研究流程中的规则嵌入代码，通过任务隔离、不可变性和验证器实现了多代理协作的高可靠性。该系统在BEA 2026竞赛中表现优异，获得所有目标语言的前列成绩，RMSE平均降低29.9%至35.9%，验证了其在多任务、多语言环境下的适用性。实验中，273个任务由最多12个代理并行完成，API花费低廉，整体效率极高。结构化的源数据追踪和验证机制，有效识别并剔除泄露目标变量的特征集，确保结果的可信度。该框架的核心创新在于将规则强制嵌入代码中，避免口头指令的模糊和低效，显著提升自动化研究的可控性和可审计性。多轮不同领域的实验验证了其广泛适用性和扩展潜力，为未来AI驱动的科学探索提供了坚实基础。尽管如此，系统仍依赖人工选择假设，语义合理性验证尚待改进，未来将引入更智能的自动决策和验证机制，推动自动化科研迈向更高水平。
深度分析
研究背景
近年来，自动化科研逐渐成为AI研究的热点，早期工作如Karpathy的autoresearch模式强调单一指标优化，代表性系统如AI Scientist v1（Lu et al., 2024）实现了端到端的论文生成，但在规模和可靠性方面仍存在挑战。多代理调度工具如AutoGen、MetaGPT提供了多任务协作基础，但缺乏严格的结构化验证机制。传统方法多依赖提示优化，难以保证大规模实验的可追溯性和错误检测。随着模型复杂度增加，低效和不可靠的自动化流程逐渐暴露出严重缺陷，亟需引入结构化、验证驱动的管理框架以确保研究的可信度。
核心问题
现有自动化研究系统在大规模、多任务环境中易出现数据泄露、任务违规和结果不可追溯的问题。这些问题源于缺乏严格的结构管理和验证机制，导致错误累积，影响研究可靠性。尤其在多代理并行执行时，任务隔离和数据完整性难以保证，严重制约了自动化科研的规模和可信度。如何在保证效率的同时，实现任务的严格隔离、数据的不可变性和结果的可追溯，成为亟待解决的核心难题。
核心创新
本研究提出了基于验证驱动的多代理结构化框架，核心创新包括：
- �� 任务隔离：每个任务在独立文件夹和git工作树中执行，防止数据污染。
- �� 不可变性与修正覆盖：完成的任务文件夹不可修改，错误通过补丁修正，保证数据完整性。
- �� 结构化验证：每个输出文件有版本化规范，验证器自动检测违规行为。
- �� 多任务并行：利用git分支和工作树支持多代理同时运行，提升效率。
- �� 结构化追踪：源数据和中间结果全链路追溯，确保结果可审计。这些创新共同保障了大规模、多任务自动化研究的可靠性和效率。
方法详解
- �� 人类研究者提出假设和任务建议，存入建议库。
- �� 编码代理（Claude Code、Codex CLI）在固定结构下执行任务，任务存于独立文件夹和git分支。
- �� 任务文件夹内存放数据、模型和代码，验证器（verificator）在提交前检测违规行为。
- �� 任务执行过程中，代理输出符合版本规范的文件，验证器确保结构完整。
- �� 任务完成后，输出不可变，错误通过补丁修正，修正文件存于特定目录。
- �� 聚合器（aggregator）定期读取任务数据，应用修正，生成项目总览。
- �� 支持多任务并行，最多12个代理同时运行，资源由单机调度。
- �� 通过版本化规范和验证机制，确保每个步骤的可追溯性和审计能力。
实验设计
在BEA 2026竞赛中，团队使用该框架执行273个任务，涵盖129个特征集，涉及多语言（西班牙语、德语、普通话）。实验采用RMSE作为主要指标，比较官方基线，结果显示平均降低29.9%（封闭轨）和35.9%（开放轨）。模型包括LLaMA-3.1-8B LoRA，训练成本约450美元。多轮实验追踪模型性能变化，验证了框架的高效性和稳定性。通过结构化追踪，成功识别泄露目标变量的特征集，及时剔除，确保了结果的可信度。
结果分析
实验结果显示，利用Glite ARF架构，团队在多语言、多任务环境中实现了显著的性能提升，RMSE平均降低近30%，在竞赛中获得第一和第二名。结构化的源数据追踪和验证机制，有效识别并剔除泄露特征，确保了模型的公正性和可靠性。系统支持多代理并行，成本低廉，效率高，验证了其在大规模自动化科研中的实用性。多轮实验中，系统仅增加约1%的墙钟时间，展现出优异的扩展性和稳定性。
应用场景
该框架适用于大规模自动化科研、跨语言模型调优、特征工程和模型验证等场景。科研机构和企业可以利用其结构化管理和验证机制，提升实验的可靠性和审计能力。未来，结合自动假设生成和强化学习，有望实现更自主的科研流程，推动AI在科学探索中的深度应用。
局限与展望
目前系统仍依赖人工在假设选择上的引导，自动化程度有限。验证器主要保证结构和数据完整性，语义合理性仍需人工判断。硬件成本和调度复杂性在大规模部署中仍是挑战，未来需优化资源调度和验证机制以实现更全面的自主性。
通俗解读 非专业人士也能看懂
想象你在一个大型工厂里，每个工序都由不同的工人负责。为了确保每个工序都按标准完成，工厂制定了严格的规则，比如每个工人只能在自己的区域工作，完成后不能随意改动之前的工作，还要有专门的检查员来验证每个工序是否符合标准。这样，即使有很多工人同时工作，也能保证整个生产线的质量和追溯性。Glite ARF就像这个工厂的管理系统，把研究中的每个任务当成一个工序，利用规则和验证机制，确保每一步都可追溯、不可篡改，从而让自动化研究变得可靠又高效。
简单解释 像给14岁少年讲一样
想象你在学校里做一个大项目，你需要很多不同的小组合作。每个小组负责不同的部分，比如写报告、做实验、画图。为了确保每个小组的工作都能被检查和追踪，你会制定一些规则，比如每个小组的工作要存放在自己专属的文件夹里，完成后不能随意改动之前的内容，还要有老师来检查每个部分是否符合要求。这样，不管有多少小组同时工作，老师都能清楚每个部分的来龙去脉，确保整个项目的质量。Glite ARF就像这个老师的系统，用规则和自动检查，保证自动化研究的每一步都可靠、可追溯，避免出错。
原文摘要
LLM coding agents make it tempting to automate empirical research by delegating experiments to them directly, but naive delegation does not scale to large projects: low-rate instruction lapses compound into broken, irreproducible artefacts. To address this problem, we present Glite ARF, an open-source Python framework for running many LLM coding agents in parallel on a research repository without sacrificing reproducibility or auditability. The framework defines a three-role stack: a human researcher chooses which hypotheses to test, coding agents (Claude Code, Codex CLI) implement individual tasks under a fixed structure, and deterministic Python verifier scripts enforce task isolation, immutability of completed work, a corrections overlay, and a materialised project overview. We call this verifier-driven research: the rules of the research process live in code that fails loudly when violated, not in prose that agents are merely asked to follow. Using Glite ARF, we developed our submission to the BEA 2026 vocabulary-difficulty shared task, placing first in the closed track and second in the open track on all three target languages (Spanish, German, Mandarin) and reducing the official baseline RMSE by 29.9% (closed) and 35.9% (open). The campaign comprised 273 tracked tasks (146 experiment runs) across 129 feature sets, run by up to twelve parallel agents orchestrated from a single laptop - with some model training on rented A100s - at approximately \$450 in LLM API spend (\$498 total third-party cost), and structured per-fold provenance let us catch and strip four target-leaking feature sets, correcting an implausible 0.609 RMSE to 0.802. Across three campaigns in three domains, the framework's structural machinery adds only about 1% of wall-clock time. Framework and a public demo project accompany this paper.