核心发现
方法论
HASHIRU采用CEO-员工层次结构,CEO负责任务分配和资源管理,员工代理根据任务需求动态创建。其混合智能优先使用小型本地LLM,并在需要时调用外部API。经济模型通过雇佣/解雇成本促进团队稳定性。
关键结果
- 在GSM8K数据集上,HASHIRU的复杂推理能力达到96%,显著超过Gemini 2.0 Flash的61%。
- 在JEEBench上,HASHIRU取得80%的准确率,优于Gemini 2.0 Flash的68.3%。
- 在SVAMP数据集上,HASHIRU的表现为92%,而Gemini 2.0 Flash为84%。
研究意义
HASHIRU通过动态层次控制和资源感知的混合智能,提供了一种更强大、有效和适应性强的多代理系统。它解决了现有框架中灵活性不足、资源意识缺乏和模型单一性等问题,对学术界和工业界都有重要影响。
技术贡献
HASHIRU在多代理系统中引入了动态管理和经济模型,优先使用本地LLM,减少对外部API的依赖,提供了新的工程可能性和理论保障。
新颖性
HASHIRU首次将CEO-员工层次结构应用于MAS,结合经济模型和混合智能策略,显著提升了系统的灵活性和资源利用效率。
局限性
- 在高资源消耗任务中,HASHIRU可能面临内存和计算资源的限制。
- 系统的动态性可能导致在某些情况下响应时间增加。
未来方向
未来工作包括优化资源管理策略,提升系统在大规模任务中的表现,以及探索更多的自动化工具生成方法。
AI 总览摘要
HASHIRU是一个新型的多代理系统框架,旨在解决现有框架中灵活性和资源意识不足的问题。通过引入CEO-员工层次结构,HASHIRU能够动态管理任务和资源,提升系统的适应性和效率。
该系统的核心技术包括混合智能策略,优先使用小型本地LLM,并在需要时调用外部API。经济模型通过雇佣和解雇成本促进团队稳定性和资源分配效率。
实验结果显示,HASHIRU在多个基准测试中表现优异,尤其是在复杂推理任务中显著优于现有方法。其动态层次控制和资源感知的混合智能为多代理系统的发展提供了新的方向。
深度解读
原文摘要
Rapid Large Language Model (LLM) advancements are fueling autonomous Multi-Agent System (MAS) development. However, current frameworks often lack flexibility, resource awareness, model diversity, and autonomous tool creation. This paper introduces HASHIRU (Hierarchical Agent System for Hybrid Intelligent Resource Utilization), a novel MAS framework enhancing flexibility, resource efficiency, and adaptability. HASHIRU features a "CEO" agent dynamically managing specialized "employee" agents, instantiated based on task needs and resource constraints (cost, memory). Its hybrid intelligence prioritizes smaller, local LLMs (via Ollama) while flexibly using external APIs and larger models when necessary. An economic model with hiring/firing costs promotes team stability and efficient resource allocation. The system also includes autonomous API tool creation and a memory function. Evaluations on tasks like academic paper review (58% success), safety assessments (100% on a JailbreakBench subset), and complex reasoning (outperforming Gemini 2.0 Flash on GSM8K: 96% vs. 61%; JEEBench: 80% vs. 68.3%; SVAMP: 92% vs. 84%) demonstrate HASHIRU's capabilities. Case studies illustrate its self-improvement via autonomous cost model generation, tool integration, and budget management. HASHIRU offers a promising approach for more robust, efficient, and adaptable MAS through dynamic hierarchical control, resource-aware hybrid intelligence, and autonomous functional extension. Source code and benchmarks are available at https://github.com/HASHIRU-AI/HASHIRU and https://github.com/HASHIRU-AI/HASHIRUBench respectively, and a live demo is available at https://hashiruagentx-hashiruai.hf.space upon request.