Beyond Browsing: API-Based Web Agents

TL;DR

提出API调用和混合代理,API代理在WebArena上提升24.0%,成功率达38.9%。

cs.CL 🔴 高级 2024-10-22 38 次浏览
Yueqi Song Frank Xu Shuyan Zhou Graham Neubig
API Web代理 混合代理 WebArena 机器学习

核心发现

方法论

研究提出两种代理:API调用代理和混合代理。API调用代理仅通过API完成任务,而混合代理结合浏览和API调用。实验在WebArena进行,展示了API代理的优越性。

关键结果

  • API代理在WebArena上比浏览代理提高约15%,成功率达29.2%。
  • 混合代理在所有任务中几乎均优于其他代理,成功率为38.9%。
  • API代理在API支持良好的网站上表现更佳,如Gitlab。

研究意义

研究表明,API可作为替代或补充传统浏览方法,尤其在API支持良好的情况下。它为机器与网络交互提供了更高效的途径,推动了自动化任务的进步。

技术贡献

提出了结合API调用与浏览的混合代理,展示了在API支持有限的情况下的灵活性。此方法为任务无关的代理提供了新的性能基准。

新颖性

首次系统性地将API调用与传统浏览结合,展示了API在任务自动化中的潜力,尤其在API支持良好的环境中。

局限性

  • API支持有限的网站上,混合代理仍需依赖浏览。
  • 某些网站的API文档不完善,影响了代理的表现。

未来方向

未来工作包括扩展API支持,提升混合代理在API支持有限网站上的表现,以及自动生成API文档的研究。

AI 总览摘要

互联网是人类活动的重要门户,然而传统的Web代理在处理复杂任务时常受限于浏览器界面。本文提出了API调用代理和混合代理,旨在通过API直接与网络服务交互,从而提高任务的自动化水平。

在WebArena基准测试中,API调用代理在没有浏览的情况下表现出色,成功率达到29.2%。混合代理则通过动态结合API调用和浏览,进一步提升了任务成功率至38.9%。这表明API在可用时,能够显著提升代理的效率和准确性。

尽管如此,API支持的局限性仍是一个挑战。未来的研究方向包括扩展API的覆盖范围,改善API文档的可用性,以及探索更多混合代理的应用场景。

深度分析

研究背景

随着互联网的普及,Web代理已成为自动化任务的重要工具。传统代理依赖于图形用户界面进行交互,但这对机器而言并不理想。近年来,API作为机器与网络服务交互的接口,逐渐受到关注。

核心问题

传统Web代理在处理复杂任务时,受限于浏览器界面的交互方式,效率低下且易出错。如何利用API提升代理的效率和准确性,成为亟待解决的问题。

核心创新

本文创新性地提出了两种代理:API调用代理和混合代理。API调用代理通过API直接与网络服务交互,而混合代理结合浏览和API调用,灵活应对不同任务。

方法详解

  • �� API调用代理:仅通过API完成任务,避免浏览器交互。
  • �� 混合代理:结合API调用和浏览,动态选择最优策略。
  • �� 实验在WebArena基准上进行,评估代理的性能。

实验设计

实验在WebArena上进行,涵盖Gitlab、Map等多个网站。评估指标包括成功率和任务完成时间。对比基线为传统浏览代理。

结果分析

API调用代理在WebArena上成功率为29.2%,混合代理为38.9%。API支持良好的网站上,API代理表现尤为突出。

应用场景

API代理适用于API支持良好的网站,如Gitlab。混合代理适用于API支持有限的网站,提供灵活的任务解决方案。

局限与展望

API支持的局限性是主要挑战,影响代理的表现。未来需扩展API覆盖范围,提升代理在不同环境下的适应性。

通俗解读 非专业人士也能看懂

想象你在一个大商场购物。传统的Web代理就像是你亲自走到每个店铺去找商品,效率低下。而API代理就像是你直接通过一个购物助手,告诉它你需要什么,它直接从仓库里调货给你。混合代理则结合了两者的优点,当某个店铺没有API时,它可以继续通过走店铺的方式来完成任务。

简单解释 像给14岁少年讲一样

想象你在玩一个游戏,任务是找到某个宝藏。传统的Web代理就像是你在地图上到处找,效率低。而API代理就像是游戏里有个指南针,直接告诉你宝藏的位置。混合代理就像是既有指南针,又能自己找路,确保你能最快找到宝藏!

术语表

API (应用程序编程接口)

API是一种允许不同软件系统之间进行通信的接口,通常用于机器与网络服务的交互。

本文中,API用于代理直接与网络服务交互,绕过浏览器界面。

Web代理

Web代理是一种自动化工具,模拟人类用户在网页上进行操作。

传统Web代理通过浏览器界面与网页交互,效率较低。

混合代理

混合代理结合了API调用和传统浏览方法,动态选择最优的任务完成策略。

在API支持有限的网站上,混合代理提供了灵活的解决方案。

WebArena

WebArena是一个用于评估Web代理性能的基准测试平台,涵盖多个真实网站。

本文的实验在WebArena上进行,评估API代理和混合代理的表现。

成功率

成功率是衡量代理在完成任务时的准确性和效率的指标。

本文中,API代理和混合代理的成功率分别为29.2%和38.9%。

开放问题 这项研究留下的未解疑问

  • 1 如何在API支持有限的网站上提升代理的表现?
  • 2 自动生成API文档的技术如何发展?

应用场景

近期应用

在线购物

在支持API的购物网站上,API代理可以快速完成购物任务,提高效率。

远期愿景

全自动化网络交互

未来,混合代理可以在更多场景中应用,实现更高效的网络任务自动化。

原文摘要

Web browsers are a portal to the internet, where much of human activity is undertaken. Thus, there has been significant research work in AI agents that interact with the internet through web browsing. However, there is also another interface designed specifically for machine interaction with online content: application programming interfaces (APIs). In this paper we ask -- what if we were to take tasks traditionally tackled by Browsing Agents, and give AI agents access to APIs? To do so, we propose two varieties of agents: (1) an API-calling agent that attempts to perform online tasks through APIs only, similar to traditional coding agents, and (2) a Hybrid Agent that can interact with online data through both web browsing and APIs. In experiments on WebArena, a widely-used and realistic benchmark for web navigation tasks, we find that API-Based Agents outperform web Browsing Agents. Hybrid Agents out-perform both others nearly uniformly across tasks, resulting in a more than 24.0% absolute improvement over web browsing alone, achieving a success rate of 38.9%, the SOTA performance among task-agnostic agents. These results strongly suggest that when APIs are available, they present an attractive alternative to relying on web browsing alone.

cs.CL cs.MA