CUA-Universe: A Scalable and Dynamic Environment for Hybrid GUI+CLI Agents

TL;DR

CUA-Universe通过App-Forge、Task-Weave和Path-Steer实现GUI+CLI混合环境,提升效率和成功率。

cs.AI 🔴 高级 2026-09-05 97 次浏览
Haoting Shi Wenhao Wang Weicheng Fang Yaozhong Liang Tian Jin Pengxiang Zhao Guangyi Liu Siheng Chen Yanfeng Wang
混合环境 GUI CLI 自动化 计算机代理

核心发现

方法论

CUA-Universe通过App-Forge将应用程序适配为可再现的虚拟机,并通过Task-Weave合成多样化的混合任务,最后由Path-Steer引导代理沿高效路径执行。每个组件在不同的阶段发挥作用,确保在真实软件中实现混合GUI+CLI环境。

关键结果

  • CUA-Verse中,9B模型在成功率上提升39.3分,步骤减少37%,令牌减少60%。
  • 在OSWorld中,成功率提高16.8分,步骤减少57%,令牌减少44%。
  • OSWorld-MCP中,得分提高7.84分,步骤减少27%,令牌减少30%。

研究意义

CUA-Universe为计算机使用代理提供了一个可扩展的路径,解决了现有环境中GUI和CLI结合的难题。它不仅提高了代理的效率和成功率,还为未来的混合环境研究提供了基础。

技术贡献

CUA-Universe通过自动化适配和任务合成,显著减少了手动工程的需求,提供了新的混合任务合成和高效路径引导方法,超越了现有的单一模态环境。

新颖性

CUA-Universe首次将真实桌面软件转化为混合GUI+CLI环境,提供了一个可扩展的环境到数据管道,与现有的单模态方法相比,提供了更高效的跨模态协调能力。

局限性

  • 当前仅支持16个应用程序,扩展性有限。
  • 对CLI接口的依赖可能导致在某些应用中表现不佳。

未来方向

未来可以扩展到更多应用程序,并优化CLI和GUI的协调策略,以提高代理的适应性和效率。

AI 总览摘要

CUA-Universe通过将真实桌面软件转化为混合GUI+CLI环境,解决了现有计算机使用代理在效率和成功率上的瓶颈。现有的代理主要依赖GUI,导致操作路径冗长且效率低下,而CLI代理则缺乏对界面状态的感知。CUA-Universe通过App-Forge、Task-Weave和Path-Steer三个组件,自动化地适配应用程序、合成多样化任务,并引导代理沿高效路径执行。实验结果显示,CUA-Universe在多个基准测试中显著提高了成功率和效率,展示了其在混合环境中的潜力。尽管目前仅支持16个应用程序,CUA-Universe为未来的扩展和优化提供了坚实的基础。

深度分析

研究背景

计算机使用代理在OSWorld和AndroidWorld等基准测试中取得了进展,但主要通过GUI操作,导致效率低下。现实中的计算机工作是多模态的,需要结合GUI的视觉状态检查和CLI的高效命令操作。

核心问题

现有代理在使用GUI和CLI接口时难以互补,CLI代理缺乏视觉感知,而GUI代理在批量操作中效率低下。混合环境的缺乏使得代理难以在真实应用中高效工作。

核心创新

CUA-Universe通过App-Forge自动化适配应用程序,Task-Weave合成多样化的混合任务,Path-Steer引导代理沿高效路径执行,实现了真实软件的混合GUI+CLI环境。

方法详解

  • �� App-Forge: 适配应用程序为可再现的虚拟机。
  • �� Task-Weave: 合成多样化的混合任务。
  • �� Path-Steer: 引导代理沿高效路径执行。

实验设计

在CUA-Verse、OSWorld和OSWorld-MCP上进行评估,使用9B模型,比较GUI和GUI+CLI模式下的成功率、步骤和令牌消耗。

结果分析

CUA-Verse中,9B模型成功率提升39.3分,步骤减少37%,令牌减少60%。OSWorld中,成功率提高16.8分,步骤减少57%,令牌减少44%。

应用场景

CUA-Universe可用于开发更高效的计算机使用代理,适用于需要高效跨模态操作的场景,如自动化办公软件操作。

局限与展望

目前仅支持16个应用程序,CLI接口的依赖可能在某些应用中表现不佳。未来可以扩展到更多应用程序,并优化CLI和GUI的协调策略。

通俗解读 非专业人士也能看懂

想象你在厨房里做饭。GUI就像是你用眼睛看着食谱和食材,而CLI就像是你用手快速切菜和烹饪。CUA-Universe就像一个聪明的助手,帮你在看食谱和动手做饭之间切换,让你更快更好地完成美味佳肴。

简单解释 像给14岁少年讲一样

想象你在玩一个需要同时用手柄和键盘操作的游戏。GUI就像是手柄,CLI就像是键盘。CUA-Universe就像一个超级玩家,能同时用好这两种工具,让你在游戏中无往不利!它能帮你更快地打败敌人,完成任务!

术语表

GUI (图形用户界面)

通过视觉元素与用户交互的界面。

CUA-Universe中用于视觉状态检查。

CLI (命令行界面)

通过命令行进行操作的界面。

CUA-Universe中用于高效命令操作。

App-Forge

适配应用程序为可再现虚拟机的组件。

CUA-Universe的核心组件之一。

Task-Weave

合成多样化混合任务的组件。

CUA-Universe的核心组件之一。

Path-Steer

引导代理沿高效路径执行的组件。

CUA-Universe的核心组件之一。

开放问题 这项研究留下的未解疑问

  • 1 如何扩展到更多应用程序以提高通用性?
  • 2 如何优化CLI和GUI的协调策略以提高效率?

应用场景

近期应用

自动化办公

CUA-Universe可用于自动化办公软件操作,提高工作效率。

远期愿景

智能计算机代理

未来可扩展到更多应用程序,开发更智能的计算机代理。

原文摘要

Computer-use agents have advanced on benchmarks like OSWorld and AndroidWorld, but still act mostly through the GUI, often producing inefficient trajectories. Real-world computer work is hybrid, combining visual-state inspection with precise, high-throughput command-line operations, so capable agents must coordinate both modalities over shared application state. Yet scalable hybrid environments remain scarce because supporting both GUI and CLI over real applications typically requires substantial manual engineering for each application. Existing agents also struggle to use the two interfaces complementarily: CLI-native agents lack visual perception for tasks involving interface state or layout, while GUI-native agents are inefficient for operations better executed through commands. We introduce CUA-Universe, a scalable environment-to-data pipeline that turns real desktop software into hybrid GUI+CLI environments. App-Forge adapts applications into reproducible VMs and command-line surfaces it discovers, wraps, or generates, scaling to 16 applications; Task-Weave synthesizes diverse hybrid tasks of controllable difficulty from reusable operations over seed files; and Path-Steer steers rollouts along efficient hybrid paths and harvests verified trajectories for post-training. Training on this data shifts behavior from inefficient GUI interaction and brittle CLI scripting toward effective GUI+CLI orchestration. Our 9B model improves both success and efficiency on CUA-Verse (Score +39.3 pts; -37% steps, -60% tokens), OSWorld (SR +16.8 pts; -57% steps, -44% tokens), and OSWorld-MCP (Score +7.84 pts; -27% steps, -30% tokens). CUA-Universe provides a scalable path toward more capable and efficient computer-use agents.

cs.AI