核心发现
方法论
OSCAR采用状态机模型，通过Python代码实现对操作系统的精确控制。它结合视觉和语义基础，动态调整任务规划，处理实时反馈和异常。核心组件包括GUI基础、任务驱动的重新规划和代码中心的控制。
关键结果
- 在GAIA基准测试中，OSCAR在复杂任务上成功率达13.5%，显著高于之前的6.1%。
- 在OSWorld基准测试中，OSCAR的成功率为24.5%，超过其他方法。
- 在AndroidWorld基准测试中，OSCAR在中等和困难任务中的表现优于AppAgent。
研究意义
OSCAR在学术界和工业界具有重要意义，解决了多应用环境下的自动化控制难题。它通过自然语言指令简化复杂工作流程，提高了用户生产力。
技术贡献
OSCAR引入了基于状态机的动态任务规划和执行机制，与现有方法相比，提供了更高的适应性和效率。其代码中心的控制方式为多应用环境的自动化提供了新可能。
新颖性
OSCAR首次结合状态机和多模态模型，实现了对操作系统的动态控制。与现有方法相比，其在处理实时反馈和异常方面具有显著创新。
局限性
- OSCAR在处理极端复杂的GUI环境时可能表现不佳，因其依赖于A11Y树的精确性。
- 在某些情况下，任务重新规划可能导致效率下降。
未来方向
未来工作可以包括扩展OSCAR的适用范围，提升其在更复杂环境中的适应性，并优化任务重新规划的效率。
AI 总览摘要
OSCAR通过状态感知推理和重新规划，实现对操作系统的动态控制。现有的大型语言模型和多模态模型在自动化复杂任务方面表现出色，但在多应用环境下的泛化能力有限。OSCAR通过将用户指令翻译为可执行的Python代码，实现对图形用户界面的精确控制。实验结果表明，OSCAR在多个基准测试中表现优异，显著提高了用户生产力。
OSCAR采用状态机模型，结合视觉和语义基础，动态调整任务规划，处理实时反馈和异常。其核心创新在于将复杂工作流程简化为自然语言指令，并通过代码中心的控制方式实现多应用环境的自动化。OSCAR的成功展示了其在学术界和工业界的广泛应用潜力。
尽管OSCAR在多应用环境下表现出色，但在处理极端复杂的GUI环境时仍存在挑战。未来的研究可以进一步优化OSCAR的任务重新规划机制，并扩展其适用范围，以应对更复杂的操作系统环境。
深度分析
研究背景
近年来，大型语言模型（LLM）和多模态模型（LMM）在自动化复杂任务方面取得了显著进展。然而，这些模型在多应用环境下的泛化能力仍然有限，难以应对多样化的操作系统控制需求。现有的研究主要集中在单一应用或静态环境下的自动化，而缺乏对动态、多应用环境的有效解决方案。
核心问题
核心问题在于如何构建一个能够在多应用环境中执行用户指令的通用代理。现有方法在处理多样化的操作系统控制时，往往缺乏实时反馈和动态适应能力，难以应对任务执行中的异常和变化。
核心创新
OSCAR的核心创新在于结合状态机和多模态模型，实现对操作系统的动态控制。其创新之处包括：1) 状态机模型用于动态任务规划和执行；2) 结合视觉和语义基础，增强GUI理解；3) 通过代码中心的控制方式，实现对多应用环境的自动化。
方法详解
- �� OSCAR采用状态机模型，处理用户指令并生成可执行的Python代码。
- �� 通过视觉和语义基础，增强对GUI的理解，识别屏幕元素。
- �� 任务驱动的重新规划机制，根据实时反馈动态调整任务执行。
实验设计
OSCAR在多个基准测试中进行了验证，包括GAIA、OSWorld和AndroidWorld。实验设计涵盖了多种应用场景，使用了不同的基准数据集和评价指标，验证了OSCAR在复杂任务中的表现。
结果分析
实验结果表明，OSCAR在GAIA基准测试中显著优于现有方法，特别是在复杂任务上表现突出。在OSWorld和AndroidWorld基准测试中，OSCAR也展示了其在动态操作系统环境下的优越性。
应用场景
OSCAR可用于多种应用场景，如桌面和移动设备的操作系统控制。其通过自然语言指令简化复杂工作流程，适用于需要高效自动化的行业。
局限与展望
OSCAR在处理极端复杂的GUI环境时可能表现不佳，未来研究可优化其任务重新规划机制，并扩展其适用范围。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭。OSCAR就像一个聪明的助手，你告诉它你想做什么菜，它就能根据你的指令自动完成所有步骤。比如，你说“做一份意大利面”，它会自动打开冰箱，拿出食材，煮面，最后端上桌。OSCAR通过理解你的指令，并根据厨房的实际情况调整步骤，确保每一步都准确无误。即使中途出现问题，比如锅里的水烧干了，它也能迅速调整计划，重新加水继续煮面。这样，你就可以轻松享受美味的意大利面，而不必亲自动手。
简单解释 像给14岁少年讲一样
嘿，小伙伴们！想象一下你在玩一个超级酷的游戏，叫做“操作系统大冒险”。在这个游戏里，你有一个叫OSCAR的机器人助手。你只需要告诉OSCAR你想做什么，比如“打开音乐播放器”，它就会自动帮你完成所有操作。OSCAR就像游戏里的超级英雄，能快速反应，处理各种突发情况，比如突然弹出的广告窗口。即使遇到困难，它也能灵活调整策略，确保任务顺利完成。这样，你就可以专注于享受游戏的乐趣，而不必担心复杂的操作。
术语表
状态机 (State Machine)
一种用于建模系统行为的数学模型，通过状态和状态转移描述系统的动态行为。
OSCAR使用状态机来处理动态操作系统环境。
多模态模型 (Multimodal Model)
能够处理和理解多种类型数据（如文本、图像、音频）的模型。
OSCAR结合多模态模型来增强GUI理解。
GUI基础 (GUI Grounding)
通过视觉和语义信息理解和识别图形用户界面中的元素。
OSCAR通过GUI基础识别屏幕元素，执行用户指令。
任务驱动的重新规划 (Task-Driven Re-Planning)
根据实时反馈动态调整任务执行计划的机制。
OSCAR使用任务驱动的重新规划来处理任务执行中的异常。
代码中心的控制 (Code-Centric Control)
通过生成可执行代码实现对系统的精确控制。
OSCAR通过代码中心的控制方式执行用户指令。
开放问题 这项研究留下的未解疑问
- 1 如何在更复杂的GUI环境中提高OSCAR的适应性？现有方法在处理极端复杂的界面时表现不佳，需要更精确的视觉和语义基础。
- 2 如何优化任务重新规划的效率？当前的重新规划机制在某些情况下可能导致效率下降。
应用场景
近期应用
桌面自动化
OSCAR可用于自动化桌面应用操作，提高办公效率，适用于需要频繁执行重复任务的用户。
移动设备控制
OSCAR可用于简化移动设备上的操作，通过自然语言指令实现应用间的无缝切换。
远期愿景
智能家居控制
OSCAR可扩展至智能家居领域，通过自然语言指令控制家电，实现智能化生活。
原文摘要
Large language models (LLMs) and large multimodal models (LMMs) have shown great potential in automating complex tasks like web browsing and gaming. However, their ability to generalize across diverse applications remains limited, hindering broader utility. To address this challenge, we present OSCAR: Operating System Control via state-Aware reasoning and Re-planning. OSCAR is a generalist agent designed to autonomously navigate and interact with various desktop and mobile applications through standardized controls, such as mouse and keyboard inputs, while processing screen images to fulfill user commands. OSCAR translates human instructions into executable Python code, enabling precise control over graphical user interfaces (GUIs). To enhance stability and adaptability, OSCAR operates as a state machine, equipped with error-handling mechanisms and dynamic task re-planning, allowing it to efficiently adjust to real-time feedback and exceptions. We demonstrate OSCAR's effectiveness through extensive experiments on diverse benchmarks across desktop and mobile platforms, where it transforms complex workflows into simple natural language commands, significantly boosting user productivity. Our code will be open-source upon publication.