核心发现
方法论
GUIOdyssey数据集包含8,334个跨应用导航实例，平均每个实例15.3步，涵盖6种设备和212个应用。OdysseyAgent是一种多模态代理，采用历史重采样模块优化性能和推理速度。
关键结果
- OdysseyAgent在GUIOdyssey数据集上的准确率最高，超越Claude3.5-Sonnet和GPT-4o，特别是在复杂跨应用任务中表现优异。
- 实验表明，历史信息（如动作、截图和上下文）显著提高了OdysseyAgent的性能。
- 在不同领域的实验中，OdysseyAgent在域内和域外场景中均表现出色。
研究意义
该研究通过提供一个全面的跨应用导航数据集和一个高效的多模态代理，解决了现有数据集和模型在跨应用导航任务中的不足，推动了移动设备智能代理的发展。
技术贡献
引入了GUIOdyssey数据集和OdysseyAgent模型，前者提供了丰富的跨应用导航实例，后者通过历史重采样模块有效平衡性能和推理速度。
新颖性
GUIOdyssey是首个专注于跨应用导航的数据集，OdysseyAgent通过多模态方法和历史重采样模块实现了创新。
局限性
- OdysseyAgent在处理极长序列时可能面临性能瓶颈。
- 数据集的多样性可能不足以涵盖所有可能的应用场景。
未来方向
未来研究可以扩展数据集的多样性，优化模型以处理更长的序列，并探索更多的多模态融合策略。
AI 总览摘要
随着智能手机应用的增多，用户常需跨多个应用完成任务。现有的GUI导航数据集和模型多局限于单一应用，难以满足实际需求。为解决这一问题，研究团队开发了GUIOdyssey，一个涵盖8,334个跨应用导航实例的数据集，平均每个实例15.3步，涉及6种设备和212个应用。基于此数据集，团队还开发了OdysseyAgent，一个多模态代理，采用历史重采样模块，优化了性能和推理速度。实验结果显示，OdysseyAgent在域内和域外场景中均表现出色，特别是在复杂跨应用任务中表现优异。该研究不仅为跨应用导航提供了新的数据集和模型，还为未来的智能代理研究指明了方向。
深度分析
研究背景
随着智能手机的普及，用户需要在多个应用间切换以完成复杂任务。然而，现有的GUI导航数据集和模型多局限于单一应用，难以满足实际需求。近年来，研究者们尝试通过大规模语言模型和多模态方法提升智能代理的导航能力，但仍缺乏专注于跨应用导航的数据集。
核心问题
现有的GUI导航数据集多局限于单一应用，无法捕捉跨应用任务的复杂交互。这导致现有模型在处理跨应用导航任务时表现不佳，亟需一个全面的跨应用导航数据集来推动研究进展。
核心创新
GUIOdyssey是首个专注于跨应用导航的数据集，涵盖了丰富的应用和设备。OdysseyAgent通过历史重采样模块有效平衡性能和推理速度，是一种创新的多模态代理。
方法详解
- �� GUIOdyssey数据集包含8,334个实例，平均每个实例15.3步。
- �� OdysseyAgent采用多模态方法，结合视觉和语言信息。
- �� 历史重采样模块用于优化性能和推理速度。
实验设计
实验在GUIOdyssey数据集上进行，评估了OdysseyAgent在域内和域外场景中的性能。使用Action Matching Score作为评估指标，结果显示OdysseyAgent在复杂跨应用任务中表现优异。
结果分析
OdysseyAgent在GUIOdyssey数据集上的准确率最高，特别是在复杂跨应用任务中表现出色。历史信息的使用显著提高了模型性能。
应用场景
该研究的成果可用于开发更智能的移动设备助手，提升用户体验，特别是在需要跨多个应用完成任务的场景中。
局限与展望
OdysseyAgent在处理极长序列时可能面临性能瓶颈，数据集的多样性可能不足以涵盖所有可能的应用场景。未来研究可以扩展数据集的多样性，优化模型以处理更长的序列。
通俗解读 非专业人士也能看懂
想象你有一个智能助手，能帮你在手机上快速完成任务，比如在不同应用间切换来完成复杂操作。GUIOdyssey就像一个大型训练场，里面有各种任务和应用组合，让这个助手学会如何高效地工作。OdysseyAgent则是这个助手的大脑，能记住过去的操作并快速做出决策。通过不断学习和优化，它能在复杂的任务中表现得越来越好。
简单解释 像给14岁少年讲一样
想象你在玩一个需要在多个应用间切换的手机游戏，比如先在一个应用里找信息，再在另一个应用里用这些信息。GUIOdyssey就是这个游戏的关卡集合，而OdysseyAgent是你的游戏角色，它能记住你之前的操作，并帮助你快速通过关卡。通过不断练习，它会变得越来越聪明，帮你更快地完成任务！
术语表
GUIOdyssey (图形用户界面奥德赛)
一个专注于跨应用导航的全面数据集，包含8,334个实例。
用于训练和评估跨应用导航代理。
OdysseyAgent (奥德赛代理)
一种多模态导航代理，采用历史重采样模块优化性能。
在GUIOdyssey数据集上进行训练和测试。
历史重采样模块
一种用于压缩历史截图信息的模块，提高推理效率。
OdysseyAgent中用于处理长序列的关键组件。
多模态
结合视觉和语言信息的方法，提高模型的理解和决策能力。
OdysseyAgent通过多模态方法提升导航性能。
Action Matching Score (动作匹配分数)
一种评估导航代理性能的指标，衡量预测动作与真实动作的匹配程度。
用于评估OdysseyAgent在GUIOdyssey数据集上的表现。
开放问题 这项研究留下的未解疑问
- 1 如何进一步提升OdysseyAgent在极长序列上的性能？
- 2 如何扩展GUIOdyssey数据集以涵盖更多应用场景？
应用场景
近期应用
智能手机助手
提升用户在移动设备上的跨应用操作体验，减少手动操作。
远期愿景
全自动化工作流
实现更复杂的自动化任务，提升生产力和用户体验。
原文摘要
Autonomous Graphical User Interface (GUI) navigation agents can enhance user experience in communication, entertainment, and productivity by streamlining workflows and reducing manual intervention. However, prior GUI agents often trained with datasets comprising tasks that can be completed within a single app, leading to poor performance in cross-app navigation. To address this problem, we present GUIOdyssey, a comprehensive dataset for cross-app mobile GUI navigation. GUIOdyssey comprises 8,334 episodes with an average of 15.3 steps per episode, covering 6 mobile devices, 212 distinct apps, and 1,357 app combinations. Each step is enriched with detailed semantic reasoning annotations, which aid the model in building cognitive processes and enhancing its reasoning abilities for complex cross-app tasks. Building on GUIOdyssey, we develop OdysseyAgent, an exploratory multimodal agent for long-step cross-app navigation equipped with a history resampler module that efficiently attends to historical screenshot tokens, balancing performance and inference speed. Extensive experiments conducted in both in-domain and out-of-domain scenarios validate the effectiveness of our approach. Moreover, we demonstrate that historial information involving actions, screenshots and context in our dataset can significantly enhances OdysseyAgent's performance on complex cross-app tasks.