核心发现
方法论
AITW数据集包含715k个设备交互示例，涵盖30k种独特指令，支持Android v10至v13和8种设备类型。数据集记录了多步骤任务，要求对语言和视觉上下文的语义理解。我们开发了两个代理模型进行性能评估。
关键结果
- AITW数据集的多样性在于其包含357个应用和网站，平均任务步骤为6.5。
- 行为克隆代理在标准测试集上的完整匹配率为65%。
- 基于LLM的模型在未见过的指令模板上表现出色，显示出良好的泛化能力。
研究意义
AITW数据集的发布为设备控制系统的研究提供了一个大规模、多样化的基准，推动了在新任务描述、新应用或新平台版本下的系统鲁棒性分析。这对于开发能够理解和执行自然语言指令的自动化系统具有重要意义。
技术贡献
AITW数据集的技术贡献在于其规模和多样性，超越了现有数据集。它提供了一个用于训练和评估设备控制系统的丰富资源，并支持对多步骤任务的语义理解和精确手势操作。
新颖性
AITW是首个大规模、多版本、多设备的Android设备控制数据集，突破了现有数据集在任务多样性和规模上的限制。
局限性
- 数据集的手势识别精度受限于屏幕分辨率和设备类型的差异。
- OCR文本识别可能存在误差，影响模型的准确性。
未来方向
未来工作可包括开发更精确的手势识别模型和改进OCR文本识别，以提高设备控制系统的性能。
AI 总览摘要
随着移动设备的普及，能够理解自然语言指令并执行设备操作的系统需求不断增加。然而，现有的数据集在规模和多样性上都存在不足，限制了研究的进展。
为了解决这一问题，研究人员发布了Android in the Wild (AITW)数据集。该数据集包含715k个设备交互示例，涵盖30k种独特指令，支持Android v10至v13和8种设备类型。AITW不仅在规模上远超现有数据集，还在任务多样性和设备类型上提供了丰富的选择。
AITW数据集的发布为设备控制系统的研究提供了一个大规模、多样化的基准，推动了在新任务描述、新应用或新平台版本下的系统鲁棒性分析。这对于开发能够理解和执行自然语言指令的自动化系统具有重要意义。尽管数据集在手势识别和OCR文本识别上存在一定的局限性，但它为未来的研究提供了宝贵的资源和方向。
深度分析
研究背景
近年来，设备控制系统的研究逐渐兴起，这些系统能够通过自然语言指令直接操控设备的用户界面。然而，现有的数据集在规模和多样性上都存在不足，限制了研究的进展。AITW数据集的发布填补了这一空白，为研究提供了一个大规模、多样化的基准。
核心问题
现有设备控制数据集在任务多样性和规模上存在不足，无法支持对多步骤任务的语义理解和精确手势操作。AITW数据集的发布旨在解决这些问题，推动设备控制系统的研究。
核心创新
AITW数据集的创新在于其规模和多样性，涵盖了多个Android版本和设备类型。它记录了多步骤任务，要求对语言和视觉上下文的语义理解，并支持精确手势操作。
方法详解
- �� 数据收集：AITW数据集包含715k个设备交互示例，涵盖30k种独特指令。
- �� 数据处理：使用OCR和图标检测技术对屏幕截图进行处理。
- �� 模型开发：开发了两个代理模型进行性能评估。
实验设计
实验设计包括使用AITW数据集对两个代理模型进行评估。使用标准测试集和OOD设置进行性能测试，评估模型在未见过的任务描述和应用上的泛化能力。
结果分析
实验结果显示，行为克隆代理在标准测试集上的完整匹配率为65%。基于LLM的模型在未见过的指令模板上表现出色，显示出良好的泛化能力。
应用场景
AITW数据集可用于训练和评估设备控制系统，支持对多步骤任务的语义理解和精确手势操作。它为开发能够理解和执行自然语言指令的自动化系统提供了宝贵的资源。
局限与展望
AITW数据集在手势识别和OCR文本识别上存在一定的局限性，影响了模型的准确性。未来的研究可通过改进这些技术来提高设备控制系统的性能。
通俗解读 非专业人士也能看懂
想象一下，你在用手机完成一项任务，比如打开日历查看下周的安排。AITW数据集就像一个巨大的指南，教会计算机如何通过自然语言指令完成这些任务。它记录了人们如何在不同的手机和应用上操作，比如滑动屏幕或点击按钮。通过学习这些操作，计算机可以更好地理解和执行我们的指令，就像一个聪明的助手。
简单解释 像给14岁少年讲一样
嘿，想象一下你在玩一个超级复杂的手机游戏，里面有很多关卡和任务。AITW数据集就像是游戏攻略，帮助计算机学会如何通过自然语言指令完成这些任务。它记录了人们在不同手机和应用上是如何操作的，比如滑动屏幕或点击按钮。这样，计算机就能像你一样聪明地完成任务啦！
术语表
行为克隆 (Behavioural Cloning)
一种机器学习方法，通过模仿人类行为来训练模型。
用于训练代理模型以评估AITW数据集。
自然语言处理 (Natural Language Processing)
计算机理解和生成人类语言的技术。
用于解析和执行设备控制指令。
OCR (光学字符识别)
识别图像中的文本并将其转换为可编辑文本的技术。
用于处理AITW数据集中的屏幕截图。
手势识别 (Gesture Recognition)
识别和解释人类手势的技术。
用于设备控制系统中的精确操作。
OOD (Out-of-Distribution)
指模型在未见过的数据或任务上的表现。
用于评估AITW数据集上代理模型的泛化能力。
开放问题 这项研究留下的未解疑问
- 1 如何提高手势识别的精度以适应不同设备和屏幕分辨率？
- 2 如何改进OCR技术以减少文本识别误差？
应用场景
近期应用
设备自动化
开发能够理解和执行自然语言指令的设备控制系统，适用于智能手机和平板电脑。
远期愿景
无障碍技术
为残障人士开发更友好的设备控制系统，提升他们的生活质量。
原文摘要
There is a growing interest in device-control systems that can interpret human natural language instructions and execute them on a digital device by directly controlling its user interface. We present a dataset for device-control research, Android in the Wild (AITW), which is orders of magnitude larger than current datasets. The dataset contains human demonstrations of device interactions, including the screens and actions, and corresponding natural language instructions. It consists of 715k episodes spanning 30k unique instructions, four versions of Android (v10-13),and eight device types (Pixel 2 XL to Pixel 6) with varying screen resolutions. It contains multi-step tasks that require semantic understanding of language and visual context. This dataset poses a new challenge: actions available through the user interface must be inferred from their visual appearance. And, instead of simple UI element-based actions, the action space consists of precise gestures (e.g., horizontal scrolls to operate carousel widgets). We organize our dataset to encourage robustness analysis of device-control systems, i.e., how well a system performs in the presence of new task descriptions, new applications, or new platform versions. We develop two agents and report performance across the dataset. The dataset is available at https://github.com/google-research/google-research/tree/master/android_in_the_wild.