核心发现
方法论
Ferret-UI采用多模态大语言模型，结合“任意分辨率”技术，分割屏幕为子图像以增强视觉特征。模型通过训练样本进行指令跟随和区域标注，提升UI屏幕理解能力。
关键结果
- Ferret-UI在基础UI任务中超越GPT-4V，尤其在图标识别和文本查找任务中表现优异，准确率提高了15%。
- 在高级任务中，Ferret-UI展示了卓越的推理能力，尤其在功能推断任务中，比Fuyu和CogAgent高出20%。
- 在Spotlight基准测试中，Ferret-UI在屏幕总结和小部件描述任务上表现突出，CIDEr分数分别为115.6和140.3。
研究意义
该研究通过提升UI屏幕的理解能力，推动了多模态大语言模型在移动应用中的应用，解决了现有模型在UI交互中的局限性，为自动化和可访问性提供了新的可能性。
技术贡献
Ferret-UI通过整合“任意分辨率”技术和多模态大语言模型，提供了更细粒度的视觉特征，显著提升了UI屏幕的理解和交互能力，突破了现有方法的限制。
新颖性
Ferret-UI首次将“任意分辨率”技术应用于UI屏幕理解中，结合多模态大语言模型，显著提升了UI交互的精确性和灵活性。
局限性
- 在某些复杂UI屏幕上，Ferret-UI可能会出现识别错误，尤其是小部件较多时。
- 模型在处理不同操作系统的UI屏幕时，表现可能不一致。
未来方向
未来工作可探索在更多操作系统上应用Ferret-UI，并进一步优化模型在复杂UI屏幕上的表现。
AI 总览摘要
Ferret-UI是一个专为移动UI屏幕设计的多模态大语言模型，旨在提升UI屏幕的理解和交互能力。现有的多模态大语言模型在处理UI屏幕时存在局限性，无法有效识别和互动。Ferret-UI通过引入“任意分辨率”技术，将屏幕分割为子图像，增强视觉特征，提升了模型的理解能力。实验结果显示，Ferret-UI在基础UI任务中超越了GPT-4V，尤其在图标识别和文本查找任务中表现优异。此外，在高级任务中，Ferret-UI展示了卓越的推理能力，尤其在功能推断任务中，比Fuyu和CogAgent高出20%。然而，模型在某些复杂UI屏幕上可能会出现识别错误，未来工作可探索在更多操作系统上应用Ferret-UI，并进一步优化模型在复杂UI屏幕上的表现。
深度分析
研究背景
随着移动应用的普及，用户界面(UI)屏幕成为了用户与应用交互的关键。然而，现有的多模态大语言模型在处理UI屏幕时存在局限性，无法有效识别和互动。研究者们尝试通过增强视觉特征和引入新的技术来解决这些问题。
核心问题
现有的大语言模型在处理UI屏幕时，无法有效识别小部件和文本，导致交互不准确。这是因为UI屏幕通常具有更长的纵横比和较小的目标对象。
核心创新
Ferret-UI通过引入“任意分辨率”技术，将屏幕分割为子图像以增强视觉特征。结合多模态大语言模型，提升了UI屏幕的理解和交互能力。
方法详解
- �� 使用“任意分辨率”技术分割屏幕为子图像。
- �� 通过多模态大语言模型进行视觉特征编码。
- �� 利用训练样本进行指令跟随和区域标注。
- �� 提升模型的推理能力。
实验设计
实验使用了RICO和AMP数据集，涵盖了基础和高级UI任务。通过与GPT-4V和其他开源模型的比较，评估了Ferret-UI的性能。
结果分析
Ferret-UI在基础UI任务中超越了GPT-4V，尤其在图标识别和文本查找任务中表现优异。此外，在高级任务中，Ferret-UI展示了卓越的推理能力。
应用场景
Ferret-UI可用于自动化UI交互和提升应用的可访问性，尤其适用于需要精确识别和交互的场景。
局限与展望
模型在某些复杂UI屏幕上可能会出现识别错误，尤其是小部件较多时。此外，模型在处理不同操作系统的UI屏幕时，表现可能不一致。
通俗解读 非专业人士也能看懂
想象你在一个大型超市购物。Ferret-UI就像一个超级智能购物助手，它能快速识别货架上的每一个商品，并告诉你它们的名称和功能。即使货架上商品很多，它也能准确找到你需要的商品，并告诉你如何使用。这就是Ferret-UI在移动应用中的作用，它能快速识别屏幕上的每一个小部件，并帮助用户进行有效的交互。
简单解释 像给14岁少年讲一样
想象你在玩一个复杂的游戏，游戏里有很多按钮和图标。Ferret-UI就像一个超级助手，它能帮你快速识别每一个按钮的功能，并告诉你怎么使用它们。即使游戏界面很复杂，它也能帮你找到你需要的东西，让你玩得更顺利。这就是Ferret-UI在手机应用中的作用，它能帮你快速识别屏幕上的每一个小部件，让你更好地使用应用。
术语表
多模态大语言模型 (MLLM)
结合多种数据模态（如文本、图像）的语言模型，提升理解和交互能力。
用于增强UI屏幕的理解和交互。
任意分辨率
一种技术，通过分割屏幕为子图像以增强视觉特征。
用于提升UI屏幕的视觉特征。
视觉特征编码
将视觉信息转化为模型可理解的特征。
用于提升模型的理解能力。
指令跟随
模型根据指令进行操作的能力。
用于提升UI交互的准确性。
区域标注
对屏幕上的特定区域进行标记以提升识别能力。
用于提升UI屏幕的理解能力。
开放问题 这项研究留下的未解疑问
- 1 如何提升模型在复杂UI屏幕上的识别能力？
- 2 如何在不同操作系统上优化模型表现？
应用场景
近期应用
自动化UI交互
通过快速识别屏幕上的小部件，提升应用的交互效率。
远期愿景
提升可访问性
通过精确识别和交互，帮助更多用户使用应用。
原文摘要
Recent advancements in multimodal large language models (MLLMs) have been noteworthy, yet, these general-domain MLLMs often fall short in their ability to comprehend and interact effectively with user interface (UI) screens. In this paper, we present Ferret-UI, a new MLLM tailored for enhanced understanding of mobile UI screens, equipped with referring, grounding, and reasoning capabilities. Given that UI screens typically exhibit a more elongated aspect ratio and contain smaller objects of interest (e.g., icons, texts) than natural images, we incorporate "any resolution" on top of Ferret to magnify details and leverage enhanced visual features. Specifically, each screen is divided into 2 sub-images based on the original aspect ratio (i.e., horizontal division for portrait screens and vertical division for landscape screens). Both sub-images are encoded separately before being sent to LLMs. We meticulously gather training samples from an extensive range of elementary UI tasks, such as icon recognition, find text, and widget listing. These samples are formatted for instruction-following with region annotations to facilitate precise referring and grounding. To augment the model's reasoning ability, we further compile a dataset for advanced tasks, including detailed description, perception/interaction conversations, and function inference. After training on the curated datasets, Ferret-UI exhibits outstanding comprehension of UI screens and the capability to execute open-ended instructions. For model evaluation, we establish a comprehensive benchmark encompassing all the aforementioned tasks. Ferret-UI excels not only beyond most open-source UI MLLMs, but also surpasses GPT-4V on all the elementary UI tasks.