PIVOT: Iterative Visual Prompting Elicits Actionable Knowledge for VLMs
PIVOT通过迭代视觉优化，将VLMs应用于零样本机器人控制与空间推理。
核心发现
方法论
PIVOT采用迭代视觉提示策略，将任务转化为视觉问答，通过在图像中标注候选动作或位置，利用VLM选择最优方案。每次迭代中，系统生成候选提案，映射到图像并用文本标签标记，随后由VLM评估其任务相关性。通过拟合分布，逐步细化提案，类似交叉熵优化，达到精确控制。实验中，未对VLM进行微调，便实现机器人导航、操作等复杂任务的零样本控制，验证了其广泛适用性。
关键结果
- 在机器人导航任务中，PIVOT在多环境下成功率达75%，显著优于基线的25%，且迭代次数和并行调用均提升性能。
- 在操控任务中，PIVOT实现了67%的成功抓取率，平均步骤数由4.5降至3，表现优于传统方法，验证了其在低资源条件下的有效性。
- 在空间定位任务中，PIVOT在RefCOCO数据集上实现了超过85%的准确率，优于单次推理，展示了其空间推理能力。
研究意义
该研究突破了VLM在空间和机器人控制中的应用限制，展现了无需微调的零样本能力，为未来大规模互联网模型在实体世界中的应用提供新思路。它不仅拓展了VLM的任务范围，也为机器人自主操作、空间推理等提供了通用、高效的解决方案，有望推动智能机器人与自动化系统的普及与升级。
技术贡献
提出基于视觉提示的迭代优化框架，将空间任务转化为视觉问答问题，结合分布拟合与多次采样策略，有效解决连续空间输出难题。该方法无需微调预训练模型，利用模型的选择能力实现精细控制，为VLM在空间推理中的应用提供新途径。实验验证了其在多机器人平台上的泛化能力，展示了零样本空间推理的潜力。
新颖性
首次将视觉提示与迭代优化结合，提出将空间任务映射为视觉问答，通过多轮提案筛选实现连续空间控制。这一方法区别于传统微调或模仿学习，强调模型的零样本推理能力，突破了VLM在空间连续输出上的瓶颈，具有较强创新性。
局限性
- 当前模型性能受限于VLM的空间理解能力，复杂环境下仍存在误差，尤其在遮挡或多目标场景中表现不足。
- 推理过程依赖大量采样与多轮交互，计算成本较高，实时性有待提升。
- 模型对提案的初始分布敏感，可能陷入局部最优，需进一步优化采样策略。
未来方向
未来将结合强化学习与自监督训练，提升模型空间理解能力。探索多模态融合与动态提案生成，增强复杂环境中的鲁棒性。同时，推动硬件优化，实现实时控制，拓展至更复杂的空间任务和多机器人协作场景。
AI 总览摘要
近年来，视觉语言模型（VLMs）在多模态理解和推理方面取得了突破性进展，展现出在逻辑推理、视觉理解等任务中的强大能力。然而，传统VLMs主要输出文本，难以直接应用于空间控制和机器人任务。为突破这一瓶颈，本文提出了PIVOT（Prompting with Iterative Visual Optimization）方法，将空间任务转化为视觉问答，通过多轮迭代提案筛选实现连续空间输出。该方法在无需微调模型的情况下，利用图像中的候选动作或位置标记，结合VLM的选择能力，逐步逼近最优解。实验涵盖机器人导航、操作、空间定位等多场景，结果显示，PIVOT在多环境中实现了75%的导航成功率和67%的操控成功率，优于传统基线。该技术不仅拓宽了VLM的应用边界，也为未来自主机器人和空间推理提供了新思路。尽管目前仍存在性能局限，但其零样本、通用性强的特性，预示着大规模互联网模型在实体世界中的巨大潜力。未来，结合强化学习和多模态融合，PIVOT有望推动智能机器人向更高层次自主性迈进。
深度分析
研究背景
视觉语言模型（VLMs）如GPT-4V、Gemini等，已在多模态理解、问答和推理中展现出强大能力。早期研究主要集中在文本生成和图像识别，随后发展出结合视觉与语言的多模态模型，用于复杂推理和决策。近年来，VLM在Web导航、视觉问答等任务中实现零样本甚至零微调性能，显示出强大的泛化能力。然而，将其应用于实体机器人控制、空间定位等空间任务仍面临挑战，主要在于模型难以直接输出连续空间坐标或动作。传统方法依赖微调或专门感知模块，限制了模型的灵活性和泛用性。本文试图突破这一限制，通过视觉提示和迭代优化，赋予VLM空间推理能力，推动其在机器人和空间任务中的应用。
核心问题
核心问题在于，现有VLM难以直接输出连续空间坐标或动作，限制其在机器人控制中的应用。空间任务通常需要精确的连续值，而模型擅长选择离散类别或粗略位置。如何在不微调模型的情况下，将空间任务映射为模型可处理的视觉问答形式，并实现高精度控制，是亟待解决的问题。此外，如何设计有效的提案生成与筛选机制，确保模型在多轮迭代中逐步逼近最优解，也是关键难题。这些问题的解决，将极大拓展VLM在实体世界中的应用潜力。
核心创新
创新点主要在于：1）提出将空间任务转化为视觉问答，通过在图像中标注候选动作或位置，利用VLM的选择能力实现空间控制；2）引入多轮迭代优化机制，结合提案分布拟合与筛选，逐步细化空间输出；3）无需微调预训练模型，直接利用模型的推理能力完成复杂空间任务。这一框架突破了传统微调或模仿学习的限制，强调模型的零样本推理潜力，为空间控制提供了新思路。
方法详解
- �� 任务定义：将空间控制问题转化为视觉问答（VQA），输入包括图像和自然语言指令，输出连续空间值或动作。
- �� 提案生成：在每轮迭代中，从空间分布中采样候选动作或位置，映射到图像中，生成带有编号或标记的视觉提案。
- �� 视觉标注：利用相机参数，将空间提案投影到图像上，绘制标记（如箭头、点），并用文本标签描述。
- �� 模型评估：将标注后的图像和任务描述输入VLM，模型输出对提案的相关性评分或选择。
- �� 迭代优化：根据模型选择的结果，拟合新的提案分布，逐步收敛到最优空间区域。
- �� 多轮交互：重复采样、标注、筛选、拟合，直至达到预设轮数或收敛条件。
- �� 结合并行调用：多实例并行执行，提升鲁棒性和效率。
实验设计
在机器人导航、操控和空间定位任务中验证PIVOT，使用真实机器人平台（如移动机械臂、Franka机械臂）和模拟环境（RAVENS）。指标包括成功率、平均步骤数和抓取率。对比单轮推理、多轮迭代及并行调用效果，分析模型在不同任务中的表现。还在RefCOCO数据集上评估空间定位精度，验证其空间推理能力。通过ablation研究，分析提案数量、提示设计和迭代轮数对性能的影响，确保方法的稳健性。
结果分析
PIVOT在机器人导航中成功率达75%，比基线25%提升显著；操控任务中，成功抓取率由50%提升至67%，平均步骤由4.5降至3；空间定位任务中，准确率超过85%，优于单轮推理。多轮迭代和并行调用均提升性能，验证了优化策略的有效性。模型无需微调，便能实现复杂空间任务，展示出强大的零样本推理能力。
应用场景
该方法适用于自主机器人导航、空间操作、视觉问答等场景，尤其在缺乏任务特定训练数据时表现优异。未来可结合强化学习，提升实时性和鲁棒性，推动智能机器人在复杂环境中的自主操作。长远来看，有望实现大规模空间推理和多机器人协作，推动自动化和智能制造的发展。
局限与展望
当前模型对复杂环境的空间理解仍有限，遮挡、多目标场景中误差较大。推理过程计算成本高，实时性不足。提案初始化依赖，易陷入局部最优，需优化采样策略。未来需结合学习增强空间理解能力，降低计算成本，提升鲁棒性。
通俗解读 非专业人士也能看懂
想象你在厨房做饭，手里拿着食材和工具，但你不知道下一步该怎么操作。你可以用眼睛观察厨房，看到各种工具和食材，然后用手指指向某个工具或食材，告诉自己“用这个切菜”或“拿那个锅”。PIVOT就像这样，它会在图片中标记出可能的动作或位置，然后问模型“这个动作合适吗？”模型会帮你判断，然后你根据它的建议不断调整，直到找到最合适的操作。整个过程就像你在厨房里反复试错，逐渐找到最佳的做饭方案。它不需要提前学习具体菜谱，只用观察和反复问答，就能做出复杂的菜肴。
简单解释 像给14岁少年讲一样
想象你在玩一个超级智能的机器人游戏，你给它一个任务，比如“把玩具放到桌子上”。这个机器人没有提前学会怎么做，但它可以用眼睛看着房间，然后用手指在图片上标记一些可能的路径或动作，比如箭头指向桌子。每次它都让模型帮忙判断哪个路径最合适，然后根据模型的建议调整路径。它会反复试几次，逐渐找到最好的动作，让机器人成功完成任务。这就像你在学校里反复试错，老师不断给你建议，直到你学会怎么做。这个方法不需要提前教机器人具体技能，只用观察和问答，就能让它变得越来越聪明。
术语表
Vision Language Model (视觉语言模型)
结合视觉和语言理解能力的模型，能处理图像和文本的多模态任务。它在论文中用来进行空间推理和决策。
用于将空间任务转化为视觉问答，支持零样本空间控制。
Visual Prompt (视觉提示)
在图像中添加标记或提案，用于引导模型进行推理。它帮助模型理解空间信息。
通过在图像中标注候选动作或位置，增强模型空间推理能力。
Iterative Optimization (迭代优化)
多轮反复采样、标注和筛选的过程，用于逐步逼近最优解。它类似交叉熵方法。
用于细化空间提案，提高控制精度。
开放问题 这项研究留下的未解疑问
- 1 如何进一步提升模型在复杂、多目标环境中的空间理解能力仍未解决，尤其在遮挡和动态场景下表现不足。
- 2 模型推理过程的计算成本较高，实时应用仍有挑战。
应用场景
近期应用
自主机器人导航
在无人车或机械臂中，利用PIVOT实现无需微调的空间控制，提升自主性和适应性。
空间任务辅助
在工业自动化中，通过视觉提示引导机器人完成装配、搬运等复杂操作。
远期愿景
智能自主系统
结合强化学习和多模态感知，打造具备自主空间推理和决策能力的智能机器人。
原文摘要
Vision language models (VLMs) have shown impressive capabilities across a variety of tasks, from logical reasoning to visual understanding. This opens the door to richer interaction with the world, for example robotic control. However, VLMs produce only textual outputs, while robotic control and other spatial tasks require outputting continuous coordinates, actions, or trajectories. How can we enable VLMs to handle such settings without fine-tuning on task-specific data? In this paper, we propose a novel visual prompting approach for VLMs that we call Prompting with Iterative Visual Optimization (PIVOT), which casts tasks as iterative visual question answering. In each iteration, the image is annotated with a visual representation of proposals that the VLM can refer to (e.g., candidate robot actions, localizations, or trajectories). The VLM then selects the best ones for the task. These proposals are iteratively refined, allowing the VLM to eventually zero in on the best available answer. We investigate PIVOT on real-world robotic navigation, real-world manipulation from images, instruction following in simulation, and additional spatial inference tasks such as localization. We find, perhaps surprisingly, that our approach enables zero-shot control of robotic systems without any robot training data, navigation in a variety of environments, and other capabilities. Although current performance is far from perfect, our work highlights potentials and limitations of this new regime and shows a promising approach for Internet-Scale VLMs in robotic and spatial reasoning domains. Website: pivot-prompt.github.io and HuggingFace: https://huggingface.co/spaces/pivot-prompt/pivot-prompt-demo.