核心发现
方法论
本文提出GesVLA，一种手势感知的视觉-语言-动作（VLA）模型，采用双VLM架构实现手势与语言的深度融合。通过将手势关键点特征编码为连续潜变量，模型在高层推理与低层动作生成中均参与计算。数据层面，构建了基于真实场景图像叠加合成手部模型的半合成数据引擎，生成多样化手势轨迹及精确指向标注。训练采用两阶段策略，先在半合成数据上预训练意图推理模块，再在真实机器人示范数据上训练动作生成模块。该方法有效解决了多目标复杂场景中的空间歧义问题。
关键结果
- 在88个真实场景的意图推理测试中，GesVLA的VLMint模块实现94.3%的准确率，较基线几何管线提升35.2%，较基线多模态大语言模型提升55.7%。
- 机器人操作任务中，GesVLA在复杂多目标抓取和排序任务中成功率达83.3%，远超文本指令单一VLA模型的31.7%和几何管线结合VLA的41.7%。
- 消融实验显示，去除手势MLP编码层准确率降至84.1%，去除数据增强降至89.8%，去除坐标扰动导致准确率骤降至42.0%，表明手势特征编码和数据多样性对模型性能至关重要。
研究意义
GesVLA突破了传统VLA模型仅依赖文本指令的局限，引入手势作为并行指令模态，显著提升机器人在复杂、杂乱环境中的目标定位和任务执行能力。该研究不仅推动了多模态交互的机器人操作技术，还为人机协作提供了更自然直观的交互方式，具有重要的学术价值和广泛的工业应用潜力。
技术贡献
本研究的核心技术贡献包括：1）提出了基于潜变量的手势特征编码方法，实现手势与语言的无缝融合；2）设计了双VLM架构，分离意图推理与动作生成，且通过交叉注意力实现紧耦合；3）构建了半合成手势数据生成引擎，解决了大规模精确标注手势数据匮乏的问题；4）采用两阶段训练策略，有效实现了从合成数据到真实机器人操作的迁移。
新颖性
GesVLA首次将手势作为与语言并列的第一类指令模态，直接在潜空间中编码手势特征，避免了传统方法中手势转文本或后处理的精度损失。其双VLM架构和半合成数据生成管线创新性地解决了手势感知与动作生成的耦合难题，显著提升了复杂场景下的空间理解和操作能力。
局限性
- 模型在极端遮挡或手势识别失败时性能下降，当前手势关键点提取依赖MediaPipe，存在鲁棒性瓶颈。
- 半合成数据生成虽然降低了仿真到现实的视觉差距，但仍无法完全覆盖所有真实手势和环境变异，限制了泛化能力。
- 当前实验主要聚焦于指向手势，未涵盖更丰富的手势类型，限制了交互多样性。
未来方向
未来工作将探索更鲁棒的手势关键点检测方法，结合多摄像头视角提升手势识别准确性。同时，扩展数据生成管线以涵盖更多手势类型和复杂动作，增强模型对多样化人机交互的适应能力。此外，计划将模型应用于更复杂的动态环境和多机器人协作场景，推动实用化进程。
AI 总览摘要
机器人操作领域近年来通过视觉-语言-动作（VLA）模型实现了感知与动作的统一，极大提升了机器人对人类指令的理解和执行能力。然而，现有VLA系统主要依赖文本指令，难以解决复杂场景中多个相似目标的空间歧义问题。针对这一挑战，本文提出GesVLA，一种融合手势作为并行指令模态的手势感知VLA模型。该模型通过双VLM架构实现手势与语言的深度融合，手势特征直接编码为潜变量，参与意图推理与动作生成全过程。
为了克服手势数据稀缺问题，作者设计了基于真实场景图像叠加合成手部模型的半合成数据生成管线，生成多样化手势轨迹及精确指向标注，显著缩小仿真与现实的视觉差距。训练采用两阶段策略，先在半合成数据上预训练意图推理模块，再在真实机器人示范数据上训练动作生成模块，保证了模型的泛化能力和执行效率。
核心技术包括基于MediaPipe提取的手势关键点编码、双VLM架构中意图推理与在线感知模块的交叉注意力机制，以及基于流匹配的动作生成策略。实验在多种真实机器人任务中验证了GesVLA的有效性，意图推理准确率达到94.3%，机器人操作成功率提升至83.3%，远超文本指令单一VLA模型和传统几何管线基线。
该研究不仅提升了机器人在复杂杂乱环境中的目标定位和任务执行能力，还为人机交互提供了更自然直观的手势辅助指令方式，推动了多模态融合技术在机器人领域的应用。未来工作将进一步提升手势识别鲁棒性，扩展手势类型和应用场景，推动智能机器人更广泛的实用化部署。
深度分析
研究背景
近年来，机器人操作领域逐渐转向视觉-语言-动作（VLA）模型，通过统一感知、语言理解与动作生成，实现了对开放环境中复杂任务的处理能力。代表性工作如PaLM-E、SayCan等利用大规模视觉语言预训练模型，提升了机器人对自然语言指令的理解和执行能力。然而，这些模型主要依赖文本指令，难以解决复杂场景中存在多目标空间歧义的问题。人类在日常交互中常用指向等手势辅助语言表达空间信息，然而现有VLA系统未将手势作为核心输入模态，通常仅作为辅助或后处理信号，导致空间定位精度不足。此外，手势数据的采集和标注成本高昂，限制了模型对手势的深度学习。本文针对上述挑战，提出将手势作为与语言并列的第一类指令模态，设计手势感知VLA模型GesVLA，并构建半合成数据生成管线，推动手势与语言的深度融合和高效训练。
核心问题
核心问题在于现有VLA模型仅依赖文本指令，难以准确定位复杂场景中多个相似目标，导致空间歧义难以消除。具体瓶颈包括：1）文本指令缺乏精确空间信息，模糊指令如“这个”“那里”无法唯一确定目标；2）手势作为空间指示信号未被充分利用，传统方法多将手势转为文本或几何规则，信息损失严重；3）缺乏大规模、多样化且带有精确空间标注的手势数据，限制模型学习能力。解决该问题对于提升机器人在现实复杂环境中的交互效率和操作准确性至关重要。
核心创新
本研究的核心创新包括：
1. 手势作为第一类指令模态：首次将手势与语言并列，直接编码为连续潜变量，避免传统转文本或后处理的精度损失。
2. 双VLM架构设计：将意图推理（VLMint）与动作生成（VLMper及动作专家）分离，通过交叉注意力实现潜空间紧耦合，提升推理与执行效率。
3. 半合成手势数据生成管线：基于真实场景图像叠加合成手部模型，生成多样化手势轨迹及精确指向标注，解决手势数据稀缺和标注难题。
4. 两阶段训练策略：先在半合成数据上预训练意图推理模块，再在真实机器人示范数据上训练动作生成模块，实现有效的sim-to-real迁移。
方法详解
- �� 输入模态：视觉观察（RGB-D图像）、语言指令及手势视频（关键帧抽取）。
- �� 手势编码：利用MediaPipe提取手腕及食指三个关节关键点（x,y,d），通过多层感知机（MLP）映射至潜空间，形成连续手势特征向量。
- �� 双VLM架构：
- VLMint负责融合手势与语言，实现意图推理，输出文本描述及视觉提示。
- VLMper基于视觉输入及VLMint的潜空间表示，进行在线感知，生成动作潜空间表示。
- �� 动作专家（Flow-based policy）：基于流匹配算法，迭代去噪生成连续动作轨迹，条件为VLMper输出及机器人当前状态。
- �� 数据生成管线：
- 利用GroundingDINO检测场景物体，随机选取目标。
- 结合深度图及相机内参，计算目标3D坐标。
- 合成手势轨迹，模拟手部从随机方向指向目标，加入抛物线提升模拟人类自然动作。
- 渲染手部模型叠加至真实场景图像，生成半合成手势视频及语言指令。
- �� 训练策略：
- 阶段一：在半合成数据上训练VLMint，采用自回归交叉熵损失，联合学习语义推理与空间定位。
- 阶段二：冻结VLMint，训练VLMper及动作专家，利用真实机器人示范数据，采用流匹配损失优化动作生成。
实验设计
实验包括意图推理和机器人操作两部分。意图推理在88个真实场景中测试，采用固定指令“Pick this up and put it there”，评估模型对指向目标的准确预测。机器人操作任务涵盖三类：块状物抓取与放置、果冻杯选择排序及水果蔬菜选择排序。每任务在简单（少目标）和复杂（多目标）场景中各执行20次，记录成功率。对比基线包括文本单模态VLA、结合多模态大语言模型的VLA、几何管线辅助VLA及去耦合VLM版本。消融实验分析了手势编码、数据增强、训练策略及视觉提示的影响。硬件环境为多摄像头采集，动作生成在RTX 4090 GPU上运行。
结果分析
意图推理实验中，GesVLA达到94.3%准确率，显著优于基线几何管线59.1%和多模态大语言模型38.6%。机器人操作任务中，GesVLA整体成功率83.3%，文本单模态VLA仅31.7%，几何管线辅助VLA为41.7%。消融显示去除手势MLP编码准确率降至84.1%，去除数据增强降至89.8%，去除坐标扰动严重影响泛化，降至42.0%。两阶段训练优于联合训练，冻结VLMint表现最佳。视觉提示对动作生成至关重要，文本提示无显著提升。整体结果证明手势与语言的深度融合及潜空间交互对提升复杂场景下机器人操作性能关键。
应用场景
GesVLA适用于多模态人机交互场景，特别是复杂、杂乱环境下的机器人抓取与排序任务。其手势辅助指令机制使机器人能够更自然地理解用户意图，提升交互效率。应用领域包括智能制造、仓储物流、服务机器人及辅助生活机器人。依赖多摄像头及深度传感器，适合结构化或半结构化环境。未来可扩展至多机器人协作及动态环境中的复杂任务执行。
局限与展望
当前模型依赖MediaPipe进行手势关键点提取，面对遮挡或光照变化时鲁棒性不足，影响手势识别准确性。半合成数据虽减小仿真与现实差距，但仍无法完全覆盖真实手势多样性，限制泛化能力。模型主要聚焦指向手势，未涵盖手势语言的丰富表达，限制交互多样性和复杂度。此外，动作生成计算成本较高，实时性有待提升。未来需改进手势检测算法，丰富数据集，优化模型结构以适应更复杂场景。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭，告诉机器人帮你拿那个红色的苹果。你说“拿那个苹果”，但桌上有好几个红苹果，机器人不知道你指哪个。这时，你用手指向那个苹果，机器人立刻明白了。GesVLA就是让机器人学会同时听你说话和看你手势，这样它就能准确找到你指的东西。
它通过摄像头捕捉你的手势动作，把手的关键点信息转成数字信号，和你说的话一起理解。为了训练机器人识别各种手势，研究人员把手的模型放到真实的厨房照片里，生成大量手势视频和对应的指向目标，教机器人怎么看懂手势。
机器人先学习怎么理解手势和语言的组合，再学怎么根据理解去动手拿东西。实验中，机器人能准确找到你指的物品，特别是在桌上东西很多、很乱的时候，表现比只听语言的机器人好很多。
这就像你和朋友交流时，不光说话，还用手势指东西，交流更顺畅。未来，机器人还能学会更多手势，帮你做更复杂的事情，让人机合作更自然。
简单解释 像给14岁少年讲一样
嘿，想象你在玩游戏，告诉你的机器人小伙伴帮你拿个东西。你说“拿那个”，但桌上有好多一样的东西，机器人傻眼了！不过，如果你用手指着它，机器人马上知道你说的是哪个。
这篇论文就是教机器人怎么同时看你的手势和听你的话。研究人员用电脑把手的动作“贴”到真实的照片里，做了好多好多训练视频，让机器人学会看懂手指指哪儿。
机器人先学会理解你指的是什么，然后学会怎么去拿。结果显示，机器人能准确地找到你指的东西，尤其是桌上乱七八糟的时候，比只听你说话的机器人厉害多了！
所以，下次你想让机器人帮忙，别忘了用手指指哦，它会更聪明地帮你完成任务！
术语表
Vision-Language-Action Model (视觉-语言-动作模型)
一种统一视觉感知、语言理解与动作生成的机器人模型，能够根据视觉和语言输入生成操作动作。
本文提出的GesVLA即为一种VLA模型，增强了手势模态的融合。
Gesture Embedding (手势嵌入)
将手势关键点信息编码为连续潜空间向量的过程，便于与语言和视觉信息融合。
GesVLA通过MLP将MediaPipe提取的手势关键点映射到潜空间。
Dual-VLM Architecture (双视觉语言模型架构)
由两个视觉语言模型组成，分别负责意图推理和在线感知，支持潜空间交互。
GesVLA设计的核心架构，实现手势与语言的紧耦合。
Flow-based Action Generation (基于流的动作生成)
利用流匹配算法，通过迭代去噪生成连续动作轨迹的方法。
GesVLA动作专家模块采用该方法生成精细动作。
Semi-synthetic Gesture Dataset (半合成手势数据集)
将合成手势模型叠加到真实场景图像中生成的带有精确空间标注的手势数据集。
用于预训练GesVLA的意图推理模块。
MediaPipe
谷歌开源的实时手势关键点检测工具，提供手腕和手指关节位置。
GesVLA使用MediaPipe提取手势关键点。
GroundingDINO
一种基于视觉语言的目标检测模型，用于检测场景中的候选物体。
GesVLA数据生成管线中用于目标检测。
Cross-attention (交叉注意力)
一种注意力机制，使一个模型模块能够关注另一个模块的潜空间表示。
GesVLA中VLMper通过交叉注意力访问VLMint的潜空间。
Teacher-forced Autoregressive Cross-entropy (教师强制自回归交叉熵)
一种训练语言模型的损失函数，逐步预测下一个token并与真实标签比较。
用于训练VLMint的意图推理任务。
Sim-to-real Gap (仿真到现实差距)
指模型在仿真环境训练后应用于真实环境时性能下降的现象。
GesVLA通过半合成数据生成管线减小该差距。
开放问题 这项研究留下的未解疑问
- 1 如何提升手势关键点检测在复杂光照和遮挡条件下的鲁棒性仍是挑战，当前依赖MediaPipe存在局限。
- 2 半合成数据生成方法尚未覆盖所有真实手势多样性，如何实现更全面的手势数据合成是未来方向。
- 3 手势类型目前主要限于指向动作，丰富手势语义表达以支持更复杂交互尚未解决。
- 4 动作生成的实时性和计算效率需进一步优化，以满足实际工业应用需求。
- 5 多机器人协作中如何有效融合多模态指令与手势信息，提升协同操作能力尚待研究。
- 6 如何在动态环境中保持手势识别和动作生成的稳定性和准确性仍存在技术难题。
- 7 模型对语言指令的依赖度及其与手势信息的权重自适应调整机制尚未深入探讨。
应用场景
近期应用
智能仓储拣选
利用GesVLA，仓储机器人可通过工人手势和语言指令准确识别目标商品，提高拣选效率和准确率。
服务机器人辅助
家庭或医疗服务机器人结合手势辅助指令，实现复杂物品抓取和递送，提升人机交互自然度。
工业装配线操作
操作员通过手势和语言指令控制机器人完成装配任务，减少误操作和提升生产灵活性。
远期愿景
多模态人机协作平台
未来构建集成手势、语言、视觉的多模态交互机器人系统，实现复杂环境下的智能协作。
增强现实辅助机器人
结合AR技术，实时捕捉用户手势与语言，指导机器人完成动态任务，推动智能家居和工业自动化。
原文摘要
Vision-Language-Action (VLA) models have shown strong potential for general-purpose robot manipulation by unifying perception and action. However, existing VLA systems primarily rely on textual instructions and struggle to resolve spatial ambiguity in complex scenes with multiple similar objects. To address this limitation, we introduce gesture as a parallel instruction modality and propose a Gesture-aware Vision-Language-Action model (GesVLA). Our approach encodes gesture features directly into the latent space, enabling them to participate in both high-level reasoning and low-level action generation, and adopts a dual-VLM architecture to achieve tight coupling between gesture representations and action policies. At the data level, we construct a scalable gesture data generation pipeline by rendering hand models onto real-world scene images. This reduces the sim-to-real visual gap while producing rich data with diverse motion patterns and corresponding pointing annotations. In addition, we employ a two-stage training strategy to equip the model with both gesture perception and action prediction capabilities. We evaluate our approach on multiple real-world robotic tasks, including a controlled block manipulation task for validation and more practical scenarios such as product and produce selection. Experimental results show that incorporating gesture consistently improves target grounding accuracy and human-robot interaction efficiency, especially in complex and cluttered environments. Project page: https://gwxuan.github.io/GesVLA/.
参考文献 (20)
π0: A Vision-Language-Action Flow Model for General Robot Control
Kevin Black, Noah Brown, Danny Driess 等
Hi Robot: Open-Ended Instruction Following with Hierarchical Vision-Language-Action Models
L. Shi, Brian Ichter, Michael Equi 等
DM0: An Embodied-Native Vision-Language-Action Model towards Physical AI
En Yu, Haoran Lv, Jianjian Sun 等
DepthVLA: Enhancing Vision-Language-Action Models with Depth-Aware Spatial Reasoning
Tianyuan Yuan, Yicheng Liu, Chenhao Lu 等
VTLA: Vision-Tactile-Language-Action Model with Preference Learning for Insertion Manipulation
Chaofan Zhang, Peng Hao, Xiaoge Cao 等
Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection
Shilong Liu, Zhaoyang Zeng, Tianhe Ren 等
PointVLA: Injecting the 3D World into Vision-Language-Action Models
Chengmeng Li, Junjie Wen, Yan Peng 等
OpenVLA: An Open-Source Vision-Language-Action Model
Moo Jin Kim, Karl Pertsch, Siddharth Karamcheti 等
MediaPipe Hands: On-device Real-time Hand Tracking
Fan Zhang, Valentin Bazarevsky, Andrey Vakunov 等
A Dual Process VLA: Efficient Robotic Manipulation Leveraging VLM
ByungOk Han, Jaehong Kim, Jinhyeok Jang
GestLLM: Advanced Hand Gesture Interpretation via Large Language Models for Human-Robot Interaction
Oleg Kobzarev, Artem Lykov, Dzmitry Tsetserukou
GR00T N1: An Open Foundation Model for Generalist Humanoid Robots
Nvidia, Johan Bjorck, Fernando Castañeda 等
OneTwoVLA: A Unified Vision-Language-Action Model with Adaptive Reasoning
Fanqi Lin, Ruiqian Nai, Yingdong Hu 等
Gesture-Informed Robot Assistance via Foundation Models
Li-Heng Lin, Yuchen Cui, Yilun Hao 等
Diver Interest via Pointing: Human-Directed Object Inspection for AUVs
Chelsey Edge, Junaed Sattar
Pointing-Guided Target Estimation via Transformer-Based Attention
Lucas-Raphael Müller, Hassan Ali, Philipp Allgeuer 等
Learning from Unscripted Deictic Gesture and Language for Human-Robot Interactions
Cynthia Matuszek, Liefeng Bo, Luke Zettlemoyer 等
Point What You Mean: Visually Grounded Instruction Policy
Hang Yu, Juntu Zhao, Yufeng Liu 等
PaliGemma: A versatile 3B VLM for transfer
L. Beyer, A. Steiner, André Susano Pinto 等