FTP-1: A Generalist Foundation Tactile Policy Across Tactile Sensors for Contact-Rich Manipulation

TL;DR

FTP-1是一种通用触觉策略,提升接触丰富操作成功率31%。

cs.RO 🔴 高级 2026-06-11 13 次浏览
Chengbo Yuan Zicheng Zhang Mingjie Zhou Wendi Chen Yi Wang Zhuoyang Liu Dantong Niu Shuo Wang Hui Zhang Wenkang Zhang Yingdong Hu Yuanqing Gong Wanli Xing Chuan Wen Cewu Lu Kaifeng Zhang Yang Gao
触觉操作 通用策略 传感器多样性 迁移学习 机器人

核心发现

方法论

FTP-1通过异构编码器将多种触觉输入投射到统一的形态感知潜在空间,并由共享的触觉Transformer专家建模。预训练数据来自26个数据源的约3000小时触觉操作数据,涵盖21种传感器。

关键结果

  • FTP-1在已知传感器配置上提高了接触丰富操作的成功率17.2%,并在两个新传感器配置上实现了31%的成功率提升。
  • 在五种硬件配置的下游微调实验中,FTP-1在已知传感器设置上表现优异。
  • 消融研究表明,FTP-1的成功率提升源于其可迁移的触觉操作技能。

研究意义

FTP-1首次为触觉操作建立了统一的基础基线,为未来的触觉策略提供了共享的模型级起点。它突破了触觉信号跨传感器泛化的难题,推动了触觉感知在学术界和工业界的应用。

技术贡献

FTP-1引入了形态感知触觉标记空间(MTTS),实现了跨传感器的触觉信号统一表示。通过共享的触觉Transformer专家,FTP-1能够在多种传感器和化身中学习可迁移的触觉操作技能。

新颖性

FTP-1是首个通用基础触觉策略,能够在多种传感器和化身中迁移触觉操作技能,突破了现有触觉策略依赖固定传感器配置的限制。

局限性

  • FTP-1主要关注触觉感知,尚未涉及基于触觉或力的伺服和控制。
  • 预训练数据集的规模和多样性仍有限。

未来方向

未来工作可扩展到触觉预测和基于预测的低级控制,进一步扩大预训练数据集的规模和多样性。

AI 总览摘要

触觉感知在机器人接触丰富操作中至关重要,但现有策略往往依赖于特定的传感器配置,难以跨传感器泛化。FTP-1通过预训练一个通用的基础触觉策略,解决了这一难题。它支持多种触觉输入,并通过异构编码器将其投射到统一的形态感知潜在空间,由共享的触觉Transformer专家建模。

FTP-1在26个数据源的约3000小时触觉操作数据上进行预训练,涵盖21种传感器。实验结果表明,FTP-1在已知传感器设置上提高了17.2%的成功率,并在两个新传感器设置上实现了31%的成功率提升。这表明FTP-1能够有效地迁移触觉操作技能。

尽管FTP-1取得了显著进展,但其主要关注触觉感知,尚未涉及基于触觉或力的伺服和控制。未来工作可扩展到触觉预测和基于预测的低级控制,并进一步扩大预训练数据集的规模和多样性。

深度分析

研究背景

触觉感知在机器人接触丰富操作中扮演着关键角色。然而,现有的触觉策略通常依赖于特定的传感器配置,难以实现跨传感器的泛化。这是因为不同硬件的触觉信号高度异构,导致现有策略在传感器和化身之间的迁移能力受限。

核心问题

现有触觉策略依赖于固定的传感器配置,难以实现跨传感器的泛化。这限制了触觉感知在多样化机器人操作中的应用,尤其是在需要高精度和灵活性的接触丰富操作中。

核心创新

FTP-1通过引入形态感知触觉标记空间(MTTS),实现了跨传感器的触觉信号统一表示。它支持多种触觉输入,并通过异构编码器将其投射到统一的潜在空间,由共享的触觉Transformer专家建模。

方法详解

  • �� 使用异构编码器将多种触觉输入投射到统一的形态感知潜在空间。
  • �� 通过共享的触觉Transformer专家建模,学习可迁移的触觉操作技能。
  • �� 在26个数据源的约3000小时触觉操作数据上进行预训练。

实验设计

实验在五种硬件配置上进行,涵盖14个多样化任务,包括手中调整、力控按压、插入和提取等接触丰富行为。评估FTP-1在已知和未知传感器设置上的迁移能力。

结果分析

FTP-1在已知传感器设置上提高了17.2%的成功率,并在两个新传感器设置上实现了31%的成功率提升。消融研究表明,这些提升源于FTP-1的可迁移触觉操作技能。

应用场景

FTP-1可用于多种机器人操作场景,特别是在需要高精度和灵活性的接触丰富任务中,如工业装配、医疗手术等。

局限与展望

FTP-1主要关注触觉感知,尚未涉及基于触觉或力的伺服和控制。预训练数据集的规模和多样性仍有限,未来工作可进一步扩展。

通俗解读 非专业人士也能看懂

想象一个机器人在厨房中做饭,它需要感知食材的质地和形状,以便正确切割和混合。FTP-1就像是机器人的触觉大脑,帮助它理解不同的触觉信号,无论是来自刀具的压力还是来自食材的反馈。通过学习多种触觉信号,FTP-1可以帮助机器人在不同的厨房工具和食材之间切换,而不需要重新训练。

简单解释 像给14岁少年讲一样

想象你在玩一个需要用手感知的游戏,比如用手指在屏幕上滑动来控制角色。FTP-1就像是一个超级聪明的助手,它能帮助你在不同的游戏设备上玩得更好。无论是手机还是平板,它都能帮你感知到屏幕的细微变化,让你更快地反应。是不是很酷?

术语表

触觉策略 (Tactile Policy)

一种用于处理和解释触觉信号的算法,帮助机器人进行精细操作。

FTP-1通过预训练触觉策略,实现跨传感器的技能迁移。

形态感知触觉标记空间 (Morphology-Aware Tactile Token Space)

一种用于统一表示不同传感器触觉信号的空间,增强跨传感器的泛化能力。

FTP-1使用MTTS实现多种触觉输入的统一表示。

异构编码器 (Heterogeneous Encoder)

用于处理不同类型触觉输入的编码器,确保信号的统一投射。

FTP-1通过异构编码器将触觉信号投射到MTTS。

触觉Transformer专家 (Tactile Transformer Expert)

一种用于建模触觉信号的Transformer架构,学习可迁移的操作技能。

FTP-1的核心组件之一,用于共享触觉信号的建模。

接触丰富操作 (Contact-Rich Manipulation)

涉及复杂接触和力控的机器人操作任务,如装配和手术。

FTP-1在接触丰富操作中展示了其优越的迁移能力。

开放问题 这项研究留下的未解疑问

  • 1 如何在更大规模和多样化的数据集上预训练触觉策略,以进一步提高泛化能力?
  • 2 在实际应用中,如何结合触觉和视觉信号以增强机器人操作的精度和灵活性?

应用场景

近期应用

工业装配

FTP-1可用于提高机器人在装配线上的操作精度,减少对特定传感器的依赖。

远期愿景

医疗手术

通过增强触觉感知,FTP-1有潜力在未来的医疗手术机器人中应用,提高手术的安全性和精确性。

原文摘要

Despite the success of vision-based generalist robotic policies, existing tactile-based policies remain tied to fixed embodiments and sensor setups. This is because tactile signals are highly heterogeneous across hardware, making cross-sensor generalization difficult. We present FTP-1,the first generalist foundation tactile policy pretrained to acquire transferable tactile manipulation abilities across diverse sensors and embodiments. FTP-1 supports varied tactile inputs, including image-, array-, and state-based signals, by using heterogeneous encoders to project them into unified morphology-aware latent tokens that are jointly modeled by a shared tactile Transformer expert. Pretrained on around 3,000 hours of tactile manipulation data aggregated from 26 data sources, spanning human and robot demonstrations across 21 sensors, FTP-1 learns tactile skills that transfer beyond the sensors seen during pretraining. Across downstream finetuning experiments spanning 5 hardware configurations, FTP-1 improves contact-rich manipulation on seen sensor setups by +17.2% and, surprisingly, transfers to two previously unseen tactile-sensor setups, achieving a +31% gain in success rate. FTP-1 establishes the first unified foundation baseline for tactile manipulation, providing future tactile policies with a shared model-level starting point. Pretrained models, datasets, training code and more visualization at https://ftp1-policy.github.io.

cs.RO