Neural feels with neural fields: Visuo-tactile perception for in-hand manipulation
NeuralFeels结合视觉与触觉，在线学习神经场实现未知物体的姿态与形状重建，提升机器人在手操作的感知能力。
核心发现
方法论
本文提出NeuralFeels，通过在多指机器人手上结合视觉、触觉与本体感知，在线学习神经场模型，实现未知物体的姿态与几何重建。利用神经场（Neural Fields）编码物体几何信息，优化姿态图（Pose Graph）进行联合跟踪。模型在模拟与真实环境中通过交互获取数据，采用基于深度学习的前端特征提取和后端优化，结合神经辐射场（Neural Radiance Fields）技术，实现高精度的三维重建与姿态估计。
关键结果
- 在70个实验中，重建F-score达81%，平均姿态漂移为4.7mm，利用已知CAD模型可将漂移降低至2.3mm。在严重遮挡条件下，触觉信息带来的跟踪提升高达94%，显著优于仅视觉方法。这表明触觉在遮挡环境中极大增强了感知鲁棒性，验证了多模态融合的有效性。
- 在已知形状的物体追踪中，利用CAD模型实现平均误差仅为2mm，触觉作为姿态细化手段，进一步降低误差。通过模拟与实地测试，模型在不同物体和环境中表现出稳定性与高精度，验证了其在复杂交互场景中的应用潜力。
- 多模态感知系统在遮挡与噪声环境中表现优越，尤其在视觉信息受限时，触觉补充显著提升了姿态与几何估计的准确性。实验结果显示，该方法在机器人操作中的适应性与鲁棒性优于传统视觉或触觉单一方案。
研究意义
该研究突破了机器人在手操作中的感知瓶颈，将视觉与触觉融合，提出在线学习神经场的创新框架，为机器人自主理解复杂物体提供了新途径。其在未知物体重建、遮挡环境下的鲁棒性以及多模态感知的结合，极大推动了机器人自主感知与操作的研究发展。未来，该技术可广泛应用于家庭、工业等场景，提升机器人自主性与适应性，推动智能机器人向人类水平迈进。
技术贡献
本文的核心技术创新在于提出NeuralFeels框架，结合神经场（Neural Fields）与多模态感知，在线学习物体几何与姿态。引入基于pose图的联合优化机制，有效融合视觉与触觉信息，提升感知精度。模型采用深度神经网络实现特征提取，结合经典SLAM优化策略，实现高效、鲁棒的物体追踪与重建。该方法在无需预先标注的情况下，完成未知物体的感知任务，展现出良好的泛化能力。
新颖性
本研究首次实现多模态感知驱动的全SLAM系统，结合神经场与在线优化，支持未知物体的实时重建与追踪。不同于传统仅依赖视觉或触觉的方案，创新点在于融合两者信息，显著改善遮挡与噪声环境下的感知性能。其在机器人操控领域中实现了从静态重建到动态追踪的突破，为多模态感知与神经场应用提供了新范例。
局限性
- 当前模型对复杂几何或高反光、透明物体的重建仍存在困难，受限于传感器的感知能力和神经场的表达能力。
- 在极端遮挡或快速运动场景中，感知误差仍有一定波动，需进一步优化感知融合策略与模型鲁棒性。
- 模型训练与优化计算成本较高，实时性在某些高复杂度场景下仍需提升，未来需结合轻量化网络与硬件加速技术。
未来方向
未来将探索多模态感知的自适应融合策略，提升在极端环境中的鲁棒性。计划引入更高效的神经场模型，降低计算成本，实现实时感知。此外，将拓展到更复杂的操作任务，如多物体交互、动态环境适应，以及多机器人协作，推动机器人自主感知与操作的全面提升。
AI 总览摘要
在机器人自主操作领域，深度感知一直是核心难题。传统方法多依赖单一视觉信息，面对遮挡、光照变化等环境因素时表现不佳。本文提出NeuralFeels，结合视觉、触觉与本体感知，在线学习神经场模型，实现未知物体的高精度姿态与几何重建。
该系统通过多模态数据融合，优化姿态图，显著提升在遮挡环境中的感知鲁棒性。实验结果显示，在70个真实与模拟场景中，重建F-score达81%，平均姿态漂移仅4.7mm，利用已知CAD模型可降至2.3mm。尤其在严重遮挡条件下，触觉信息带来的跟踪提升高达94%，验证了多模态融合的优势。
这一技术突破为机器人在复杂环境中的自主感知提供了新思路。它不仅改善了传统视觉感知的局限，还为未来自主操作、家庭机器人等应用奠定基础。未来，模型将继续优化，支持多物体、多任务场景，推动机器人智能化迈向新台阶。
深度分析
研究背景
机器人感知技术经历了从单一视觉到多模态融合的发展。早期工作如PoseCNN、DenseFusion主要依赖RGB-D数据进行物体姿态估计，解决了静态场景的重建问题。随着深度学习的兴起，神经场（Neural Fields）如Neural Radiance Fields（NeRF）被引入，用于高质量三维重建，但多模态融合仍有限。触觉传感器如GelSight、DIGIT的出现，使得密集接触信息成为可能，推动了触觉SLAM与重建研究。近年来，结合视觉与触觉的研究逐渐增多，但多模态在线学习与动态交互中的感知仍是挑战。
核心问题
现有系统多局限于已知物体或静态环境，难以应对未知物体的实时感知与重建。视觉在遮挡、光照变化时表现不佳，触觉虽补充信息但缺乏有效的融合机制。多模态感知的在线学习与动态优化仍未成熟，限制了机器人在复杂交互中的自主能力。如何实现高效、鲁棒的多模态融合，支持未知物体的实时几何与姿态估计，是亟待解决的核心问题。
核心创新
提出NeuralFeels框架，首次实现多模态感知驱动的全SLAM系统，融合视觉、触觉与本体感知，在线学习神经场模型。引入基于pose图的联合优化机制，有效融合多源信息，提升感知鲁棒性。采用深度神经网络进行特征提取，结合经典SLAM优化算法，实现高效、精确的物体追踪与重建。模型支持未知物体的即时学习，突破了传统静态模型的限制。
方法详解
- �� 前端：利用预训练模型提取视觉与触觉深度信息，融合多模态特征。
- �� 神经场训练：采样深度数据，训练神经签名距离场（Neural SDF），编码物体几何。
- �� 后端优化：构建姿态图，利用非线性最小二乘法（如Levenberg-Marquardt）优化姿态与神经场参数。
- �� 联合更新：在交互过程中不断迭代，融合视觉与触觉信息，提升模型一致性与精度。
- �� 目标：实现未知物体的实时几何重建与姿态追踪，支持遮挡与噪声环境。
实验设计
在模拟与真实环境中，使用不同物体（如Rubik’s Cube、大骰子、橡胶鸭）进行70次交互实验。采用多模态传感器，收集视觉、触觉与本体信息，评估重建F-score与姿态漂移。对比基线（仅视觉）与融合模型，进行消融分析，验证触觉的贡献。关键指标包括F-score、ADD-S误差、姿态漂移，实验在不同遮挡与噪声条件下进行，确保模型鲁棒性。
结果分析
模型在未知物体上实现81%的F-score，平均姿态漂移为4.7mm，利用已知CAD模型可降至2.3mm。在遮挡严重场景中，触觉信息带来的跟踪提升高达94%，显著优于仅视觉方案。融合多模态信息后，重建精度与姿态稳定性均大幅提升，验证了多源感知的有效性。消融实验显示，触觉在遮挡与噪声环境中尤为关键，显著改善感知性能。
应用场景
该技术可应用于家庭、工业机器人中的复杂操作任务，如物体重建、装配、插入等。只需配备低成本的视觉与触觉传感器，即可实现高精度感知，提升自主操作能力。未来还可扩展到多物体、多任务环境，支持自主学习与适应，推动机器人智能化发展。
局限与展望
模型在极端复杂几何、透明或高反光物体的重建仍有限，受传感器性能影响较大。遮挡与高速运动场景中误差仍存在，需优化融合策略。计算成本较高，实时性在高复杂度场景下有待提升，未来需结合硬件加速与模型轻量化技术。
通俗解读 非专业人士也能看懂
想象你在厨房里做饭，手里拿着各种不同的工具和食材。有时候你用眼睛看清楚，有时候用手摸索确认食材的大小和形状。机器人也是一样，它们用眼睛（视觉）看到东西，但有时候视线被遮挡或光线不好，不能完全看清。触觉就像用手摸东西一样，可以帮忙确认物体的形状和位置。这个研究就像教机器人用眼睛和手一起工作，学会在看不清楚时也能知道东西在哪里、长什么样。它们通过不断试错，学习如何在复杂环境中找到目标，就像我们在黑暗中摸索一样。最终，机器人可以更聪明、更稳健地完成各种任务，比如装配、抓取等。
简单解释 像给14岁少年讲一样
想象你在玩拼图游戏，有时候看不清拼图的边缘，或者被其他拼图片挡住了视线。这时候，你用手摸一摸拼图的边缘，确认它的形状和位置。机器人也是这样，它们用眼睛看东西，但有时候视线被遮挡或光线不好，就会看不清楚。这篇研究让机器人学会用“眼睛”和“手”一起工作，既用视觉，也用触觉，来更好地知道物体长什么样、在哪里。它们通过不断尝试和调整，变得越来越聪明，能在复杂的环境中找到目标。就像你在黑暗中摸索，最后还是能拼好拼图一样，机器人也能在困难环境中完成任务，比如抓取、装配、搬运等。这个技术让机器人变得更像人类一样聪明、灵活！
原文摘要
To achieve human-level dexterity, robots must infer spatial awareness from multimodal sensing to reason over contact interactions. During in-hand manipulation of novel objects, such spatial awareness involves estimating the object's pose and shape. The status quo for in-hand perception primarily employs vision, and restricts to tracking a priori known objects. Moreover, visual occlusion of objects in-hand is imminent during manipulation, preventing current systems to push beyond tasks without occlusion. We combine vision and touch sensing on a multi-fingered hand to estimate an object's pose and shape during in-hand manipulation. Our method, NeuralFeels, encodes object geometry by learning a neural field online and jointly tracks it by optimizing a pose graph problem. We study multimodal in-hand perception in simulation and the real-world, interacting with different objects via a proprioception-driven policy. Our experiments show final reconstruction F-scores of $81$% and average pose drifts of $4.7\,\text{mm}$, further reduced to $2.3\,\text{mm}$ with known CAD models. Additionally, we observe that under heavy visual occlusion we can achieve up to $94$% improvements in tracking compared to vision-only methods. Our results demonstrate that touch, at the very least, refines and, at the very best, disambiguates visual estimates during in-hand manipulation. We release our evaluation dataset of 70 experiments, FeelSight, as a step towards benchmarking in this domain. Our neural representation driven by multimodal sensing can serve as a perception backbone towards advancing robot dexterity. Videos can be found on our project website https://suddhu.github.io/neural-feels/