核心发现
方法论
本文提出了一种端到端的框架，结合了8通道EMG臂带、单个网络摄像头和自动同步程序，收集了EMG-FK数据集。该数据集包含20名参与者进行的丰富、无约束的右手运动的同步EMG和15个手指关节角度。我们引入了基于GRU的轻量级模型Temporal Riemannian Regressor (TRR)，利用多频段Riemann协方差特征序列解码手指运动。
关键结果
- 在EMG-FK数据集上，TRR模型在受试者内评估中达到平均绝对误差9.79°±1.48，在跨受试者评估中达到16.71°±3.97。
- TRR在emg2pose基准测试中也优于现有方法，表明其在不同受试者和会话中的鲁棒性。
- TRR模型在Raspberry Pi 5上的实时部署展示了其在嵌入式设备上的高效性，预测速度接近10次/秒。
研究意义
该研究通过降低高维手指运动解码的复杂性，为基于EMG的系统提供了更自然和直观的控制方式。通过使用消费级硬件和创新的数据采集方法，研究降低了实验室外条件下的部署成本和复杂性。这些贡献为手部假肢、AR/XR接口和远程操作等领域的自然交互铺平了道路。
技术贡献
本文的技术贡献包括：1) 提出了一种结合Riemann几何特征和递归神经网络的新型回归模型；2) 开发了一种低成本的数据采集框架，支持高质量的EMG-运动学记录；3) 在嵌入式设备上实现了实时推断，展示了TRR模型的高效性和适用性。
新颖性
TRR模型是首个将多频段协方差矩阵从Riemann流形投影到欧几里得切空间并与递归神经网络结合的手指关节角度回归方法。与现有方法相比，TRR在精度和实时性上具有显著优势。
局限性
- 由于EMG信号对个体差异高度敏感，模型在跨受试者配置中的性能仍有提升空间。
- 数据采集过程中需要参与者进行长时间的手指运动，这可能导致疲劳并影响数据质量。
- 在实际应用中，环境光照和摄像头位置可能影响运动捕捉的精度。
未来方向
未来研究可以探索更鲁棒的跨受试者模型，减少个体差异对性能的影响。此外，可以开发更高效的特征提取方法，以进一步提高模型的实时性和准确性。研究还可以扩展到不同的手部运动场景，以验证模型的通用性。
AI 总览摘要
在手部假肢、AR/XR接口和远程操作等领域，准确解码高维手指运动是实现自然交互的关键。然而，由于人手姿势的复杂性和前臂肌肉的交错，现有方法通常依赖于基于分类的机器学习，限制了可控自由度，并影响自然交互。
本文提出了一种端到端的框架，通过结合8通道EMG臂带、单个网络摄像头和自动同步程序，收集了EMG-FK数据集。该数据集包含20名参与者进行的丰富、无约束的右手运动的同步EMG和15个手指关节角度。我们引入了Temporal Riemannian Regressor (TRR)，这是一种基于GRU的轻量级模型，利用多频段Riemann协方差特征序列解码手指运动。
TRR模型在EMG-FK数据集上表现出色，在受试者内评估中达到平均绝对误差9.79°±1.48，在跨受试者评估中达到16.71°±3.97。此外，TRR在emg2pose基准测试中也优于现有方法，表明其在不同受试者和会话中的鲁棒性。我们还展示了TRR模型在Raspberry Pi 5上的实时部署，其预测速度接近10次/秒，显示出其在嵌入式设备上的高效性。
这些贡献降低了基于EMG的高维手指运动解码的门槛，为更自然和直观的嵌入式EMG系统控制铺平了道路。通过使用消费级硬件和创新的数据采集方法，研究降低了实验室外条件下的部署成本和复杂性。
然而，由于EMG信号对个体差异高度敏感，模型在跨受试者配置中的性能仍有提升空间。未来研究可以探索更鲁棒的跨受试者模型，减少个体差异对性能的影响。此外，可以开发更高效的特征提取方法，以进一步提高模型的实时性和准确性。研究还可以扩展到不同的手部运动场景，以验证模型的通用性。
深度分析
研究背景
手势识别技术近年来得到了广泛关注，尤其是在增强现实、远程操作和手部假肢控制等领域。传统的手势识别方法主要依赖于摄像头和计算机视觉技术，通过跟踪手部关节位置来实现。然而，这些方法在手部遮挡、光照不佳或物体操作时性能往往会下降。此外，这些系统依赖于环境中的摄像头，可能限制移动性、增加设置复杂性，并引发隐私问题。肌电图（EMG）技术提供了一种有前景的替代方案，通过在前臂或手腕周围放置生理传感器来测量肌肉活动，从而推断手部和手指的运动。EMG技术减少了对外部传感基础设施的依赖，不易受光照条件或遮挡影响，是一种非侵入性且稳健的解决方案。
核心问题
尽管EMG技术在手势识别中具有优势，但由于人手姿势的复杂性和前臂肌肉的交错，准确解码高维手指运动仍然具有挑战性。现有方法通常依赖于基于分类的机器学习，限制了可控自由度，并影响自然交互。此外，EMG信号对个体差异高度敏感，包括肌肉大小、姿势模式和心理状态等因素，这使得每个EMG系统通常需要专门的数据采集阶段，以开发一个准确反映应用需求的定制模型。
核心创新
本文的核心创新在于提出了一种结合Riemann几何特征和递归神经网络的新型回归模型——Temporal Riemannian Regressor (TRR)。该模型利用多频段Riemann协方差特征序列解码手指运动，显著提高了精度和实时性。此外，本文开发了一种低成本的数据采集框架，支持高质量的EMG-运动学记录。通过使用消费级硬件和创新的数据采集方法，研究降低了实验室外条件下的部署成本和复杂性。
方法详解
本文的方法论包括以下几个关键步骤：
- �� 数据采集：使用8通道EMG臂带和单个网络摄像头，结合自动同步程序，收集了EMG-FK数据集。
- �� 特征提取：从EMG信号中提取多频段Riemann协方差特征，并将其投影到欧几里得切空间。
- �� 模型设计：设计了基于GRU的轻量级模型TRR，利用提取的特征序列进行手指运动解码。
- �� 实验验证：在EMG-FK和emg2pose基准测试中验证了TRR的性能，并展示了其在嵌入式设备上的实时部署。
实验设计
实验设计包括在EMG-FK和emg2pose数据集上的验证。EMG-FK数据集包含20名参与者进行的丰富、无约束的右手运动的同步EMG和15个手指关节角度。我们使用10折交叉验证评估模型的受试者内性能，并使用留一法交叉验证评估跨受试者性能。实验中使用的基线模型包括vemg2pose、TDF和CRNN等。关键超参数包括GRU层数、特征提取频段和学习率等。
结果分析
实验结果表明，TRR模型在EMG-FK数据集上表现出色，在受试者内评估中达到平均绝对误差9.79°±1.48，在跨受试者评估中达到16.71°±3.97。此外，TRR在emg2pose基准测试中也优于现有方法，表明其在不同受试者和会话中的鲁棒性。TRR模型在Raspberry Pi 5上的实时部署展示了其在嵌入式设备上的高效性，预测速度接近10次/秒。
应用场景
该研究的应用场景包括手部假肢控制、AR/XR接口和远程操作等领域。通过使用消费级硬件和创新的数据采集方法，研究降低了实验室外条件下的部署成本和复杂性。这些贡献为更自然和直观的嵌入式EMG系统控制铺平了道路。
局限与展望
尽管TRR模型在解码高维手指运动方面表现出色，但由于EMG信号对个体差异高度敏感，模型在跨受试者配置中的性能仍有提升空间。此外，数据采集过程中需要参与者进行长时间的手指运动，这可能导致疲劳并影响数据质量。在实际应用中，环境光照和摄像头位置可能影响运动捕捉的精度。未来研究可以探索更鲁棒的跨受试者模型，减少个体差异对性能的影响。
通俗解读 非专业人士也能看懂
想象一下，你的手就像一个乐队，而你的大脑是指挥。每次你想要做一个动作，比如挥手或抓东西，大脑就会给出指令，乐队中的每个乐器（即肌肉）就会开始演奏（即收缩）。这些演奏产生的声音（即肌电信号）可以被一个特殊的设备记录下来。研究人员就像音乐分析师，他们通过分析这些声音，试图猜测乐队在演奏什么曲子（即手指在做什么动作）。
然而，问题在于，不同的人有不同的乐队，每个人的演奏风格也不同，这使得分析变得困难。为了更好地理解这些音乐，研究人员开发了一种新的方法，就像给每个乐器配备了一个麦克风，这样他们就可以更清楚地听到每个乐器的声音。这种方法不仅能更准确地识别乐队演奏的曲子，还能在不同的乐队中表现出色。
通过这种方式，研究人员希望能让那些失去手的人通过乐队的演奏来控制假肢，就像他们自己的手一样自然。这种技术还可以用于虚拟现实和远程控制，让人们在不使用传统控制设备的情况下与技术互动。
简单解释 像给14岁少年讲一样
想象一下，你在玩一个超级酷的游戏，但这次你不需要用手柄或键盘。相反，你只需动动手指，游戏里的角色就会跟着你做同样的动作！这听起来是不是很神奇？这就是科学家们正在研究的东西！
他们用一种叫做肌电图（EMG）的技术来捕捉你手臂上的肌肉信号。就像你在听音乐一样，这些信号就像是音乐的节拍，告诉游戏角色该怎么动。科学家们开发了一种新的方法，可以更快、更准确地解码这些信号，让游戏角色的动作更加流畅。
这个新方法不仅可以用在游戏里，还可以帮助那些需要假肢的人。他们可以通过动动手臂上的肌肉来控制假肢，就像控制自己的手一样自然。这项技术还可以用于虚拟现实，让你在虚拟世界里自由探索，而不需要任何笨重的设备。
不过，这项技术也有一些挑战，比如不同人的肌肉信号可能不一样，所以科学家们还在努力让它变得更好。未来，我们可能会看到更多这样的酷炫技术，让我们的生活变得更加方便和有趣！
术语表
肌电图 (EMG)
肌电图是一种记录肌肉活动的技术，通过在皮肤上放置电极来测量肌肉的电信号。这些信号可以用于推断手部和手指的运动。
在本文中，EMG用于捕捉前臂肌肉的活动，以解码手指的运动。
Riemann特征
Riemann特征是基于Riemann几何的特征提取方法，用于捕捉信号中的协方差模式。这种方法能够更好地表示复杂的生物信号。
本文中使用Riemann特征来提取EMG信号中的信息，以提高解码精度。
递归神经网络 (RNN)
递归神经网络是一种用于处理序列数据的神经网络结构，能够捕捉时间序列中的动态模式。
本文中使用RNN来处理EMG信号序列，以预测手指的运动。
GRU
GRU是一种递归神经网络的变体，具有较少的参数和更快的训练速度，适用于实时应用。
本文中使用GRU来构建轻量级的TRR模型，以实现实时手指运动解码。
协方差矩阵
协方差矩阵是一种用于描述多个变量之间关系的矩阵，能够捕捉信号中的联合激活模式。
本文中使用协方差矩阵来表示EMG信号中的肌肉激活模式。
欧几里得切空间
欧几里得切空间是Riemann流形的一种线性近似，允许在复杂的几何结构上进行简单的线性操作。
本文中将协方差矩阵从Riemann流形投影到欧几里得切空间，以简化计算。
数据集 (Dataset)
数据集是用于训练和评估机器学习模型的数据集合，通常包含输入信号和对应的标签。
本文中使用EMG-FK数据集和emg2pose基准测试来评估模型性能。
基准测试 (Benchmark)
基准测试是一种用于评估算法或模型性能的标准测试，通常用于比较不同方法的优劣。
本文中使用emg2pose基准测试来验证TRR模型的性能。
实时推断
实时推断是指在数据流入的同时进行预测和决策，要求模型具有快速的计算能力。
本文中展示了TRR模型在Raspberry Pi 5上的实时推断能力。
跨受试者评估
跨受试者评估是一种评估模型在不同个体间泛化能力的方法，通常用于测试模型的鲁棒性。
本文中使用跨受试者评估来验证TRR模型的泛化性能。
开放问题 这项研究留下的未解疑问
- 1 如何进一步提高TRR模型在跨受试者配置中的性能？尽管TRR在受试者内表现出色，但由于EMG信号的个体差异，跨受试者性能仍有提升空间。需要开发更鲁棒的特征提取方法和模型结构，以减少个体差异对性能的影响。
- 2 如何在实际应用中提高运动捕捉的精度？环境光照和摄像头位置可能影响运动捕捉的精度，特别是在非实验室环境中。需要开发更鲁棒的运动捕捉技术，以适应不同的应用场景。
- 3 如何减少数据采集过程中的参与者疲劳？长时间的手指运动可能导致参与者疲劳，从而影响数据质量。需要开发更高效的数据采集方法，以减少参与者的负担。
- 4 如何扩展TRR模型以适应不同的手部运动场景？当前的研究主要集中在右手的无约束运动，未来需要验证模型在其他手部运动场景中的通用性。
- 5 如何在嵌入式设备上进一步优化TRR模型的实时性？尽管TRR在Raspberry Pi 5上实现了实时推断，但仍需优化模型的计算效率，以适应更广泛的嵌入式应用。
应用场景
近期应用
手部假肢控制
TRR模型可以用于手部假肢的自然控制，通过解码肌电信号来实现手指的精确运动。这将帮助失去手部功能的人更好地进行日常活动。
AR/XR接口
在增强现实和扩展现实中，TRR模型可以用于手势识别，提供更自然的用户交互体验，减少对传统输入设备的依赖。
远程操作
TRR模型可以用于远程操作系统，通过解码操作者的手部运动来控制远程设备，实现更精确的操作。
远期愿景
智能家居控制
未来，TRR模型可以用于智能家居系统，通过手势识别来控制家电设备，实现更便捷的家庭自动化。
医疗康复
TRR模型可以用于医疗康复领域，通过监测患者的手部运动来提供实时反馈，帮助患者进行更有效的康复训练。
原文摘要
Continuous estimation of high-dimensional finger kinematics from forearm surface electromyography (EMG) could enable natural control for hand prostheses, AR/XR interfaces, and teleoperation. However, the complexity of human hand gestures and the entanglement of forearm muscles make accurate recognition intrinsically challenging. Existing approaches typically reduce task complexity by relying on classification-based machine learning, limiting the controllable degrees of freedom and compromising on natural interaction. We present an end-to-end framework for continuous EMG-to-kinematics regression using only consumer-grade hardware. The framework combines an 8-channel EMG armband, a single webcam, and an automatic synchronization procedure, enabling the collection of the EMG Finger-Kinematics dataset (EMG-FK), a 10-h dataset of synchronized EMG and 15 finger joint angles from 20 participants performing rich, unconstrained right-hand motions. We also introduce the Temporal Riemannian Regressor (TRR), a lightweight GRU-based model that uses sequences of multi-band Riemannian covariance features to decode finger motion. Across EMG-FK and the public emg2pose benchmark, TRR outperforms state-of-the-art methods in both intra- and cross-subject evaluation. On EMG-FK, it reaches an average absolute error of $9.79 °\pm 1.48$ in intra-subject and $16.71 °\pm 3.97$ in cross-subject. Finally, we demonstrate real-time deployment on a Raspberry Pi 5 and intuitive control of a robotic hand; TRR runs at nearly 10 predictions/s and is roughly an order of magnitude faster than state-of-the-art approaches. Together, these contributions lower the barrier to reproducible, real-time EMG-based decoding of high-dimensional finger motion, and pave the way toward more natural and intuitive control of embedded EMG-based systems.
参考文献 (20)
Simultaneous Estimation of Hand Joints’ Angles Toward sEMG-Driven Human–Robot Interaction
Wang Hai, Tao Qing, Sushkova Na 等
emg2pose: A Large and Diverse Benchmark for Surface Electromyographic Hand Pose Estimation
Sasha Salter, Richard Warren, Collin Schlager 等
Estimating finger joint angles on surface EMG using Manifold Learning and Long Short-Term Memory with Attention mechanism
Cries Avian, Setya Widyawan Prakosa, Muhamad Faisal 等
Linear non-conservative unsupervised domain adaptation for cross-subject EMG gesture recognition
Martin Colot, C. Simar, A. C. Alvarez 等
Machine learning for hand pose classification from phasic and tonic EMG signals during bimanual activities in virtual reality
C. Simar, Martin Colot, A. Cebolla 等
Accurate Continuous Prediction of 14 Degrees of Freedom of the Hand from Myoelectrical Signals through Convolutive Deep Learning
Raul C. Sîmpetru, M. Osswald, Dominik I. Braun 等
Design of upper limb prosthesis using real-time motion detection method based on EMG signal processing
N. N. Unanyan, A. Belov
Virtual/Augmented Reality for Rehabilitation Applications Using Electromyography as Control/Biofeedback: Systematic Literature Review
C. Toledo-Peral, G. Vega-Martínez, J. A. Mercado-Gutiérrez 等
Gaussian mixture regression on symmetric positive definite matrices manifolds: Application to wrist motion estimation with sEMG
Noémie Jaquier, S. Calinon
LEAP Hand: Low-Cost, Efficient, and Anthropomorphic Hand for Robot Learning
Kenneth Shaw, Ananye Agarwal, Deepak Pathak
NeuroPose: 3D Hand Pose Tracking using EMG Wearables
Yilin Liu, Shijia Zhang, Mahanth K. Gowda
Sign Language Recognition Using the Electromyographic Signal: A Systematic Literature Review
Amina Ben Haj Amor, Oussama El Ghoul, Mohamed Jemni
A general model based on Riemannian manifold for stable decoding movement trajectory from ECoG signals
Reza Eyvazpour, B. Farrokhi, Abbas Erfanian
Hand Tracking for Immersive Virtual Reality: Opportunities and Challenges
G. Buckingham
Maestro: An EMG-driven assistive hand exoskeleton for spinal cord injury patients
Youngmok Yun, Sarah Dancausse, Paria Esmatloo 等
A deep Kalman filter network for hand kinematics estimation using sEMG
Tianzhe Bao, Yihui Zhao, Syed Ali Raza Zaidi 等
Teleoperated robotic arm movement using electromyography signal with wearable Myo armband
Hussein F. Hassan, S. Abou-Loukh, I. Ibraheem
Classification of covariance matrices using a Riemannian-based kernel for BCI applications
A. Barachant, S. Bonnet, M. Congedo 等
Effect of User Practice on Prosthetic Finger Control With an Intuitive Myoelectric Decoder
Agamemnon Krasoulis, S. Vijayakumar, K. Nazarpour
Finger Angle Estimation From Array EMG System Using Linear Regression Model With Independent Component Analysis
S. Stapornchaisit, Yeongdae Kim, Atsushi Takagi 等