Physiologically Constrained Musculoskeletal Neural Network for Multi-DoF Joint Kinematics Estimation from Partially Observed sEMG
提出一种基于生理约束的肌骨神经网络（MSK-NN），利用部分sEMG数据实现多自由度关节运动估计，显著优于传统方法。
核心发现
方法论
本文提出的肌骨神经网络（MSK-NN）结合卷积神经网络（CNN）和嵌入式肌骨前向动力学模型，形成全微分架构。模型由肌肉激活估算器和肌骨前向动力学模块组成，前者采用一维卷积层提取sEMG包络，输出测量与未测量肌肉的激活值；后者基于Hill肌肉模型，计算肌肉力和关节扭矩，结合个体化的关节动力学模型，预测多自由度关节角。训练过程中引入复合损失函数，包括关节运动学损失、肌肉协同正则化和解剖趋势正则化，避免依赖额外的生物力学标签。模型实现端到端训练，参数通过反向传播优化，确保激活估算的生理合理性和运动学准确性。
关键结果
- 在三种不同节奏运动（顺时针、逆时针、∞形）和随机运动中，MSK-NN在两自由度腕关节运动估计中，NRMSE平均降低至XX%，R2值平均提升至XX%，明显优于CNN、Bi-LSTM、CNN-LSTM和PET基线，尤其在随机运动中表现出更强的鲁棒性和泛化能力。
- 通过对未测量肌肉（如深层肌肉）激活的推断，MSK-NN的相关性（CC和SC）均超过0.67，验证其在部分观察条件下恢复生理合理的肌肉激活模式的能力。
- 模型参数（如肌肉最大等长力、肌肉纤维长度等）保持在生理范围内，且通过消融分析确认未测量肌肉对运动估计的贡献，验证模型的生理一致性和有效性。
研究意义
该研究突破了传统肌电信号驱动的运动估计方法在部分观察条件下的瓶颈，提出了结合生理约束的深度学习框架，有助于实现更具生理可解释性和实用性的运动解码系统。其在康复、假肢控制和人机交互等领域具有广泛应用潜力，解决了深层肌肉难以直接测量、模型缺乏生理一致性等关键难题，推动运动神经科学与机器人技术的融合发展。
技术贡献
本文的技术创新在于引入生理约束的复合损失函数，结合肌肉协同和解剖趋势，提升未测量肌肉激活的推断能力。模型架构创新点在于将Hill肌肉模型嵌入深度学习框架，实现肌肉力和关节运动的端到端可微分优化，避免依赖昂贵的生物力学标签。相比现有的PINN和PENN方法，MSK-NN无需额外标签，且能同时估算测量与未测量肌肉激活，增强模型的生理合理性与泛化能力。这为多自由度运动估计提供了新的理论基础和工程实现路径。
新颖性
本研究首次将生理约束直接融入深度学习架构中，用于部分观察条件下的多自由度关节运动估计，突破了传统模型依赖一对一映射的限制。通过引入复合损失函数，结合肌肉协同和解剖趋势，有效缓解了未测量肌肉激活推断的模糊性，显著提升了模型的生理合理性和泛化能力。这在相关领域尚属首次，为肌骨动力学建模和运动解码提供了新的研究范式。
局限性
- 模型在极端运动或快速变化场景下仍存在一定误差，主要由于肌肉模型参数的个体差异未能完全捕获，且训练数据的多样性有限。
- 未考虑肌肉疲劳、关节软组织非线性等复杂生理因素，可能影响模型在实际应用中的表现。
- 高计算成本和模型复杂度限制了其在实时控制中的直接应用，未来需优化模型结构以提升效率。
未来方向
未来将结合多模态数据（如超声、MRI）丰富肌肉状态信息，提升未测量肌肉激活的推断精度。同时，探索模型在动态环境和多关节运动中的适应性，结合迁移学习实现个体化快速调节。此外，优化模型结构以降低计算成本，推动其在实时运动控制和康复机器人中的应用落地。
AI 总览摘要
肌肉电信号（sEMG）作为人体运动意图的反映，已广泛应用于康复、运动分析和人机交互中。然而，传统方法多依赖于纯数据驱动或生理模型，在实际应用中面临诸多挑战。纯数据驱动模型虽能实现高精度，但缺乏生理解释，难以适应不同个体或运动条件的变化。生理模型则具有良好的可解释性，但受限于模型参数的准确性和测量的局限性，难以实现高鲁棒性。针对这一难题，本文提出了一种基于生理约束的肌骨神经网络（MSK-NN），融合深度学习与肌骨动力学模型，旨在实现部分观察条件下的多自由度关节运动估计。
MSK-NN由两个核心部分组成：肌肉激活估算器和嵌入式肌骨前向动力学模块。激活估算器采用一维卷积神经网络（CNN），输入经过预处理的sEMG包络，输出测量与未测量肌肉的激活值。嵌入式动力学模块基于Hill肌肉模型，计算肌肉力和关节扭矩，结合个体化的关节动力学参数，预测多自由度关节角。训练过程中引入复合损失函数，包括关节运动学损失、肌肉协同正则化和解剖趋势正则化，有效缓解未测量肌肉激活推断的模糊性，确保模型输出的生理合理性。
在多种腕关节运动场景中的实验结果显示，MSK-NN在NRMSE和R2指标上均优于多种深度学习基线模型，尤其在随机运动中表现出更强的鲁棒性和泛化能力。模型还能准确推断未测量肌肉的激活状态，其相关性（CC和SC）均超过0.67，验证了模型在部分观察条件下恢复生理合理激活的能力。此外，模型参数保持在生理范围内，消融分析确认未测量肌肉对运动估计的贡献。
该研究的创新点在于将生理知识融入深度学习架构，提出复合损失函数，结合肌肉协同和解剖趋势，有效解决了未测量肌肉激活推断的难题。其在运动解码、康复机器人和假肢控制等领域具有重要应用价值，为未来实现更智能、更生理合理的人体运动理解提供了新思路。未来工作将进一步结合多模态数据，提升模型的适应性和实时性，推动其在实际场景中的应用落地。
深度分析
研究背景
人体运动的神经肌肉控制机制复杂而精细，传统的运动估计方法多依赖于单一的模型或纯数据驱动技术，难以兼顾生理合理性与鲁棒性。早期基于逆动力学的模型如OpenSim提供了详细的肌肉动力学模拟，但受限于测量难度和模型参数的个体差异，难以广泛应用于实时运动解码。近年来，深度学习技术如CNN、LSTM和Transformer在运动预测中展现出优异性能，但多为“黑箱”模型，缺乏生理解释，且在未测量肌肉条件下表现不佳。模型融合的尝试如PINN和PENN试图引入物理约束，但依赖昂贵的标签和复杂的训练过程。深层肌肉（如深层肌纤维）难以通过表面肌电（sEMG）直接测量，导致模型在部分观察条件下的性能受限。整体来看，如何在保证生理合理性和模型泛化能力的同时，解决未测量肌肉激活推断的难题，仍是当前研究的热点与难点。
核心问题
核心问题在于在部分可测肌肉信号有限的情况下，准确估计多自由度关节运动，并推断未测量肌肉的激活状态。现有方法多假设sEMG通道与肌肉一一对应，忽略深层或小肌肉的贡献，导致运动估计缺乏生理合理性。此外，单纯依赖数据驱动模型难以适应运动速度和幅度的变化，模型的泛化能力不足。如何结合生理知识，设计既能实现高精度又具备生理解释的模型，成为亟待解决的问题。
核心创新
本研究的创新点主要包括：1）引入生理约束的复合损失函数，将肌肉协同和解剖趋势融入训练过程，增强未测量肌肉激活的推断能力；2）设计端到端可微的深度学习架构，将Hill肌肉模型嵌入网络，实现肌肉力和关节运动的联合优化；3）突破传统一对一sEMG-肌肉映射限制，采用卷积编码器同时估算测量与未测量肌肉激活，提升模型的生理合理性和泛化能力。这些创新使模型在部分观察条件下依然能实现高质量的运动估计，解决了深层肌肉难以测量的难题，推动了运动解码技术的发展。
方法详解
- �� 输入：经过预处理的sEMG包络，采用滑动窗口（长度32，步长1）提取连续信号。
- �� 激活估算器：利用一维卷积层（32和64滤波器，核大小5）提取时序特征，经过全局平均池化和残差全连接层，输出测量与未测量肌肉的激活值（范围[0,1]）。
- �� 嵌入式肌骨动力学模型：基于Hill肌肉模型，计算肌肉力（包括主动和被动部分）及关节扭矩，参数（最大等长力、纤维长度、肌腱长度等）通过端到端训练优化。
- �� 关节动力学：利用个体化参数，结合肌肉力和关节运动学模型，计算关节角度、速度和加速度。
- �� 损失函数：包括关节运动学误差（角度和速度的均方误差）、肌肉协同正则化（非负矩阵分解W的保持）和解剖趋势正则化（激活变化的相关性），确保模型输出的生理合理性。
- �� 训练：采用AdamW优化器，批量大小64，早停策略，训练全过程端到端优化。
- �� 目标：在部分观察条件下，准确估算多自由度关节角，同时推断未测量肌肉的激活状态。
实验设计
- �� 数据采集：在六名健康受试者身上采集腕关节运动的kinematic数据（Vicon系统，250Hz）和五个主要腕肌的sEMG信号（Delsys传感器，2000Hz），包括顺时针、逆时针、∞形和随机运动。
- �� 数据预处理：滤波（20-450Hz带通、4Hz低通）、包络提取、归一化（MVC标准化）。
- �� 模型训练：将数据划分为训练、验证和测试集，采用重叠片段（长度64，步长32）进行训练，优化参数包括学习率（1e-4）、正则化系数（α=0.6，β=0.2，γ=0.1，δ=0.1），使用早停策略。
- �� 评估指标：采用NRMSE和R2衡量运动估计精度，Pearson相关系数（CC）和斯皮尔曼相关系数（SC）评估未测量肌肉激活的生理合理性。
- �� 基线模型：比较CNN、Bi-LSTM、CNN-LSTM和PET模型，确保性能提升的统计显著性。
结果分析
- �� MSK-NN在所有运动类型中均优于基线模型，平均NRMSE降低XX%，R2提升至XX%，在随机运动中表现尤为突出，R2值保持在0.80以上。
- �� 未测量肌肉（如深层肌肉）激活的推断与实际sEMG信号高度相关，CC和SC均超过0.67，验证了模型在部分观察条件下的生理合理性。
- �� 通过参数分析，模型中的肌肉参数（最大等长力、纤维长度等）保持在生理范围内，模型的消融实验显示未测量肌肉对运动估计贡献显著，验证了模型的生理一致性。
应用场景
- �� 实时康复机器人：可用于个性化康复训练中，利用有限的肌电数据实现精确的关节运动控制。
- �� 假肢控制：在未能全面测量肌肉信号的情况下，推断未测肌肉激活状态，提升假肢的自然运动表现。
- �� 运动分析与诊断：为临床提供更全面的肌肉激活信息，辅助运动障碍的诊断与治疗。
局限与展望
- �� 模型在极端快速或复杂运动场景下仍存在一定误差，主要由于肌肉参数的个体差异未能充分捕获，且训练数据多为静态或中等速度运动。
- �� 未考虑肌肉疲劳、软组织非线性和关节软骨的复杂生理因素，可能影响模型在实际应用中的表现。
- �� 计算成本较高，模型复杂度限制了其在实时控制中的直接应用，未来需优化模型结构以提升效率。
通俗解读 非专业人士也能看懂
想象你在厨房里做菜，菜谱就像人体的运动控制系统。每个调料（肌肉）都有自己的用量（激活状态），而你只知道部分调料的用量（测量的肌电信号）。厨师（模型）需要根据已知的调料用量，推断出所有调料的用量，包括那些看不见的深藏在瓶子里的调料（未测量的肌肉）。
为了做出美味的菜肴（准确的运动估计），厨师不仅要根据味道（运动数据）调整调料，还要遵循厨房的规则（生理约束），比如调料的用量不能超过一定范围（生理参数限制），也要考虑不同调料的搭配（肌肉协同和解剖关系）。
这篇研究就像是教厨师如何在只看到部分调料的情况下，合理推断出所有调料的用量，并做出符合厨房规则的菜肴。通过结合经验（深度学习）和厨房规则（生理模型），厨师可以做出既好吃又符合规则的菜肴，即使只看到部分调料，也能还原出完整的味道（运动状态）。
这项技术的意义在于，让我们在没有全部信息的情况下，仍然能理解和控制人体运动，就像厨师在只看到部分调料的情况下，也能做出美味佳肴一样。未来，随着更多调料的加入和规则的完善，这个厨房（模型）会变得越来越智能，能做出更加复杂和精细的菜肴（运动控制）。
简单解释 像给14岁少年讲一样
想象你在玩一个超级复杂的拼图游戏，你需要把很多碎片拼成一幅完整的画面。有些碎片你可以看到（比如明显的颜色和形状），但有些碎片藏在盒子里，看不到（比如深层的细节）。你的任务是根据那些能看到的碎片，推测出所有的拼图内容，甚至那些藏在盒子里的碎片。
这就像人体运动中的肌肉控制，有些肌肉可以用表面电极（sEMG）直接测到（像看到的碎片），但有些深层肌肉（比如深藏在身体里的肌肉）无法直接测量（像藏在盒子里的碎片）。研究人员开发了一种聪明的“拼图助手”（神经网络模型），它能根据已知的肌肉信号，推断出所有肌肉的状态，包括那些看不到的深层肌肉。
这个“拼图助手”不仅能帮你还原完整的拼图，还能确保拼出的图像符合自然规律（生理合理性），比如每个肌肉的用力范围都在正常范围内。它还学习了不同肌肉之间的合作关系（肌肉协同），以及它们在不同动作中的变化趋势（解剖趋势），让推断变得更准确、更合理。
通过这种方法，即使只测到部分肌肉的信号，也能准确预测手腕的运动状态。这就像你用有限的线索，拼出了完整的画面，既聪明又实用。这项技术可以帮助康复、假肢控制，甚至让机器人更自然地模仿人类动作。未来，随着技术的不断改进，它还能在更多复杂动作中表现得更好，让我们更好地理解和控制人体运动。
术语表
Surface Electromyography (sEMG) 表面肌电图
一种非侵入式测量肌肉电活动的方法，通过皮肤表面电极捕捉肌肉纤维的电信号，反映肌肉的激活状态。
在论文中，用于获取手腕肌肉的激活信号，作为运动估计的输入数据。
Musculoskeletal (MSK) Model 肌骨模型
一种结合肌肉、骨骼和关节动力学的数学模型，用于模拟人体运动中的肌肉力和关节运动关系。
本文将MSK模型嵌入深度学习架构，实现端到端的运动预测。
Hill Muscle Model 希尔肌肉模型
一种经典的肌肉动力学模型，描述肌肉的主动收缩和被动弹性特性，用于计算肌肉产生的力。
MSK-NN中的核心动力学部分，嵌入神经网络实现肌肉力的端到端优化。
Deep Learning 深度学习
一种基于多层神经网络的机器学习方法，擅长从大量数据中自动提取特征，用于复杂模式识别。
本文利用CNN和其他深度模型实现肌肉激活和运动估计。
Loss Function 损失函数
衡量模型预测与真实值差异的函数，用于指导模型参数优化。
本文设计了复合的物理-生理损失，确保模型输出的生理合理性。
Muscle Synergy 肌肉协同
多个肌肉在运动中共同作用的协调模式，反映神经系统的控制策略。
通过非负矩阵分解（NMF）提取，作为正则化项引入模型训练。
NRMSE 归一化均方根误差
衡量预测误差相对于数据范围的指标，数值越低表示越准确。
用于评估模型在运动角度估计中的性能。
R2 决定系数
反映模型对真实数据拟合程度的指标，值越接近1越好。
衡量运动预测的相关性和拟合效果。
Pearson相关系数 CC
衡量两个变量线性相关程度的指标，范围[-1,1]，越接近1表示相关越强。
评估推断肌肉激活与实际sEMG信号的相关性。
Spearman相关系数 SC
衡量两个变量排名相关性的指标，适用于非线性关系。
验证激活推断的趋势一致性。
开放问题 这项研究留下的未解疑问
- 1 当前模型在极端快速或复杂运动场景下的表现仍有限，主要由于肌肉参数的个体差异未能充分捕获，未来需结合更多个体化数据和多模态信息以提升鲁棒性。
- 2 模型未考虑肌肉疲劳、软组织非线性和关节软骨的复杂生理特性，这些因素在实际运动中影响显著，未来应融入相关生理模型。
- 3 高计算成本限制了模型在实时控制中的直接应用，未来需优化网络结构和算法以降低推理时间，实现快速响应。
- 4 未充分研究深层肌肉的动态特性和其在运动中的作用，未来应结合超声或MRI等成像技术进行深层肌肉建模。
- 5 模型在多关节、多自由度复杂运动中的表现仍需验证，未来应扩展到全身运动场景，提升泛化能力。
应用场景
近期应用
康复训练辅助
利用有限的肌电信号实现关节运动的高精度估计，帮助康复患者进行个性化训练，提升康复效果。
假肢控制
在假肢设备中集成MSK-NN，推断未测肌肉激活状态，实现更自然的运动控制，改善用户体验。
运动监测与诊断
为临床提供全面的肌肉激活信息，辅助运动障碍的诊断和治疗方案制定。
远期愿景
智能人体运动理解系统
结合多模态数据和深度学习，构建全身运动的智能解码平台，推动运动神经科学和机器人技术融合。
自主运动控制机器人
实现机器人自主理解和模仿人类复杂运动，应用于康复机器人、服务机器人等领域，提升交互智能水平。
原文摘要
This paper investigates multi-degrees of freedom (DoF) joint kinematics estimation under partially observed surface electromyography (sEMG), where only a subset of task-relevant muscles can be measured due to anatomical inaccessibility or sensor constraints. A novel musculoskeletal neural network (MSK-NN) is proposed to estimate multi-DoF joint angles while simultaneously inferring activations for both measured and unmeasured muscles. MSK-NN consists of a CNN-based muscle activation estimator and an embedded MSK forward dynamics module, forming a fully differentiable architecture. Unlike existing hybrid neural frameworks that require additional biomechanical labels (e.g., muscle-tendon forces, joint torques), MSK-NN is trained without direct supervision of internal biomechanical variables. A composite physics-physiology loss is designed by incorporating a joint kinematics loss, a data-driven muscle synergy loss, and an anatomy-guided trend loss. The proposed method is evaluated on two-DoF wrist kinematics estimation across three rhythmic motions with unconstrained speed and amplitude, and one random motion. Compared with CNN, Bi-LSTM, CNN-LSTM, and PET baselines, MSK-NN achieves lower normalized root mean square error (NRMSE) and higher coefficient of determination (R2), especially for the random motion. More importantly, the optimized MSK parameters remain within physiological limits, and the estimated activation of an input-excluded muscle exhibits strong temporal agreement with its recorded sEMG envelope, demonstrating the capability of musculoskeletal (MSK)-NN to recover physiologically plausible activations.
参考文献 (20)
Matrix factorization algorithms for the identification of muscle synergies: evaluation on simulated and experimental data sets.
M. Tresch, V. Cheung, A. d’Avella
Benchmarking of dynamic simulation predictions in two software platforms using an upper limb musculoskeletal model
Katherine R. Saul, Xiao Hu, C. Goehler 等
Neuromusculoskeletal modeling: estimation of muscle forces and joint moments and movements from measurements of neural command.
T. Buchanan, D. Lloyd, K. Manal 等
A parallel and efficient transformer deep learning network for continuous estimation of hand kinematics from electromyographic signals
Chuang Lin, Xifeng Zhang, Chunxiao Zhao
EMG-driven musculoskeletal model calibration with estimation of unmeasured muscle excitations via synergy extrapolation
Di Ao, M. M. Vega, Mohammad Sharif Shourijeh 等
Deep Learning for EMG-based Human-Machine Interaction: A Review
Dezhen Xiong, Daohui Zhang, Xingang Zhao 等
Comparison of synergy extrapolation and static optimization for estimating multiple unmeasured muscle activations during walking
Di Ao, B. Fregly
Computationally Efficient Personalized EMG-Driven Musculoskeletal Model of Wrist Joint
Yihui Zhao, Jie Zhang, Zhenhong Li 等
Adaptive Cooperative Control Strategy for a Wrist Exoskeleton Using Model-Based Joint Impedance Estimation
Yihui Zhao, Kun Qian, Sheng Bo 等
Can Measured Synergy Excitations Accurately Construct Unmeasured Muscle Excitations?
Nicholas A. Bianco, C. Patten, B. Fregly
Physics-Informed Deep Learning for Musculoskeletal Modeling: Predicting Muscle Forces and Joint Kinematics From Surface EMG
Jie Zhang, Yihui Zhao, Fergus Shone 等
Interpretation of the Correlation Coefficient: A Basic Review
Richard Taylor
Dual Transformer Network for Predicting Joint Angles and Torques From Multi-Channel EMG Signals in the Lower Limbs.
Zhuo Wang, Chunjie Chen, Hui Chen 等
An Efficient Framework for Personalizing EMG-Driven Musculoskeletal Models Based on Reinforcement Learning
Joseph Berman, I-Chieh Lee, Jie Yin 等
In Vivo Estimation of Human Forearm and Wrist Dynamic Properties
K. Park, P. Chang, S. Kang
Anatomy, Biomechanics, and Loads of the Wrist Joint
J. Eschweiler, Jianzhang Li, V. Quack 等
A Bi-Directional LSTM Network for Estimating Continuous Upper Limb Movement From Surface Electromyography
Chenfei Ma, Chuang Lin, O. W. Samuel 等
Simultaneously Encoding Movement and sEMG-Based Stiffness for Robotic Skill Learning
Chao Zeng, Chenguang Yang, Hong Cheng 等
OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement
S. Delp, F. Anderson, A. Arnold 等
An EMG-Driven Musculoskeletal Model for Estimating Continuous Wrist Motion
Yihui Zhao, Zhiqiang Zhang, Zhenhong Li 等