人体下肢运动协调模型
张羽中, 柳世强, 张俊昌, 朱荣    
清华大学 精密仪器系, 精密测试技术及仪器国家重点实验室, 北京 100084
摘要:人体在行走、奔跑等运动时,在运动神经中枢的支配下,下肢运动存在一定的协调关系。这种协调性是生物进化和后天学习的结果,它使人体运动更加灵活、高效。研究健康人体的下肢运动协调性对于中风病人的康复治疗、足式机器人的步态规划、外骨骼机器人等助力设备的人机协同控制等领域具有重要意义。目前人体下肢协调性的研究仍比较初级,多停留在现象分析和理论表述,缺少准确实用的建模方法。该文利用可穿戴运动捕捉系统对人体下肢在行走和奔跑时的运动协调性进行测量和分析,基于神经网络模型提出大小腿运动协调性的建模方法。实验结果证明了大小腿运动协调模型的存在,基于该模型,可根据小腿的运动信息准确预估大腿和膝关节的运动信息。该研究结果可应用于康复医疗、机器人步态规划、智能助力设备等领域,将积极促进相关领域技术进步。
关键词人体运动分析    运动协调    神经网络    可穿戴运动传感器    
Coordination model for human lower limb motion
ZHANG Yuzhong, LIU Shiqiang, ZHANG Junchang, ZHU Rong    
State Key Laboratory of Precision Measurement Technology and Instruments, Department of Precision Instruments and Mechanology, Tsinghua University, Beijing 100084, China
Abstract: When a human is walking or running, the coordinated relationship between the movements of the thigh and shank are controlled by the motor nerve system. This relationship between the parts of the lower limb is the result of evolution and experience, which makes human movement more flexible and efficient. Research on the coordination of the lower limbs for healthy people facilitates rehabilitation of stroke patients, robot gait planning, and human-machine collaboration of assistive equipment such as exoskeletons. At present, the research on the coordination of human lower limb motion is still relatively basic, mostly focusing on observations and theoretical analyses, with few practical models. This study used a wearable motion capture system to measure and model the motion relationships of the lower limbs for human walking and running. A neural network model was then developed to characterize the coordination of the thigh and shank. This model accurately predicts the motion of the thigh and the knee joint from the shank movement information. This motion model can be used for rehabilitation, robot gait planning, intelligent assisting equipment and other related fields.
Key words: human motion    limb motion coordination    neural networks    wearable motion capture system    

人体在行走、奔跑等运动时,在运动神经中枢的支配下,下肢运动存在一定的协调关系。这种协调性是生物进化和后天学习的结果,它使人体运动更加灵活、高效。人体运动协调性的研究,在人体生理学、体育竞技、康复医疗、动画制作、机器人等[1-2]领域的应用中具有重要意义。

近三十年来,许多研究者对人体下肢运动协调的现象进行了研究和分析。Borghese等[3]首次描述了分段运动协调模式的规律,由于平面约束,下肢运动时的自由度(degree of freedom, DOF)由3个减少到2个。Barliya等[4]针对人体下肢运动给出了平面运动方向和平面运动规律,并用解析的方法简单描述了肢体的相互作用关系;Aprigliano等[5]研究了人体协调运动受到扰动后,肢体可以很快地恢复协调运动,运动协调模型不受干扰的影响。以上这些研究虽然建立了解析模型,但基本都是对协调现象的观察和分析,无法指导实际的工程应用。此外,在人体步态控制、行走跑步、肢体协调、肌肉耗能监测、机器人自适应控制等方面[6-9],都需要应用确定性的人体运动协调关系。

为了得到人体下肢运动协调模型,需要对下肢大小腿进行运动捕捉并建立数学模型。人体下肢大小腿运动协调关系是一个复杂非线性系统模型,而神经网络系统适用于映射复杂非线性关系模型。本文采用可穿戴运动传感器采集人体运动信息,利用神经网络模型,建模下肢各节段之间的自然肢体协调关系。

本文首先建立了单个体的个性化神经网络模型,利用该模型描述不同受试者的下肢运动协调关系。在此协调模型的基础上,通过添加各个受试者之间的差异信息如身高、体重、年龄等,以实现多个体之间的统一协调模型。实验结果表明,通过数据样本的训练,建立了大小腿之间的运动协调关系,并可由小腿的运动信息推导大腿关节的角度信息,为实现大小腿之间的协调控制提供传感信息。人肢体运动协调模型的建立为康复医疗、机器人步态规划、智能助力设备等领域的研究提供了一种技术解决方案。

1 实验方法 1.1 人体下肢运动捕捉

可穿戴运动捕捉技术比光学运动捕捉方法轻便、易用、成本低、无遮挡问题且不受环境限制,已被应用于人体运动监测和分析[10-12]。目前最常用的可穿戴运动捕捉技术基于惯性传感方案,速度、姿态测量依赖于积分,在长期连续动态运动监测中存在累积漂移等瓶颈问题。已有研究提出了一种基于三维运动速度传感和惯性传感组合的新型可穿戴运动捕捉模块,有效解决了常规惯性方法的瓶颈问题,可实现速度、加速度、角速度、姿态等运动信息的长期无偏监测[13-17]。因此,本文使用这种新型运动捕捉模块测量人体下肢运动。

这种可穿戴运动捕捉模块使用2个正交布置的微型流量传感器实现三维速度测量。微型流量传感器由3根位于中心位置的曲桥状铂金Pt导线和3根位于外围的环形Pt导线组成,通过溅射和光刻工艺制备在聚酰亚胺PI基底上[18-21],中心Pt导线称为热膜,用于表面流场检测,外环Pt导线称为冷膜,用于补偿环境温度。传感器原理为中心Pt导线被电加热,在传感器表面形成热场,在运动过程中,传感器的运动产生了表面气流吹过热区,使得热场发生偏移,被3根热膜检测,从而检测出二维运动的速度和方向,2个垂直放置的微流量传感器可以测量三维运动的速度和方向。该模块将三维速度测量与惯性传感(MIMU)组合,其运动信息解算无积分,最终实现了速度、加速度、角度、角速度等信息的无偏测量。

1.2 基于神经网络的下肢运动协调模型

本文首先研究了单个体下肢运动协调模型的建模方法。对于人体下肢而言,大腿较小腿更靠近躯干,即更靠近人体质心。在已知远端肢体——小腿运动信息的情况下,如小腿运动速度、加速度、倾角(即俯仰角)、角速度等,根据逆运动学原理可求解近端肢体——大腿的运动。这里使用3层BP (back propagation)神经网络模型对下肢大小腿的运动协调关系进行建模,该协调模型就是以上逆运动学模型的近似,而且有效避免了逆运动学求解计算量大、容易局部收敛等问题。另外,膝关节角作为大小腿之间的夹角,是运动康复训练[22]、足式机器人步态控制等应用中必需的下肢运动信息。因此,在基于BP网络模型的下肢协调建模过程中,本文选择小腿运动信息(踝关节位置三轴速度(vxvyvz)、三轴加速度(axayaz)、小腿倾角(θs)、角速度数据(ωs))作为模型输入,膝关节角(θk,大小腿倾角之差)作为模型输出,如图 1所示。神经网络模型选择单隐层网络,通过网络优化,最终选择隐层的神经元个数为40个,训练采用Levenberg-Marquardt算法。

图 1 单个体下肢运动神经网络模型

对于多个体而言,由于个体差异(如身高、体重、年龄等),下肢协调关系因人而易。因此,分别建立各个个体的模型只能适用于个体本身,不具有通用性和普适性,无法适用于复杂的应用场景。针对这一问题,本文设想在考虑个体差异的基础上,人体下肢运动协调具有一定的相似性。因此,本文在运动信息的基础上引入个体参数(身高、体重、年龄),尝试建立适用于不同个体的通用下肢协调模型。该通用模型同样使用3层BP神经网络建模,模型输入为小腿运动运动信息(踝关节位置三轴速度(vxvyvz)、三轴加速度(axayaz)、小腿倾角(θs)、角速度数据(ωs))和个体差异信息(身高(m)、体重(kg)、年龄(y)),输出为膝关节角(θk),如图 2所示。神经网络模型与单个体一致,为单隐层、40个神经元的神经网络模型。

图 2 多个体下肢运动神经网络模型

2 实验结果与分析 2.1 单个体下肢运动协调分析与建模

本文采用实验室自研的可穿戴运动传感器进行下肢运动的测量。实验中将可穿戴运动传感器固定在人体大腿、小腿位置,进行大小腿的速度、角度信息采集,实验如图 3所示。实验中受试者年龄38岁,身高170 cm,体重75 kg,有较好的运动能力,受试者在跑步机上以2~6 m/s的不同速度进行跑步运动,采集受试者的运动数据,利用神经网络模型进行该名受试者的大小腿运动协调关系模拟和分析。实验中受试者分别进行3次独立的跑步测试,用前2次测试的样本进行神经网络模型的训练,用第3次测试的样本进行验证。

图 3 可穿戴运动传感器大小腿运动捕获

针对单个体的大小腿运动协调关系分析,首先建立该受试者的下肢协调神经网络模型,输入数据为踝关节位置的三轴速度、三轴加速度、角度、角速度数据,输出为膝关节的角度。然后采用建立的下肢协调模型对实际下肢运动进行预测,并将模型预测结果与实测结果进行比对,结果如图 4所示。

图 4 实测大腿姿态角与协调模型输出分析

图 4结果可以看出,所建立的下肢神经网络协调模型其预测的结果与实测数据吻合一致性较好,均方根误差(RMSE)为1.29°。结果表明,单个体大小腿运动之间存在协调关系模型。该模型可由小腿的运动信息推断大腿的速度信息或者加速度信息,实现大腿速度、加速度信息的预测。

2.2 多个体通用下肢运动协调模型

在单个体模型建立的基础上,本文尝试分析了不同个体间运动协调模型的一致性,力图建立针对多个体的统一运动协调模型。实验方法如下:10名受试者分别在跑步机上以2.0、3.0、4.0和5.0 m/s的速度跑步,记录受试者的大小腿运动数据[23-24]。数据样本根据受试者编号分为sub01到sub10共10名受试者的不同组样本,每组样本中包含2.0、3.0、4.0和5.0 m/s 4次大小腿运动样本。其中一名受试者运动关节角信息如图 5所示。10名受试者均为男性,平均年龄、身高、体重分别为(29±5)岁、(1.77±0.04) m、(70.9±7.0) kg。每个受试者都是有经验的长跑运动员,每周至少跑50 km。其中,7名受试者为足球中后卫,3名受试者为足球前锋。

图 5 受试者人体运动中不同速度的关节角度变化

首先将单个体神经网络模型直接应用于多个体建模中,输入信息为踝关节位置的三轴速度、三轴加速度、角度、角速度数据,输出信息为膝关节的角度数据。多个体协调模型训练采用sub01到sub08、sub10的样本数据进行统一协调模型的训练,采用sub09样本对建立的统一协调模型进行测试和评估,神经网络模型预测结果如图 6所示。

图 6 多个体的大小腿运动协调模型分析

从实验结果看,sub09的样本模型预测的结果与实测数据的吻合结果较好,RMSE为3.89°,表明多个体之间在个体差异(比如身体素质、体征等方面差异)较小时,存在统一的大小腿运动协调模型。由于sub01到sub08、sub10和sub09均为体育运动员,具有相近的身体素质和体征,因此他们之间的运动协调规律相似。

当个体的差异较大时,就需要考虑个体差异的影响;或者为了减小受试者个体的差异影响,需要在神经网络模型中引入个体差异的数据,添加个体身高、体重、年龄的输入数据,减小因个体身高、年龄、体重等因素的影响。为此,本文尝试进一步减小sub01到sub010多个体运动协调模型之间的差异,在下肢运动协调模型的输入信息中,除了踝关节位置的三轴速度、三轴加速度、角度、角速度,进一步增加年龄、身高、体重的个人信息,输出信息仍然为膝关节的角度,从而建立起多个体的通用协调模型。

数据样本采用受试者编号分为sub01到sub10共10名受试者的运动测试样本,样本中增加身高、年龄、体重的个体参数信息,采用sub01到sub08、sub10的样本数据进行统一运动协调模型的训练,采用sub09的样本数据对建立的统一运动协调模型进行测试和评估,神经网络模型预测结果如图 7所示。

图 7 考虑个体差异的大小腿运动协调模型

从实验结果看,加入个人信息的sub09样本模型预测的结果与实测数据的吻合结果,相比于不考虑个人信息的模型预测结果精度有了提高,均方根误差为2.49°,表明多个体之间存在一定的个体差异,在添加了年龄、身高、体重等个人信息,大小腿运动协调模型的精准度得到提高。

2.3 分析与讨论

各个样本训练结果见表 1。单个体的下肢协调模型预测的均方根误差为1.29°,多个体的下肢协调模型预测的均方根误差为3.89°,针对多个体考虑个体差异的情况下,其下肢协调模型预测的均方根误差为2.49°,表明添加了个体信息的多个体协调模型与单个体的协调模型在同一水平上。人体下肢运动协调模型在考虑个体差异情况下,通过增加个体的年龄、身高、体重等信息,减少了个体差异所带来了的运动协调模型不一致问题,从而建立了适用于多个体的统一下肢运动协调模型。

表 1 人体运动协调模型结果分析
序号 训练样本 均值(ME) 均方根误差(RMSE)
1 单个体* 0.199 1.29
2 多个体** 0.899 3.89
3 多个体(考虑个体信息) 0.147 2.49
注:*单个体训练样本来源于可穿戴运动传感器;**多个体训练样本来源于文献[23-24]。

本文建立的多个体下肢运动协调模型不仅适用于多个体,同时还具有可扩展性,可通过添加不同人群的特征信息,如身体素质、职业等信息,从而建立适应不同人群的协调模型。多个体下肢协调模型通过增加不限于身高、体重、年龄的更多个体信息,从而可建立起适用范围更大的统一协调模型。

3 结论

本文使用可穿戴运动捕捉系统对人体下肢在行走和奔跑时的运动协调性进行了测量和分析,基于神经网络模型提出大小腿运动协调性的建模方法。实验结果证明了大小腿运动协调模型的存在,基于该模型,可根据小腿的运动信息准确预估大腿和膝关节的运动信息。该研究可应用于康复医疗、机器人步态规划、智能助力设备等领域,可积极促进相关领域技术进步。

参考文献
[1]
KIM J, LEE G, HEIMGARTNER R, et al. Reducing the metabolic rate of walking and running with a versatile, portable exosuit[J]. Science, 2019, 365(6454): 668-672. DOI:10.1126/science.aav7536
[2]
LACQUANITI F, GRASSO R, ZAGO M. Motor patterns in walking[J]. News in Physiological Sciences, 1999, 14(4): 168-174.
[3]
BORGHESE N A, BIANCHI L, LACQUANITI F. Kinematic determinants of human locomotion[J]. Journal of Physiology: A Publication of the Physioloical Society, 1996, 494(3): 863-879.
[4]
BARLIYA A, OMLOR L, GIESE M A, et al. An analytical formulation of the law of intersegmental coordination during human locomotion[J]. Experimental Brain Research, 2009, 193(3): 371-385. DOI:10.1007/s00221-008-1633-0
[5]
APRIGLIANO F, MARTELLI D, TROPEA P, et al. Aging does not affect the intralimb coordination elicited by slip-like perturbation of different intensities[J]. Journal of Neurophysiology, 2017, 118(3): 1739-1748. DOI:10.1152/jn.00844.2016
[6]
VILLARREAL D J, POONAWALA H A, GREGG R D. A robust parameterization of human gait patterns across phase-shifting perturbations[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2017, 25(3): 265-278. DOI:10.1109/TNSRE.2016.2569019
[7]
FUJIKI S, AOI S, FUNATO T, et al. Adaptation mechanism of interlimb coordination in human split-belt treadmill walking through learning of foot contact timing: A robotics study[J]. Journal of the Royal Society Interface, 2015, 12(110): 20150542. DOI:10.1098/rsif.2015.0542
[8]
AOI S, MANOONPONG P, AMBE Y, et al. Adaptive control strategies for interlimb coordination in legged robots: A review[J]. Frontiers in Neurorobotics, 2017, 11(8): 39.
[9]
ZAJAC F E, NEPTUNE R R, KAUTZ S A. Biomechanics and muscle coordination of human walking: Part Ⅰ: Introduction to concepts, power transfer, dynamics and simulations[J]. Gait & Posture, 2002, 16(3): 215-232.
[10]
SOUSA A S P, TAVARES J M R S. Interlimb coordination during step-to-step transition and gait performance[J]. Journal of Motor Behavior, 2015, 47(6): 563-574. DOI:10.1080/00222895.2015.1023391
[11]
SATO Y, YAMADA N. Interlimb coordination of ground reaction forces during double stance phase at fast walking speed[J]. Advances in Physical Education, 2018, 8(2): 263-273. DOI:10.4236/ape.2018.82024
[12]
DING Y, KIM M, KUINDERSMA S, et al. Human-in-the-loop optimization of hip assistance with a soft exosuit during walking[J]. Science Robotics, 2018, 3(15): eaar5438. DOI:10.1126/scirobotics.aar5438
[13]
ZHANG J C, LIU S Q, ZHANG Y Z, et al. A method to extract motion velocities of limb and trunk in human locomotion[J]. IEEE Access, 2020(8): 120553-120561.
[14]
LIU S Q, ZHANG J C, ZHU R. A wearable human motion tracking device using micro flow sensor incorporating a micro accelerometer[J]. IEEE Transactions on Biomedical Engineering, 2020, 67(4): 940-948. DOI:10.1109/TBME.2019.2924689
[15]
ZHANG J C, LIU S Q, ZHU R. Motion velocity, acceleration and energy expenditure estimation using micro flow sensor[J]. IEEE Access, 2019(7): 75901-75909.
[16]
LIU S Q, ZHANG J C, LI G Z, et al. A wearable flow-MIMU device for monitoring human dynamic motion[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2020, 28(3): 637-645. DOI:10.1109/TNSRE.2020.2971762
[17]
LIU S Q, ZHANG J C, ZHANG Y Z, et al. A wearable motion capture device able to detect dynamic motion of human limbs[J]. Nature Communications, 2020, 11(1): 5615. DOI:10.1038/s41467-020-19424-2
[18]
QUE R Y, ZHU R. A compact flexible thermal flow sensor for detecting two-dimensional flow vector[J]. IEEE Sensors Journal, 2015, 15(3): 1931-1936. DOI:10.1109/JSEN.2014.2367017
[19]
LIU P, ZHU R, QUE R Y. A flexible flow sensor system and its characteristics for fluid mechanics measurements[J]. Sensors, 2009, 9(12): 9533-9543. DOI:10.3390/s91209533
[20]
ZHAO S, JIANG P, ZHU R, et al. Wearable anemometer for 2D wind detection[C]//2016 IEEE Sensors. Orlando, USA: IEEE, 2016: 1-3.
[21]
LI G Z, ZHAO S, ZHU R. Wearable anemometer with multi-sensing of wind absolute orientation, wind speed, attitude, and heading[J]. IEEE Sensors Journal, 2019, 19(1): 297-303. DOI:10.1109/JSEN.2018.2874809
[22]
SEITERLE S, SUSKO T, ARTEMIADIS P K, et al. Interlimb coordination in body-weight supported locomotion: A pilot study[J]. Journal of Biomechanics, 2015, 48(11): 2837-2843. DOI:10.1016/j.jbiomech.2015.04.042
[23]
HAMNER S R, DELP S L. Muscle contributions to fore-aft and vertical body mass center accelerations over a range of running speeds[J]. Journal of Biomechanics, 2013, 46(4): 780-787. DOI:10.1016/j.jbiomech.2012.11.024
[24]
LIU M Q, ANDERSON F C, SCHWARTZ M H, et al. Muscle contributions to support and progression over a range of walking speeds[J]. Journal of Biomechanics, 2008, 41(15): 3243-3252. DOI:10.1016/j.jbiomech.2008.07.031