-
近年来针对脊髓损伤引起的运动能力损伤患者的下肢外骨骼机器人引起了学术研究和商业上的广泛关注。根据世界卫生组织的数据,目前全世界每年新增250 000~500 000脊髓损伤患者[1]。脊髓损伤的患者比正常人寿命减少的可能性要高出两到五倍,并且这种情况在低收入和中等收入国家中尤为突出。故而帮助因为脊髓损伤导致行动能力缺失的患者重获基本的运动能力是为患者本身和社会做出的巨大贡献。
随着技术的不断进步,出现了一些针对脊髓损伤患者的下肢外骨骼机器人[2-3],其中MindWalker[4-5]、ATLAS[6]、ReWalk[7]、和Elegs[8]下肢外骨骼机器人在帮助脊髓损伤患者重新获得运动能力方面取得了不错的成果。上述下肢外骨骼机器人的控制方案基本是采用有限状态机(finite-state machine, FSM)结构结合关节电机伺服预定义曲线的方式工作。此类外骨骼机器人的穿戴者通过人机交互接口手动控制外骨骼机器人进入不同的任务状态,如站立、行走、起来和坐下等。对于这些外骨骼机器人而言,“何时”并且“如何”为穿戴者提供帮助是最为关键的问题。理想情况下,外骨骼机器人按照穿戴者的意图运动,成为穿戴者身体的一部分,这将会使穿戴者感觉不到外骨骼机器人的存在。然而当前的外骨骼机器中大部分需要直接获取穿戴者的指令,并按照指令执行预定义的动作。此外,对外骨骼机器人的误操作,可能会导致严重的人身安全事故。
综上所述,外骨骼机器人识别穿戴者真正运动意图的人机交互接口尤为重要,良好用户接口能为穿戴者提供更好的体验效果。HAL系统[9]利用肌电信号识别穿戴者的运动意图和计算人体关节的力矩大小,但是对于大多数截瘫患者而言,其腿部的肌电信号微弱,因此测量难度较大。还有一些外骨骼机器人利用其脚底压力和上身姿态信息通过经验公式区分出穿戴者的运动意图[4-8]。上面所描述的外骨骼机器人意图识别方法都存在一些不足,即对不同穿戴者适应性低和需要重新训练数据并修改经验公式的参数。针对这些问题,本文提出一种新的下肢外骨骼机器人意图识别方法。首先,搭建了一个拥有多种传感器和多个关节主动驱动的下肢外骨骼机器人AIDER。其次,根据压力鞋提供的信息计算出零力矩点ZMP[10]作为主要特征信息,在此基础上融合其他的传感器特征信息用作穿戴者意图识别的在线学习数据。最后结合有限状态机的框架采用在线支撑矢量机的机器学习算法[11](online SVM)学习并预测运动意图。该方法在下肢外骨骼机器人系统AIDER上实现,验证了本文的方法能有效地检测出穿戴者运动意图,为穿戴者提供良好的人机交互体验。
-
依据上文所述,有限状态机从一个状态到另一个状态的切换需要穿戴者的行走意图作为触发。该意图可以基于经验公式利用行走过程中显著的运动特征信息进行意图的检测,但是这些方案都存在适应性差的问题,即同一组经验公式参数不适用于差异较大的不同穿戴者。针对上述问题,本文提出一种基于机器学习的方式——在线支撑矢量机(Online SVM),在线学习穿戴者的意图,并依据学习得到的模型进行意图的预测。在训练数据的特征选择上本文不直接使用传感器的原始信息,而是采用ZMP作为训练数据的重要特征,提高了模型学习的速度与准确度。
-
AIDER有多个不同类型的传感器,可以为意图检测提供大量的实时数据。这些数据可以作为行走的特征向量(features),在行走过程中用户采用拐杖部分的按钮输入意图信息来控制外骨骼进行行走,拐杖按钮记录的意图信息就是数据的标签(labels)。为了让外骨骼迅速适配不同的使用者,采用在线训练的策略,与离线策略相比较,在线策略不需要保存并传输数据到服务器上进行运算。
但是对于运行在外骨骼机器人的控制平台上(嵌入式平台上)的在线学习算法,其运算速度受数据维度的影响较大。所以要从原始数据中选择特定的数据进行融合,穿戴者在使用外骨骼时不能用自身的腿主动带动外骨骼进行移动,外骨骼机器人必须驱动自身连杆带动穿戴者的腿进行移动。因此下肢外骨骼机器人作为一个人机紧密耦合的系统,可以被近似建模成人形机器人。图 7为行走的外骨骼与穿戴者共同行走的过程就是从稳定(单腿支撑)到临界稳定(支撑腿切换过程)再到稳定的过程。作为人形机器人行走稳定性的重要指标,零力矩点(ZMP)对于判断人体的意图具有显著性。ZMP的概念由文献[10]提出,可以利用ZMP来判断人形机器人的稳定性,该概念通常用于很多双足人形机器人的稳定性判断。除了ZMP的数据之外,为获得准确的人体意图,本文还采用外骨骼的关节的数据、IMU采集的姿态、旋转速度等数据作为特征。
-
ZMP可以通过两种方法获取:1)通过地面反作用力的数据获取;2)通过逆动力学模型获取。从ZMP的概念中,垂直作用力的和为:
$$ {f_z} = \int_s {\rho (\delta , \xi ){\rm{d}}S} $$ (1) 式中,是地面的向量;$\rho (\delta , \xi ) $是垂直作用在$\mathit{\boldsymbol{r}} $这一点单位面积上的力。在点的力矩为${\tau _n}(\mathit{\boldsymbol{p}}) $,其在$ x$轴、$ y$轴和$ z$轴方向的分量分别为:
$$ {\tau _{nx}} = \int_S {(\delta - {p_x})\rho (\delta , \xi ){\rm{d}}S} $$ (2) $$ {\tau _{ny}} = \int_S {(\xi - {p_y})\rho (\delta , \xi ){\rm{d}}S} $$ (3) $$ {\tau _{nz}} = 0 $$ (4) 在ZMP中,$ {\tau _{nx}} = 0$,$ {\tau _{ny}} = 0$,因为$ \rho (\delta , \xi )$是脚上反作用力的分布,所以$ \mathit{\boldsymbol{p}}$点也是压力中心(COP),其中$ \mathit{\boldsymbol{p}}$点在平面$ x$轴和$ y$轴方向的分量分别为:
$$ {p_x} = \frac{{\int_S {\delta \rho (\delta , \xi )} }}{{\int_S {\rho (\delta , \xi )} }} $$ (5) $$ {p_y} = \frac{{\int_S {\delta \rho (\delta , \xi )} }}{{\int_S {\rho (\delta , \xi )} }} $$ (6) 计算出整个系统的ZMP在平面$x $轴和$ y$轴方向的分量分别为:
$$ {\rm{ZM}}{{\rm{P}}_x} = \frac{{\sum\limits_{i = 1}^{14} {p_i^x{f_i}} }}{{\sum\limits_{i = 1}^{14} {{f_i}} }} $$ (7) $$ {\rm{ZM}}{{\rm{P}}_y} = \frac{{\sum\limits_{i = 1}^{14} {p_i^y{f_i}} }}{{\sum\limits_{i = 1}^{14} {{f_i}} }} $$ (8) 为了获取ZMP,本文设计了一双内嵌MCU和多个力传感器的压力鞋。分析正常成年人行走过程如图 8所示,图中“1”为金属面板,“2”为内嵌的力传感器,“3”为橡胶鞋底。在压力鞋的橡胶鞋底和上表面的金属面板之间安装了7个力传感器,用于获取行走过程中脚上反作用力的分布情况。
-
本文采用了在线机器学习在线支撑向量机算法,通过采集人体的运动信息与意图指令,学习意图模型,并用其判断人体的行走意图。支撑向量机(SVM)已经被广泛应用于各种领域并解决了大量的问题,可以找出其最优超平面,并以最大几何距离对数据进行分类,有:
$$ {\rm{max}}\frac{1}{{\left\| \mathit{\boldsymbol{w}} \right\|}}, \quad \begin{array}{*{20}{c}} {{\rm{s}}{\rm{.t}}.}&{{y_i}({\mathit{\boldsymbol{w}}^{\rm{T}}}{\mathit{\boldsymbol{x}}_i} + b) \ge 1, \quad i = 1, 2, \cdots , n} \end{array} $$ (9) SVM可以处理线性不可分离的数据。在线SVM[10]被提出用以解决训练数据不断增加情况下的分类问题。如图 8所示,行走过程中,穿戴者的意图着重于是否迈步。使用在线SVM的方法,几个步态周期后外骨骼机器人就能快速适应不同穿戴者做出准确的意图判断:
$$ {\rm{max}}\frac{1}{{\left\| \mathit{\boldsymbol{w}} \right\|}}, \quad \begin{array}{*{20}{c}} {{\rm{s}}{\rm{.t}}.}&{{y_i}({\mathit{\boldsymbol{w}}^{\rm{T}}}{\mathit{\boldsymbol{x}}_i} + b) \ge 1, \quad i = 1, 2, \cdots , n} \end{array} $$ (10) 或者:
$$ {\rm{min}}{\left\| \mathit{\boldsymbol{w}} \right\|^2}, \begin{array}{*{20}{c}} {\quad {\rm{s}}{\rm{.t}}{\rm{.}}}&{{y_i}({\mathit{\boldsymbol{w}}^{\rm{T}}}{\mathit{\boldsymbol{x}}_i} + b) \ge 1, \quad i = 1, 2, \cdots , n} \end{array} $$ (11) 式中,$ {y_i}$是每个数据点$ {x_i}$的标签;$ n$是数据的大小。然后可以得到一个单位形式的目标函数和拉格朗日对偶性的约束条件。最大间隔的双重问题为:
$$ L(\mathit{\boldsymbol{w}}, b, \alpha ) = \frac{1}{2}{\left\| \mathit{\boldsymbol{w}} \right\|^2} - \sum\limits_{i = 1}^n {{\alpha _i}({y_i}({\mathit{\boldsymbol{w}}^{\rm{T}}}{\mathit{\boldsymbol{x}}_i} + b) - 1)} $$ (12) 式中,$ {\alpha _i}$表示拉格朗日乘子。对于线性不可分的数据,不能在原始的特征控制中直接找出超平面。但是可以通过一些适当的非线性函数将原始特征空间映射到另一个维度远远超过原空间的新的特征空间,并且在新的特征空间里找到一个线性超平面来分离数据。使用核函数SVM可以高效地处理这种情况,$ {\mathit{\boldsymbol{x}}_i}$和$ {\mathit{\boldsymbol{x}}_i}$的核函数为:
$$ K({\mathit{\boldsymbol{x}}_i}, {\mathit{\boldsymbol{x}}_j}) = \left\langle {\phi ({\mathit{\boldsymbol{x}}_i}), \phi ({\mathit{\boldsymbol{x}}_j})} \right\rangle $$ (13) 式中,$K $是核函数;$\phi $是特征$\mathit{\boldsymbol{X}} $的非线性映射函数,并且$K $可以表示为$\phi ({\mathit{\boldsymbol{x}}_i}) $和$\phi ({\mathit{\boldsymbol{x}}_j}) $的内积,$\phi ({\mathit{\boldsymbol{x}}_i}) $和$\phi ({\mathit{\boldsymbol{x}}_j}) $是从原始特征空间到新特征空间的映射。常用的有如下几种核函数:
1) 线性核函数:
$$ K({\mathit{\boldsymbol{x}}_1}, {\mathit{\boldsymbol{x}}_2}) = \left\langle {{\mathit{\boldsymbol{x}}_1}, {\mathit{\boldsymbol{x}}_2}} \right\rangle $$ (14) 2) 多项式核函数:
$$ K({\mathit{\boldsymbol{x}}_1}, {\mathit{\boldsymbol{x}}_2}) = {(\left\langle {{\mathit{\boldsymbol{x}}_1}, {\mathit{\boldsymbol{x}}_2}} \right\rangle + R)^d} $$ (15) 式中,$ R$为常数;$ d$为多项式最大阶数。
3) 高斯核函:
$$ K({{\mathit{\boldsymbol{x}}}_{1}}, {{\mathit{\boldsymbol{x}}}_{2}})=\exp ({-1{{\left\| {{\mathit{\boldsymbol{x}}}_{1}}-{{\mathit{\boldsymbol{x}}}_{2}} \right\|}^{2}}}/{2}\;{{\sigma }^{2}}) $$ (16) 式中,$ \sigma $可用于控制从原始特征空间映射到新特征空间的维度。
Intention Recognition for Lower-Limb Exoskeleton
-
摘要: 下肢外骨骼机器人能让截瘫患者一定程度上恢复站立、行走等一些运动能力。其作为一种人机耦合的系统,人机交互接口(HMI)扮演着重要的角色。准确地获取穿戴者(截瘫患者)的运动意图,是下肢外骨骼机器人研发的主要挑战。针对当前意图识别主要采用手动阈值判断的方式,该文提出了一种利用机器人零力矩点(ZMP)特征,并基于支撑矢量机(online SVM)检测穿戴者运动意图的在线学习算法。最后在实际系统上完成该算法的验证。Abstract: Lower limb exoskeletons enable paraplegics to regain some degree of locomotion ability, i.e., standing and walking. As a human machine system, the human machine interface (HMI) play an important role. The ideal lower limb exoskeleton for paralyzed people can move following the intention of pilot. To achieve it, many kinds of HMI systems are designed. However, for many exoskeletons, manual operation is still necessary for controlling the exoskeleton. In this paper, we designed and implemented an intention recognition method which is able to detect human motion intention. With the detected intention, exoskeleton can be controlled automatically as will of pilot. In this method, zero moment point (ZMP) is chosen as one of features of human intention and an online machine learning algorithm (online SVM) is used to learn intention online. Experiments in real systems show the effectiveness and advantages of our proposed method.
-
Key words:
- exoskeleton /
- dynamics model /
- intention recognition /
- machine learning /
- zero moment point(ZMP)
-
[1] World Health Organization. Spinal cord injury[EB/OL]. [2017-05-06]. http://www.who.int/mediacentre/factsheets/fs384/en/, 2017, Jul. [2] YAN T, CEMPINI M, ODDO C M, et al. Review of assistive strategies in powered lower-limb orthoses and exoskeletons[J]. Robotics & Autonomous Systems, 2015, 64:120-136. [3] HUO W, MOHAMMED S, MORENO J C, et al. Lower limb wearable robots for assistance and rehabilitation:a state of the art[J]. IEEE Systems Journal, 2017, 10(3):1068-1081. http://ieeexplore.ieee.org/document/6930719 [4] WANG L, WANG S, ASSELDONK E H F V, et al. Actively controlled lateral gait assistance in a lower limb exoskeleton[C]//Conference on IEEE/RSJ International Intelligent Robots and Systems. [S. l. ]: IEEE, 2013: 965-970. [5] WANG S, WANG L, MEIJNEKE C, et al. Design and control of the MindWalker exoskeleton[J]. IEEE Transactions on Neural Systems & Rehabilitation Engineering A Publication of the IEEE Engineering in Medicine & Biology Society, 2015, 23(2):277-286. [6] SANZ-MERODIO D, CESTARI M, AREVALO J C, et al. A lower-limb exoskeleton for gait assistance in quadriplegia[C]//Conference on IEEE International Robotics and Biomimetics. [S. l. ]: IEEE, 2012: 122-127. [7] TALATY M, ESQUENAZI A, BRICENO J E. Differentiating ability in users of the ReWalkTM powered exoskeleton: an analysis of walking kinematics[C]//Conference on IEEE International Rehabilitation Robotics. [S. l. ]: IEEE, 2013: 6650469. [8] STRAUSSER K A, KAZEROONI H. The development and testing of a human machine interface for a mobile medical exoskeleton[C]//Conference on IEEE/RSJ International Intelligent Robots and Systems. [S. l. ]: IEEE, 2011: 4911-4916. [9] HAYASHI T, KAWAMOTO H, SANKAI Y. Control method of robot suit HAL working as operator's muscle using biological and dynamical information[C]//Conference on IEEE/RSJ International Intelligent Robots and Systems. [S. l. ]: IEEE, 2005: 3063-3068. [10] VUKOBRATOVIĆ M, BOROVAC B. Zero-moment point-thirty five years of its life[J]. International Journal of Humanoid Robotics, 2004, 1(1):157-173. http://www.cs.cmu.edu/~cga/legs/vukobratovic.pdf [11] CAUWENBERGHS G, POGGIO T. Incremental and decremental support vector machine learning[C]//Conference on International Neural Information Processing Systems. [S. l. ]: MIT Press, 2000: 388-394.