-
研究表明,脑卒中已成为全球第二大致死病因,成人第一大致残病因。其中,近80%的脑卒中存活者会发生不同程度的肢体功能运动障碍,导致生活不能自理,严重影响人们的日常生活活动能力以及生活质量[1-4]。脑卒中后及时有效的康复训练有助于患者运动功能恢复以及脑功能重塑[5]。传统的康复治疗手段主要是通过康复治疗师手动或采用一些简单的仪器设备对患者进行一对一的康复训练。在康复治疗师数量、康复效率及医疗成本等方面均无法满足患者治疗需求。机器人系统具有特有的优势,可以克服康复治疗师紧缺以及人工康复耗时、昂贵的问题限制[6],因此,机器人辅助康复非常适用于康复训练并得到越来越广泛的研究[7]。自20世纪90年代末以来,就已经出现了大量有关中风后康复的机器人设备[8]。通过采用符合康复要求的辅助策略,来提供长期高强度的治疗性训练。截至目前,在这些机器人系统中,与人类手臂解剖结构相似并与患肢并行工作的上肢康复外骨骼机器人系统引起了广泛的研究兴趣[9]。
在众多上肢康复外骨骼机器人的研究中,控制策略是其中的核心技术,其科学性与人机融合性影响着康复效果。受患者康复治疗时间线的启发,定义了两类控制策略:一类是由于患者自身无法运动,需要机器人起引导运动作用的被动控制策略;一类是患者自身具有一定运动能力,由机器人起跟随运动作用的主动控制策略。康复治疗的过程可以分为三个时期:软瘫期、痉挛期以及恢复期。针对不同患病阶段的患者,需要设计与其需求相对应的控制策略。当患者处于软瘫期时,肌肉张力消失或者不足,自身难以提供力量完成康复运动;当处于痉挛期时,肌肉张力有所恢复,但状态不稳定容易痉挛多发;当处于恢复期时,肌肉力量逐渐恢复,患者具有了一定的运动能力。因此,被动控制策略可以在康复治疗的全过程发挥作用,主动控制策略则更加适用于康复治疗过程中的恢复期。由此可见,相较于传统机器人来说,上肢康复外骨骼机器人的控制增加了一定的复杂性,应用不同的控制策略将直接影响到控制系统的性能指标及康复效果。上肢康复外骨骼机器人系统的控制适应性、鲁棒性、准确性与柔顺性影响着辅助康复效果。所以,开发更高效的控制策略以辅助患者恢复运动能力将是当前外骨骼机器人系统发展的主要方向[10-11]。
本文从被动控制以及主动控制两方面综述了上肢康复外骨骼机器人的研究进展。阐述了不同控制方法应用于上肢康复外骨骼机器人中的情况,详细介绍了它们的特点与研究现状。此外,本文还提出了目前发展中潜在的应用与可能面临的挑战,最后对未来应用于上肢康复外骨骼机器人的控制方法进行展望。
-
当患者处于恢复期时,肢体肌肉力量增强,能够具有一定的运动能力。在这一时期要求上肢康复外骨骼机器人由初期的引导运动过渡到跟随运动,可以采用主动控制策略进行控制,包括阻抗/导纳控制、自适应控制、协调控制、智能控制等。
-
阻抗控制自Hogan提出以来[28],经过不断的研究发展,如今已经成为机器人领域的经典控制方法。阻抗控制可分为基于力的阻抗控制和基于位置的阻抗控制即导纳控制,且两者对偶。阻抗控制通过分析机器人末端与环境之间的动态关系将力控制与位置控制综合考虑起来,用相同的策略实现力控制和位置控制[29-32]。
文献[33]提出了一种利用生物信号对上肢康复外骨骼机器人进行自适应阻抗控制的方法。该方法通过建立人体上肢的参考骨骼肌肉模型,并进行实验校准,以匹配操作者的运动行为。采用阻抗算法通过肌电信号传输人体刚度,设计出最优的参考阻抗模型。除此之外,文献[34]针对所研制的外骨骼机器人,提出了一种自适应导纳控制框架来处理人体的运动意图以及机器人动力学模型未知的问题。该框架由双控制回路构成。利用内环以反馈的方式处理机器人动力学的未知质量和惯性矩,利用外环考虑人体运动意图来调整交互模型,利用自适应技术对内环中的未知动态进行处理,保证了外环执行任务的效果。实验表明,该导纳控制方法在人与机器人的物理交互任务中具有较好的控制性能,能够有效地实现人体对外骨骼机器人的导纳控制。
文献[35]设计了一个七自由度的上肢康复外骨骼机器人,为了实现被动训练与主动训练模式的自由切换,选用了基于模糊滑模导纳控制的控制策略。由导纳控制建立出患者和外骨骼之间的交互力以及康复训练轨迹调节量之间的动态关系。通过调整导纳参数,调节患者的训练过程,增强了人机交互的柔顺性,提高了患者治疗的参与程度。而另一组设计开发出一种新的上肢外骨骼患者协作控制框架,提出一种基于最小介入的导纳控制策略,来引导患者积极参与,并在训练中最大限度地利用恢复的运动功能。所开发的控制方法可以基于患者的运动能力转化为三种不同的控制模式,即人导模式、机器人辅助模式和运动受限模式,根据患者的运动意图调节不同工作区域的人机交互[36]。
-
在上肢康复外骨骼机器人的控制任务中,会出现被控系统具有参数不确定或参数未知变化等问题。自适应控制方法可以通过参数在线校正或估计解决这类问题。文献[37]考虑到动力学建模未知以及环境干扰等问题。在给定前臂位置期望轨迹的情况下,利用自适应模糊逼近器估计人与机器人系统的动态不确定性,并利用迭代学习方法对未知时变周期扰动进行补偿。该控制器不需要精确的外骨骼模型,在未知动力学模型的情况下,进行了3组对比实验。结果表明,使用所提出的控制器跟踪误差可以收敛得越来越小,而这一良好性能主要是由于“自适应”机制,验证了该控制方案的有效性。
文献[38]研究了具有五自由度的上肢康复外骨骼机器人,该机器人受到不确定动力学、干扰力矩、不可全状态测量和不同类型的驱动故障的影响。因此,提出了一种基于滑模控制策略的自适应非线性控制方案。方案将高增益状态观测器与动态高增益矩阵相结合,将模糊神经网络分别用于状态向量和非线性动态估计。利用动态参数,为同时处理模糊神经网络逼近误差、扰动力矩和驱动故障的影响提供了一种有效的方法。仿真表明,采用这一方法可以获得较低振幅的无抖振力矩,且具有响应快、跟踪精度高等优点。在接下来的研究中,将是对基于观测器的自适应容错控制器进行设计。
文献[39]提出了一种基于肌电信号的神经模糊外骨骼控制器的有效自适应控制。该控制过程分为3个阶段,分别是输入信号选择阶段、姿态区域选择阶段、神经模糊控制阶段。当外骨骼的使用者发生改变时,外骨骼的控制器必须使用所提出的适应策略来适应新使用者的物理和生理条件。控制器自适应采用用户指示其运动意图的运动指示器。该指示器可以有效地指示关节的各项运动和肘关节、肩关节的协同运动。同时,肌肉活动水平也在外骨骼的适应阶段根据用户的情况或康复阶段进行调整。通过实验验证了该自适应方法的科学有效性。
为了确保在参数不确定性和环境干扰下轨迹跟踪的准确性,文献[40]提出一种基于径向基函数网络的神经模糊自适应控制方案。通过李亚普诺夫稳定性理论,证明了该方案的稳定性。通过对一名健康受试者与两名脑卒中患者进行位置跟踪实验和频响实验表明,这一方法的提出比较级联PID控制器和模糊滑模控制器的控制性能,能够获得较低的位置跟踪误差和较好的频响特性。
文献[41]研究了输入饱和状态下上肢外骨骼的控制设计,提出了利用神经网络来近似不确定的机器人动力学的自适应控制器。采用辅助系统来处理输入饱和的影响,使用状态反馈和输出反馈从测量的反馈误差在线估计不确定性,代替了基于模型的控制。通过干扰观测器,在线抑制未知干扰,实现了轨迹跟踪。通过实验研究,证明了该方法的有效性。然而,实验中也显示出这些控制器在饱和较小时使用的局限性,所以在线学习控制方案有望在不久的将来被开发出来用以优化控制性能。
-
随着康复训练不断深入,患者需要外骨骼机器人提供的帮助会越来越少。为了响应被控对象性能随时间变化,提高人机交互的水平,提出了协调控制方法。
对于外骨骼机器人的协调研究,是为了增强机器人的行为能力,解决其运动控制方面的问题。考虑到患者恢复过程运动能力不断增强,其主观运动意图明显,这时要求控制方法的目的是调节运动过程中的协调效应,即控制各关节位置或相对于其他关节的速度,以保证上肢康复外骨骼机器人能够柔顺运动,不对人体造成二次伤害。文献[42]设计了一个双臂外骨骼系统,提出了非对称双手协调控制策略以执行协作操作,保证运动的柔顺性。
-
在人工智能飞速发展的大环境下,用于上肢康复外骨骼机器人的一些自身具有学习能力的智能控制方法逐渐得到研究人员的重视。例如神经网络控制方法、强化学习控制方法。
文献[43]提出了一种基于贪心神经网络控制器的神经损伤患者上肢康复训练方案。该控制模式包括一个基线控制器和一个高斯径向基函数网络,该网络用于模拟受试者的功能能力,并为受试者提供相应的任务挑战。为了鼓励受试者的主动参与,基于贪心策略对评价受试损伤程度的径向基函数网络的权向量进行更新,使受试提供的最大力量随时间的推移逐步被学习。同时,根据受试者的任务表现,采用挑战等级修正算法对任务挑战进行调整。通过实验表明,所提出的控制器对促进受试者在训练过程中的自愿参与度具有显著的潜力。然而,该工作仅使用平均误差作为评估受试者任务绩效的指标。如何对运动质量进行更准确的评估,例如是否可以通过对照临床试验来评估该控制方法的治疗效果,是未来的一个研究重点。
除神经网络控制方法之外,已有大量研究表明强化学习控制方法适用于上肢康复外骨骼机器人的控制。引入强化学习控制方法不但可以降低系统设计时,过多依赖于专家知识、先验知识、精确的训练样本以及示教信息等内容,还可以通过与被控对象间的交互,逐步优化系统的控制性能[44]。
强化学习是控制模拟上肢功能性电刺激系统的一种方法。文献[45]应用强化学习设计了一种用于外骨骼系统的非线性控制器。强化学习方法通过与环境的相互作用来学习,为了有效地利用收集到的数据,通过人工神经网络模型来模拟大量的经验片段。将该控制方案与PID控制比较,并对5名健康受试者在平面伸展实验中的表现进行比较。结果表明,两个控制器都正确地驱动手臂到目标位置,平均绝对误差<1°。但强化学习控制在整定时间、位置精度和平滑度方面明显优于PID控制。
文献[46]提出了一个机器人训练器的框架。它是用户自适应的,既不需要特定的期望轨迹,也不需要用户的运动系统的物理模型,通过使用无模型强化学习来实现这一点。在该研究中,采用了一种策略梯度类型的强化学习算法作为辅助机器人训练的核心。该学习算法的目标是使任务完成度最大化,同时使机器人的辅助力最小化。策略梯度方法的一个优点是可以选择对任务有意义的状态和策略表示并合并领域知识,这通常在学习过程中比基于值函数的方法需要更少的参数;另一个优点在于它是一种无模型方法。基于以上优点,该方法已应用于机器人学习研究中,包括人机交互研究。
文献[47]在2016年提出直接从用户和机器人之间的交互来学习辅助策略。将辅助策略的学习问题表述为策略搜索问题。为了减轻用户在数据获取方面的负担,开发了一个基于数据效率的模型强化学习框架。使用开发的实验平台,验证了该方法的有效性。对于机械臂辅助控制任务的学习实验,仅通过30 s的交互就可以获得实现机器人控制任务并减少用户肌电信号的适当辅助策略。
基于以上基础,文献[48]又在2017年对模型强化学习框架进行了丰富。在成本函数中并没有明确提供所需的轨迹,而是只考虑用户通过肌电信号测量的肌肉运动来学习辅助策略,使用户通过自己的意图动作来执行任务。由于肌电信号是通过用户自己的肌肉产生而不是机器人的协助来实现的,所以肌电信号可以被理解为当前协助的“成本”。将改进的方法应用到一自由度的外骨骼机器人上,并进行了一系列的实验。结果表明,该方法学习了正确的辅助策略,明确地考虑了用户和机器人之间的双向交互只有60 s,同时能够有效地处理机器人动力和运动轨迹的变化。对于上述的上肢康复训练系统的主要特征如表1所示。
表 1 智能控制上肢康复训练系统的主要特征
文献 名称 自由度 控制方法 验证实验 实验结果 [43] CASIA-ARM 2 神经网络控制 12名神经功能运动障碍受试者参与
伸展康复实验。验证了控制器的性能与可行性且确实刺激了
被试者的积极参与度。[45] right arm passive exoskeleton 3 强化学习控制 5名健康男性受试者进行平面
伸展运动实验。验证了强化学习在在整定时间、位置精度和平滑度方面明显优于PID控制。驱动运动更快且平滑自然,很少产生过冲。 [47] one-link rigid robot arm 1 强化学习控制 1名受试者试图通过EMG信号将模拟的机器人手臂移动到期望的角度。 验证了该方法在学习辅助策略方面的有效性。 [48] upper-limb elbow-joint exoskeleton robot 1 强化学习控制 受试者移动肘关节来跟踪目标
关节轨迹。该方法具有良好的样本效率,是学习辅助
策略的有效方法。到目前为止,临床研究还不能证明机器人治疗优于传统方法。根据个体的运动缺陷进行个性化的机器人辅助治疗可能有助于实现这一目标。因此,个性化控制这一智能控制方法开始广受关注[49]。
文献[50]提出了一种统计方法,自动个性化机器人康复。该方法使用不同的运动表现指标来评估运动改善并在治疗期间适应运动任务。将该方法在患者身上进行测试,结果与接受传统物理治疗的类似患者进行了比较。试验结果显示,使用个性化机器人方法训练的受试者在临床测试、运动学和肌肉活动方面有更好的结果。
文献[51]设计了一种基于患者定制方法的三维上肢康复机器人系统,它通过将患者包含在控制回路中,实时调整治疗特性以适应患者的需求。该系统由七自由度机器人手臂、自适应交互控制系统和患者性能评估模块组成。它通过一个不显眼的感知系统记录患者的生物力学数据,评估患者的生物力学状态,更新机器人的控制参数,以修改三维空间中的辅助水平和任务复杂性。通过对健康受试者进行实验,验证了该系统的可靠性,并提供了二维和三维空间的结果。
文献[52]考虑到如何优化上肢外骨骼康复机器人的效用,采用最陡梯度这一新的原则进行运动性能的选择。其原理是基于映射整个工作空间的运动性能,然后选择位于性能最好和最差之间最陡峭的过渡区域的运动。为了评估该原则的好处,进行了对照试验,分别比较了15次机器人辅助触达训练对两组因中风而患有中重度慢性上肢偏瘫患者上肢运动障碍的效果。与对照组相比,实验组有明显改善,但是实验也表明该方法更加适用短期训练。在未来的发展中,下一步将是评估较长时间的个性化培训以及这个原理是否适用于其他运动障碍例如步态运动,或者其他设备例如下肢外骨骼,甚至一些不需要辅助力的设备。
Research on the Control Methods of Upper Limb Rehabilitation Exoskeleton Robot
-
摘要: 上肢康复外骨骼机器人主要用于为上肢运动功能障碍患者提供科学有效的康复训练,以实现患肢运动功能恢复及日常生活自理。该文从控制策略的角度综述了近年来上肢康复外骨骼机器人的研究进展。首先,从不同时期的康复治疗需求的角度出发,对已有的控制策略进行主动、被动控制分类,并对不同的控制方法进行概述,分析了各控制方法的当前研究现状。最后,对上肢康复外骨骼机器人发展中一些关键的挑战进行讨论并展望了未来的研究方向。Abstract: The upper limb rehabilitation exoskeleton robot is mainly used to provide scientific and effective rehabilitation training for the patients with upper limb motor dysfunction. And, the patients could realize the recovery of motor function of the affected limb and to take care of themselves in daily life. This paper reviews the research progress in control strategy of upper limb exoskeleton robots in recent years. Firstly, according to the rehabilitation needs in different periods, the existing control strategies are classified into active and passive control. The different control methods are summarized. The current research status of each control method is pointed out. Finally, some key challenges of the upper limb rehabilitation exoskeleton robot are discussed, and the future research directions are proposed.
-
Key words:
- active control /
- control strategy /
- exoskeleton robot /
- passive control /
- upper limb rehabilitation
-
表 1 智能控制上肢康复训练系统的主要特征
文献 名称 自由度 控制方法 验证实验 实验结果 [43] CASIA-ARM 2 神经网络控制 12名神经功能运动障碍受试者参与
伸展康复实验。验证了控制器的性能与可行性且确实刺激了
被试者的积极参与度。[45] right arm passive exoskeleton 3 强化学习控制 5名健康男性受试者进行平面
伸展运动实验。验证了强化学习在在整定时间、位置精度和平滑度方面明显优于PID控制。驱动运动更快且平滑自然,很少产生过冲。 [47] one-link rigid robot arm 1 强化学习控制 1名受试者试图通过EMG信号将模拟的机器人手臂移动到期望的角度。 验证了该方法在学习辅助策略方面的有效性。 [48] upper-limb elbow-joint exoskeleton robot 1 强化学习控制 受试者移动肘关节来跟踪目标
关节轨迹。该方法具有良好的样本效率,是学习辅助
策略的有效方法。 -
[1] World Heath Organisation. The top 10 causes of death. [EB/OL]. (2018-01-10). http://www.who.int/mediacentre/factsheets/fs310/en/. [2] SHAHBAZI M, ATASHZAR S F, TAVAKOLI M, et al. Robotics-assisted mirror rehabilitation therapy: A therapist-in-the-loop assist-as-needed architecture[J]. IEEE/ASME Transactions on Mechatronics, 2016, 21(4): 1954-1965. doi: 10.1109/TMECH.2016.2551725 [3] MANDEVILLE R M, BROWN J M, SHEEAN G L. A neurophysiological approach to nerve transfer to restore upper limb function in cervical spinal cord injury[J]. Neurosurg Focus, 2017, 43(1): E6. doi: 10.3171/2017.5.FOCUS17245 [4] LAMERS I, MARIS A, SEVERIJNS D, et al. Upper limb rehabilitation in people with multiple sclerosis: a systematic review[J]. Neurorehabilitation and Neural Repair, 2016, 30(8): 773-793. doi: 10.1177/1545968315624785 [5] BRACKENRIDGE J, BRADNAM L V, LENNON S, et al. A review of rehabilitation devices to promote upper limb function following stroke[J]. Neuroscience and Biomedical Engineering, 2016, 4(1): 25-42. doi: 10.2174/2213385204666160303220102 [6] BLANK A A, FRENCH J A, PEHLIVAN A U. Current trends in robot-assisted upper-limb stroke rehabilitation: Promoting patient engagement in therapy[J]. Current Physical Medicine and Rehabilitation Reports, 2014, 2(3): 184-195. doi: 10.1007/s40141-014-0056-z [7] PRANGE G B, JANNINK M J A, GROOTHUIS-OUDSHOORN C G M, et al. Systematic review of the effect of robot-aided therapy on recovery of the hemiparetic arm after stroke[J]. The Journal of Rehabilitation Research and Development, 2006, 43(2): 171-184. doi: 10.1682/JRRD.2005.04.0076 [8] PROIETTI T, CROCHER V, ROBY-BRAMI A, et al. Upper-limb robotic exoskeletons for neurorehabilitation: A review on control strategies[J]. IEEE Reviews in Biomedical Engineering, 2016, 9: 4-14. doi: 10.1109/RBME.2016.2552201 [9] KLAMROTH-MARGANSKA V, BLANCO J, CAMPEN K, et al. Three-dimensional, task-specifific robot therapy of the arm after stroke: A multicentre, parallel-group randomised trial[J]. The Lancet Neurology, 2014, 13(2): 159-166. doi: 10.1016/S1474-4422(13)70305-3 [10] ATES S, HAARMAN C J W, STIENEN A H A. SCRIPT passive orthosis: Design of interactive hand and wrist exoskeleton for rehabilitation at home after stroke[J]. Autonomous Robots, 2017, 41(3): 711-723. doi: 10.1007/s10514-016-9589-6 [11] KANG Hao-bo, WANG Jian-hui. Adaptive robust control of 5 DOF upper-limb exoskeleton robot[J]. International Journal of Control Automation and Systems, 2015, 13: 733-741. doi: 10.1007/s12555-013-0389-x [12] RAHMAN M H, K-OUIMET T, SAAD M, et al. Tele-operation of a robotic exoskeleton for rehabilitation and passive arm movement assistance[C]//IEEE International Conference on Robotics and Biomimetics. Karon Beach: IEEE, 2011: 443-448. [13] YU Wen, ROSEN J. A novel linear PID controller for an upper limb exoskeleton[C]//49th IEEE Conference on Decision and Control. Atlanta: IEEE, 2011: 3548-3553. [14] YU Wen, ROSEN J. Neural PID control of robot manipulators with application to an upper limb exoskeleton[J]. IEEE Transactions on Cybernetics, 2013, 43(2): 673-684. doi: 10.1109/TSMCB.2012.2214381 [15] KUO T C, HUANG Y J. Neural network global sliding mode PID control for robot manipulators[J]. Lecture Notes in Engineering and Computer Science, 2007, 1: 1-5. [16] MADANI T, BOUBAKER D, DJOUANI K. Modular-controller-design-based fast terminal sliding mode for articulated exoskeleton systems[J]. IEEE Transactions on Control Systems Technology, 2017, 25(3): 1133-1140. doi: 10.1109/TCST.2016.2579603 [17] RIANI A, MADANI T, BENALLEGUE A, et al. Adaptive integral terminal sliding mode control for upper-limb rehabilitation exoskeleton[J]. Control Engineering Practice, 2018, 75: 108-117. doi: 10.1016/j.conengprac.2018.02.013 [18] YANG Peng. Disturbance observer-based terminal sliding mode control of a 5-DOF upper-limb exoskeleton robot[J]. IEEE Access, 2019, 7: 62833-62839. doi: 10.1109/ACCESS.2019.2911348 [19] WU Qing-cong, WANG Xing-song, DU Feng-po, et al. Modeling and position control of a therapeutic exoskeleton targeting upper extremity rehabilitation[J]. Archive Proceedings of the Institution of Mechanical Engineers Part C: Journal of Mechanical Engineering Science, 2016, DOI: 10.1177/0954406216668204. [20] RAHMANI M, RAHMAN M H. An upper-limb exoskeleton robot control using a novel fast fuzzy sliding mode control[J]. Journal of Intelligent and Fuzzy Systems, 2019, 36(3): 2581-2592. doi: 10.3233/JIFS-181558 [21] LI Zhi-jun, SU Chun-yi, WANG Liang-yong, et al. Nonlinear disturbance observer based control design for a robotic exoskeleton incorporating fuzzy approximation[J]. IEEE Transactions on Industrial Electronics, 2015, 62(9): 5763-5775. doi: 10.1109/TIE.2015.2447498 [22] KAMAVUAKO E N, SCHEME E J, KEVIN B, et al. Combined surface and intramuscular EMG for improved real-time myoelectric control performance[J]. Biomedical Signal Processing and Control, 2014, 10(3): 102-107. [23] DHIMAN R, SAINI J S, PRIYANKA. Genetic algorithms tuned expert model for detection of epileptic seizures from EEG signatures[J]. Applied Soft Computing, 2014, 19: 8-17. doi: 10.1016/j.asoc.2014.01.029 [24] KAWASE T, SAKURADA T, KOIKE Y, et al. A hybrid BMI-based exoskeleton for paresis: EMG control for assisting arm movements[J]. Journal of Neural Engineering, 2017, 14(1): 1-12. [25] ZHANG Lei. An upper limb movement estimation from electromyography by using BP neural network[J]. Biomedical Signal Processing and Control, 2019, 49: 434-439. doi: 10.1016/j.bspc.2018.12.020 [26] FURUKAWA J I, NODA T, TERAMAE T, et al. Human movement modeling to detect biosignal sensor failures for myoelectric assistive robot control[J]. IEEE Transactions on Robotics, 2017, 33(4): 846-857. doi: 10.1109/TRO.2017.2683522 [27] SIU H C, ARENAS A M, SUN T X, et al. Implementation of a surface electromyography-based upper extremity exoskeleton controller using learning from demonstration[J]. Sensors, 2018, 18(2): 467-486. doi: 10.3390/s18020467 [28] HOGAN N. Impedance control: An approach to manipulation[J]. Journal of Dynamic Systems, Measurement, and Control, 1985, 107(1): 8-16. doi: 10.1115/1.3140713 [29] KAZEROONI H, SHERIDAN T, HOUPT P. Robust compliant motion for manipulators, part I: the fundamental concepts of compliant motion[J]. IEEE Journal on Robotics and Automation, 1986, 2(2): 83-92. doi: 10.1109/JRA.1986.1087045 [30] KAZEROONI H, HOUPT P K, SHERIDAN T B. Robust compliant motion for manipulators, part ii: Design method[J]. IEEE Journal on Robotics and Automation, 1986, 2(2): 93-105. doi: 10.1109/JRA.1986.1087047 [31] BAI Jing, SONG Ai-guo, LI Hui-jun. A novel backstepping adaptive impedance control for an upper limb rehabilitation robot[J]. Computers and Electrical Engineering, 2019, 80: 1-13. [32] HE Wei, DONG Yi-ting, SUN Chang-yin. Adaptive neural impedance control of a robotic manipulator with input saturation[J]. IEEE Transactions on Systems, Man, and Cybernetics, 2016, 46(3): 334-344. doi: 10.1109/TSMC.2015.2429555 [33] LI Zhi-jun, HUANG Zhi-cong, HE Wei, et al. Adaptive impedance control for an upper limb robotic exoskeleton using biological signals[J]. IEEE Transactions on Industrial Electronics, 2016, 64(2): 1-11. [34] LI Zhi-jun, HUANG Bo, YE Zhi-feng, et al. Physical human-robot interaction of a robotic exoskeleton by admittance control[J]. IEEE Transactions on Industrial Electronics, 2018, 65(12): 9614-9624. doi: 10.1109/TIE.2018.2821649 [35] 吴青聪, 王兴松, 吴洪涛, 等. 上肢康复外骨骼机器人的模糊滑模导纳控制[J]. 机器人, 2018, 40(5): 1-9. WU Qing-cong, WANG Xing-song, WU Hong-tao, et al. Fuzzy sliding mode admittance control of the upper limb rehabilitation exoskeleton robot[J]. Robot, 2018, 40(5): 1-9. [36] WU Qing-cong, WANG Xing-song, CHEN Bai, et al. Development of a minimal-intervention-based admittance control strategy for upper extremity rehabilitation exoskeleton[J]. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2018, 48(6): 1005-1016. doi: 10.1109/TSMC.2017.2771227 [37] LI Zhi-jun, SU Chun-yi. LI Guang-lin, et al. Fuzzy approximation-based adaptive backstepping control of an exoskeleton for human upper limbs[J]. IEEE Transactions on Fuzzy Systems, 2015, 23(3): 555-566. doi: 10.1109/TFUZZ.2014.2317511 [38] MUSHAGE B O, CHEDJOU J C, KYAMAKYA K. Fuzzy neural network and observer-based fault-tolerant adaptive nonlinear control of uncertain 5-DOF upper-limb exoskeleton robot for passive rehabilitation[J]. Nonlinear Dynamics, 2017, 87(3): 2021-2037. doi: 10.1007/s11071-016-3173-7 [39] KIGUCHI K, RAHMAN M H, YAMAGUCHI T. Adaptation strategy for the 3DOF exoskeleton for upper-limb motion assist[C]//Proceedings of the 2005 IEEE International Conference on Robotics and Automation. Barcelona: IEEE, 2005: 2296-2301. [40] WU Qing-cong, WANG Xing-song, CHEN Bai, et al. Development of an RBFN-based neural-fuzzy adaptive control strategy for an upper limb rehabilitation exoskeleton[J]. Mechatronics: The Science of Intelligent Machines, 2018, 53: 85-94. [41] HE Wei, LI Zhi-jun, DONG Yi-ting, et al. Design and adaptive control for an upper limb robotic exoskeleton in presence of input saturation[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019, 30(1): 97-108. doi: 10.1109/TNNLS.2018.2828813 [42] LI Zhi-jun, HUANG Bo, AJOUDANI A, et al. Asymmetric bimanual control of dual-arm exoskeletons for human-cooperative manipulations[J]. IEEE Transactions on Robotics, 2018, 34(1): 264-271. doi: 10.1109/TRO.2017.2765334 [43] LUO Lin-cong, PENG Liang, WANG Chen, et al. A Greedy assist-as-needed controller for upper limb rehabilitation[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019, 30(11): 3433-3443. doi: 10.1109/TNNLS.2019.2892157 [44] KIUMARSI B, VAMVOUDAKIS K G, MODARES H, et al. Optimal and autonomous control using reinforcement learning: A survey[J]. IEEE Transactions on Neural Networks & Learning Systems, 2018, 29(6): 2042-2062. [45] FEBBO D D, AMBROSINI E, PIROTTA M, et al. Does reinforcement learning outperform PID in the control of FES-induced elbow flex-extension[C]//2018 IEEE International Symposium on Medical Measurements and Applications. Rome: IEEE, 2018: 1-6. [46] OBAYASHI C, TAMEI T, SHIBATA T. Assist-as-needed robotic trainer based on reinforcement learning and its application to dart-throwing[J]. Neural Networks, 2014, 53: 52-60. doi: 10.1016/j.neunet.2014.01.012 [47] HAMAYA M, MATSUBARA T, NODA T, et al. Learning assistive strategies from a few user-robot interactions: Model-based reinforcement learning approach[C]//2016 IEEE International Conference on Robotics and Automation. Stockholm: IEEE, 2016: 3346-3351. [48] HAMAYA M, MATSUBARA T, NODA T, et al. Learning assistive strategies for exoskeleton robots from user-robot physical interaction[J]. Pattern Recognition Letters, 2017, 99(1): 67-76. [49] GOPINATHAN S, ÖTTING S K, STEIL J J. A user study on personalized stiffness control and task specificity in physical human-robot interaction[J]. Frontiers in Robotics and AI, 2017, 4: 1-16. [50] PIERELLA C, GIANG C, PIRONDINI E, et al. Personalizing exoskeleton-based upper limb rehabilitation using a statistical model: A pilot study[C]//Proceedings of the 4th International Conference on NeuroRehabilitation. Pisa: [s.n.], 2018: 117-121. [51] PAPALEO E, ZOLLO L, SPEDALIERE L, et al. Patient-tailored adaptive robotic system for upper-limb rehabilitation[C]//2013 IEEE International Conference on Robotics and Automation. Karlsruhe: IEEE, 2013: 3860-3865. [52] ROSENTHAL O, WING A M, WYATT J L, et al. Boosting robot-assisted rehabilitation of stroke hemiparesis by individualized selection of upper limb movements – a pilot study[J]. Journal of Neuroengineering and Rehabilitation, 2019, 16(1): 1-14. doi: 10.1186/s12984-018-0454-z [53] WANG Qi-ning, YUAN Ke-bin, ZHU Jin-ying, et al. Walk the walk: A lightweight active transtibial prosthesis[J]. IEEE Robotics and Automation Magazine, 2015, 22(4): 80-89. doi: 10.1109/MRA.2015.2408791 [54] HUANG Rui, CHENG Hong, GUO Hong-liang, et al. Hierarchical learning control with physical human-exoskeleton interaction[J]. Information Sciences, 2018, 432: 584-595. doi: 10.1016/j.ins.2017.09.068 [55] BRAUN J M, WÖRGÖTTER F, MANOONPONG P. Modular neural mechanisms for gait phase tracking, prediction, and selection in personalizable knee-ankle-foot-orthoses[J]. Frontiers in Neurorobotics, 2018, 12: 1-17. doi: 10.3389/fnbot.2018.00001 [56] FITZSIMONS K, ACOSTA A M, DEWALD J P A, et al. Ergodicity reveals assistance and learning from physical human-robot interaction[J]. Science Robotics, 2019, 4(29): 1-10.