留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

人机协同智能系统及其临床应用

王艺霖 邱静 黄瑞 程洪

王艺霖, 邱静, 黄瑞, 程洪. 人机协同智能系统及其临床应用[J]. 电子科技大学学报, 2020, 49(4): 482-489. doi: 10.12178/1001-0548.2020180
引用本文: 王艺霖, 邱静, 黄瑞, 程洪. 人机协同智能系统及其临床应用[J]. 电子科技大学学报, 2020, 49(4): 482-489. doi: 10.12178/1001-0548.2020180
WANG Yi-lin, QIU Jing, HUANG Rui, CHENG Hong. Human-Robot Collaborative Intelligent System and Its Clinical Applications[J]. Journal of University of Electronic Science and Technology of China, 2020, 49(4): 482-489. doi: 10.12178/1001-0548.2020180
Citation: WANG Yi-lin, QIU Jing, HUANG Rui, CHENG Hong. Human-Robot Collaborative Intelligent System and Its Clinical Applications[J]. Journal of University of Electronic Science and Technology of China, 2020, 49(4): 482-489. doi: 10.12178/1001-0548.2020180

人机协同智能系统及其临床应用

doi: 10.12178/1001-0548.2020180
基金项目: 国家重点研发计划智能机器人重点专项(2017YFB1302300)
详细信息
    作者简介:

    王艺霖(1989−),女,博士生,主要从事外骨骼机器人及其临床应用方面的研究

    通讯作者: 程洪,E-mail:hcheng@uestc.edu.cn
  • 中图分类号: TP929.5

Human-Robot Collaborative Intelligent System and Its Clinical Applications

  • 摘要: 人类智能能够在执行某一任务时做出适应当前环境的决策,并且具有思考能力和情感意识;人工智能能够代替人类进行快速且大批量的高性能计算。然而由于需求的不断增加,提高了环境和任务的复杂性,单凭人类智能或人工智能无法执行复杂任务,人机协同智能系统作为一种基于混合智能的新型技术与系统,能够通过人类与机器交互及协同的混合智能在高动态环境中实现复杂任务,通过协同感知、协同认知和协同控制实现人类和机器的优势互补、扬长避短,是人类智能和人工智能的结合和拓展。该文对国内外现有主流人机协同智能系统及其理论进行了总结,并对典型人机协同智能系统在临床应用方面进行了分析,最后对人机协同智能系统的研究趋势进行了展望。
  • 图  1  人机协同智能与人类智能和人工智能的关系

  • [1] CAPEK K, CAPEK J. The insect play[M]. New York: Oxford University Press, 1963.
    [2] STEFANOS N, JULIE A S. Human-robot cross-training: Computational formulation, modeling and evaluation of a human team training strategy[C]//2013 8th ACM/IEEE International Conference on Human-Robot Interaction. [S.l.]: IEEE, 2013: 33-40.
    [3] 龚朱, 杨爱华, 赵惠康. 外科手术机器人发展及其应用[J]. 中国医学教育技术, 2014, 28(3): 273-277.

    GONG Zhu, YANG Ai-hua, ZHAO Hui-kang. Development and application of surgical robots[J]. Chinese Medical Education Technology, 2014, 28(3): 273-277.
    [4] 郭跃华, 周汉新. 手术机器人的发展与现状[J]. 中华外科杂志, 2005, 43(1): 64-66. doi:  10.3760/j:issn:0529-5815.2005.01.019

    GUO Yue-hua, ZHOU Han-xin. The development and status of surgical robots[J]. Chinese Journal of Surgery, 2005, 43(1): 64-66. doi:  10.3760/j:issn:0529-5815.2005.01.019
    [5] PRANSKY J. The pransky interview: Russ Angold, co-founder and president of EksoTM Labs[J]. Industrial Robot, 2014, 41(4): 329-334. doi:  10.1108/IR-05-2014-0334
    [6] TEFERTILLER C, HAYS K, JONES J, et al. Initial outcomes from a multicenter study utilizing the indego powered exoskeleton in spinal cord injury[J]. Topics in Spinal Cord Injury Rehabilitation, 2018, 24(1): 78-85. doi:  10.1310/sci17-00014
    [7] SHAFER S A, WHITTAKER W L. Development of an integrated mobile robot system at Carnegie Mellon University: June 1988 annual report[J]. Technical Report Carnegie Mellon University, 1989, 30(3): 241-249.
    [8] ESQUENAZI A, TALATY M, PACKEL A, et al. The ReWalk powered exoskeleton to restore ambulatory function to individuals with thoracic-level motor-complete spinal cord injury[J]. American Jounral of Physical Medicine & Rehabilitation, 2012, 91(11): 911-921.
    [9] REWALK ROBOTICS. The ReStoreTM soft exo-suit: A revolution in post-stroke gait training[EB/OL]. [2020-1-10]. https://rewalk.com/restore-exo-suit/.
    [10] FARAN S, EINAV O, YOELI D, et al. Reo assessment to guide the ReoGo therapy: Reliability and validity of novel robotic scores[C]//2009 Virtual Rehabilitation International Conference. Haifa, Israel: [s.n.], 2009: 209.
    [11] SASO J, COLOMBO G, KELLER T, et al. Robotic orthosis lokomat: A rehabilitation and research tool[J]. Neuromodulation Technology at the Neural Interface, 2008, 6(2): 108-115.
    [12] SCZESNY-KAISER M, HOFFKEN O, AACH M, et al. HaloR exoskeleton training improves walking parameters and normalizes cortical excitability in primary somatosensory cortex in spinal cord injury patients[J]. Journal of NeuroEngineering and Rehabilitation, 2015, 12(1): 68. doi:  10.1186/s12984-015-0058-9
    [13] REX B. Robot for rehabilitation: exercising, walking and standing[EB/OL]. [2020-01-20]. http://www.rexbionics.com/products/rex-p/.
    [14] GANCET J, LLZKOVITZ M, MOTARD E, et al. Mindwalker: Going one step further with assistive lower limbs exoskeleton for sci condition subjects[C]//IEEE RAS&EMBS International Conference on Biomedical Robotics and Biomechatronics. Roma, Italy: IEEE, 2012: 1794-1800.
    [15] DESTARAC M A, GARCIA C E, GARCIA J, et al. ORTE: Robot for upper limb rehabilitation[J]. Latin America Transactions IEEE, 2018, 16(6): 1638-1643. doi:  10.1109/TLA.2018.8444160
    [16] SCHIELE A, HIRZINGER G, SCHIELE A, et al. A new generation of ergonomic exoskeletons-the high-performance X-Arm-2 for space robotics telepresence[C]//IEEE/RSJ International Conference on Intelligent Robots & Systems. San Francisco, USA: IEEE, 2011: 2158-2165.
    [17] JAN B, KATJA M, DIRK L, et al. SPEXOR: Spinal Exoskeletal robot for low back pain prevention and vocational reintegration. Wearable robotics: Challenges and Trends[J]. Springer, Biosystems & Biorobotics, 2017, 16: 311-315.
    [18] 陈峰. 可穿戴型助力机器人技术研究[D]. 合肥: 中国科学技术大学, 2006.

    CHEN Feng. Research on the wearable power assist robot[D]. Hefei: University of Science and Technology of China, 2006
    [19] 张杰. 脑卒中瘫痪下肢外骨骼康复机器人的研究[D]. 杭州: 浙江大学, 2007.

    ZHANG Jie. Study on the exoskeleton leg for training paraplegic patients[D]. Hangzhou: Zhejiang University, 2007.
    [20] 刘笃信. 下肢外骨骼机器人多模融合控制策略研究[D]. 深圳: 中国科学院深圳先进技术研究院, 2018.

    LIU Du-xin. Research on multimodal fusion-based control strategy for lower-limb exoskeleton robot[D]. Shenzhen: Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences, 2018.
    [21] RUI H, HONG C, HONGLIANG G, et al. Hierarchical interactive learning for a human-powered augmentation lower exoskeleton[C]//IEEE International Conference on Robotics and Automation. Stockholm, Sweden: IEEE, 2016: 257-263.
    [22] ZHAN L, HONG C, HONG L G, et al. Compliant training control of ankle joint by exoskeleton with human emg-torque interface[J]. Assembly Automation, 2017, 37(3): 349-355. doi:  10.1108/AA-12-2016-161
    [23] HUU-TOAN T, HONG C, XICHUAN L, et al. The relationship between physical human-Exoskeleton interaction and dynamic factors: Using a learning approach for control applications[J]. Science China Information Sciences, 2014, 57(12): 1-13.
    [24] YILIN W, HONG C, LEI H. c2AIDER: A cognitive cloud Exoskeleton system and its applications[J]. Cognitive Computation and Systems, 2019, 1(2): 33-39. doi:  10.1049/ccs.2018.0012
    [25] 邱静, 高龙, 卢军. 实时EEG脑力负荷预测研究[J]. 人类工效学, 2015(3): 10-13.

    QIU Jing, GAO Long, LU Jun. Real-time EEG analysis for mental workload with a wireless EEG headset[J]. Ergonomics, 2015(3): 10-13.
    [26] PADOIS V, FOURQUET J Y, CHIRON P. Kinematic and dynamic model-based control of wheeled mobile manipulators: A unified framework for reactive approaches[J]. Robotica, 2007, 25(2): 157-173. doi:  10.1017/S0263574707003360
    [27] ASENSIO J R, MONTANO L. A kinematic and dynamic model-based motion controller for mobile robots[C]//15th IFAC World Congress. Barcelona, Spain: IFAC, 2002, 35(1): 427-432.
    [28] BARBARESCHI G, RICHARDS R, THORNTON M, et al. Statically vs dynamically balanced gait: Analysis of a robotic exoskeleton compared with a human[C]//IEEE Engineering in Medicine Biology Society. Milan, Italy: 2015: 6728-6731.
    [29] HYON S H, MORIMOTO J, MATSUBARA T, et al. XoR: Hybrid drive exoskeleton robot that can balance[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems. San Francisco, USA: IEEE, 2011: 3975-3981.
    [30] ZELIK K E, KUO A D. Human walking isn’t all hard work: Evidence of soft tissue contributions to energy dissipation and return[J]. Journal of Experimental Biology, 2010, 213: 4257-4264. doi:  10.1242/jeb.044297
    [31] ZELIK K E, HUANG T W P, ADAMCZYK P G, et al. The role of series ankle elasticity in bipedal walking[J]. Journal of Theoretical Biology, 2014, 346: 75-85. doi:  10.1016/j.jtbi.2013.12.014
    [32] COLLINS S H, WIGGIN M B, SAWICKI G S. Reducing the energy cost of human walking using an unpowered exoskeleton[J]. Nature Letter, 2015, 522(7555): 212-215. doi:  10.1038/nature14288
    [33] TSAROUCHI P, MAKRIS S, CHRYSSOLOURIS G. Human - robot interaction review and challenges on task planning and programming[J]. International Journal of Computer Integrated Manufacturing, 2016, 29(8): 1-16.
    [34] 彭亮, 侯增广, 王晨, 等. 康复辅助机器人及其物理人机交互方法[J]. 自动化学报, 2018, 44(11): 2000-2010.

    PENG Liang, HOU Zeng-guang, WANG Chen, et al. Physical interaction methods for rehabilitation and assistive robots[J]. ACTA Automatica Sinica, 2018, 44(11): 2000-2010.
    [35] REN L, OMISORE O M, HAN S, et al. A master-slave control system with workspaces isomerism for teleoperation of a snake robot[C]//International Conference of the IEEE Engineering in Medicine & Biology Society. Jeju Island: IEEE, 2017: 4343-4346.
    [36] ZHAO D, DA L. Clinical training technology for vascular interventional surgery robot system based on master-slave expansion[C]//IEEE International Conference on Mechatronics and Automation. Chengdu, China: IEEE, 2012: 604-610.
    [37] HEYER C. Human-robot interaction and future industrial robotics applications[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems. Taiwan, China: IEEE, 2010: 4749-4754.
    [38] PETERNEL L, TSAGARAKIS N, AJOUDANI A. Towards multi-modal intention interfaces for human-robot co-manipulation[C]//IEEE/RSJ International Conference on Intelligent Robots & Systems. Daejeon: IEEE, 2016: 2663-2669.
    [39] CHAOBIN Z, RUI H, HONG C. Adaptive gait planning for walking assistance lower limb exoskeletons in slope scenarios[C]//IEEE International Conference on Robotics and Automation. Montreal, Canada: IEEE, 2019: 5083-5089.
    [40] CINAR E, SAHIN F. New classification techniques for electroencephalo gram (EEG) signals and a real-time EEG control of a robot[J]. Neural Computing and Applications, 2013, 22(1): 29-39. doi:  10.1007/s00521-011-0744-x
    [41] KREPKI R, BLANKERTZ B, CURIO G, et al. The berlin brain-computer interface (BBCI): Towards a new communication channel for online control in gaming applications[J]. Multimedia Tools and Applications, 2007, 33(1): 73-90. doi:  10.1007/s11042-006-0094-3
    [42] LEBIERE C, JENTSCH F, OSOSKY S. Cognitive models of decision making processes for human-robot interaction[C]//International Conference on Virtual, Augmented and Mixed Reality. Nevada, USA: [s.n.], 2013: 285-294.
    [43] MIŠKOVIĆ N, BIBULI M, BIRK A, et al. CADDY-cognitive autonomous diving buddy: Two years of underwater human-robot interaction[J]. Marine Technology Society Journal, 2016, 50(4): 54-66. doi:  10.4031/MTSJ.50.4.11
    [44] VIDAL J J. Real-time detection of brain events in EEG[J]. Proceedings of the IEEE, 1977, 65(5): 633-641. doi:  10.1109/PROC.1977.10542
    [45] DECETY J, PERANI D, JEANNEROD M. Mapping motor representations with positron emission tomography[J]. Nature, 1994, 371(6498): 600-602. doi:  10.1038/371600a0
    [46] ZANDER T O, GAERTNER M, KOTHE C, et al. Combining eye gaze input with a brain-computer interface for touchless human-computer interaction[J]. International Journal of Human-Computer Interaction, 2011, 27(1): 38-51.
    [47] KENNEDY P R, BAKAY R A. Restoration of neural output from a paralyzed patient by a direct brain connection[J]. Neuroreport, 1998, 9: 1707-1711. doi:  10.1097/00001756-199806010-00007
    [48] HOCHBERG L R, BACHER D, JAROSIEWICZ B, et al. Reach and grasp by people with Tetraplegia using a neutrally controlled robotic arm[J]. Nature, 2015, 485(7398): 372-375.
    [49] FLESHER S N, COLLINGER J L, FOLDES S T, et al. Intracortical microstimulation of human somatosensory cortex[J]. Science Translational Medicine, 2016, 8(361): 10.1126/scitranslmed.aaf8083. doi:  10.1126/scitranslmed.aaf8083
    [50] LEEB R, SAGHA H, CHAVARRIAGA R, et al. A hybrid brain-computer interface based on the fusion of electroencephalographic and electromyographic activities[J]. Journal of Neural Engineering, 2011, 8(2): 025011. doi:  10.1088/1741-2560/8/2/025011
    [51] BOUTON C E, SHAIKHOUNI A, ANNETTA N V, et al. Restoring cortical control of functional movement in a human with quadriplegia[J]. Nature, 2016(533): 247-250.
    [52] HOCHBERG L R, BACHER D, JAROSIEWICZ B, et al. Reach and grasp by people with tetraplegia using a neurally controlled robotic arm[J]. Nature, 2012(485): 372-375.
    [53] MURALI K, MURALINDRAN M. EEG-based brain-machine interface (BMI) for controlling mobile robots: the trend of prior studies[J]. International Journal of Computer Science and Electronics Engineering, 2015, 3(2): 159-165.
    [54] MATSUYAMA H, ASAMA H, OTAKE M. Design of differential near-infrared spectroscopy based brain machine interface[C]//The 18th IEEE International Symposium on Robot and Human Interactive Communication. Toyama, Japan: IEEE, 2009: 775-780.
    [55] VIDAL J J. Toward direct brain-computer communication[J]. Annual Review of Biophysics and Bioengineering, 1973, 2: 157-180. doi:  10.1146/annurev.bb.02.060173.001105
    [56] MILLER L E, ZIMMERMANN A K, HERBERT W G. Clinical effectiveness and safety of powered exoskeleton-assisted walking in patients with spinal cord injury: Systematic review with meta-analysis[J]. Medical Devices, 2016, 9: 455-466.
    [57] LOUIE D R, ENG J J, LAM T, et al. Gait speed using powered robotic exoskeletons after spinal cord injury: A systematic review and correlational study[J]. Journal of Neuroengineering & Rehabilitation, 2015, 12(1): 82.
    [58] UEBA T, HAMADA O, OGATA T, et al. Feasibility and safety of acute phase rehabilitation after stroke using the hybrid assistive limb robot suit[J]. Neurologia Medico-Chirurgica, 2013, 53(5): 287-290. doi:  10.2176/nmc.53.287
    [59] CALABRÒ R S, NARO A, RUSSO M, et al. Shaping neuroplasticity by using powered exoskeletons in patients with stroke: A randomized clinical trial[J]. Journal of Neuroengineering & Rehabilitation, 2018, 15(1): 35.
    [60] SCHREUDER H W R, VERHEIJEN R. Robotic Surgery[J]. BJOG: An International Journal of Obstetrics and Gynaecology, 2009, 116(2): 198-213. doi:  10.1111/j.1471-0528.2008.02038.x
    [61] 戚仕涛, 刘铁兵. 外科手术机器人系统及其临床应用[J]. 中国医疗设备, 2011, 26(6): 56-59. doi:  10.3969/j.issn.1674-1633.2011.06.019

    QI Shi-tao, LIU Tie-bing. Surgical robot system and its clinical applications[J]. China Medical Equipment, 2011, 26(6): 56-59. doi:  10.3969/j.issn.1674-1633.2011.06.019
    [62] IBRAHIM A, LISELOTTE M, NICOLAI M, et al. Robotic surgery in gynecology[J]. Der Gynäkologe, 2016, 17(4): 224-232.
    [63] GUTT C N, ONIU T, MEHRABI A, et al. Robot-assisted abdominal surgery[J]. British Journal of Surgery, 2004, 91(11): 1390-1397. doi:  10.1002/bjs.4700
    [64] MORINO M, PELLEGRINO L, GIACCONE C, et al. Randomized clinical trial of robot‐assisted versus laparoscopic Nissen fundoplication[J]. British Journal of Surgery, 2006, 93(5): 553-558. doi:  10.1002/bjs.5325
    [65] METTLER L, IBRAHIM M, JONAT W. One year of experience working with the aid of a robotic assistant (the voice-controlled optic holder aesop) in gynaecological endoscopic surgery[J]. Human Reproduction, 1998, 13(10): 2748-2750. doi:  10.1093/humrep/13.10.2748
    [66] ISHIKAWA N, WATANABE G. Robot-assisted coronary artery bypass grafting[J]. Kyobu Geka the Japanese Journal of Thoracic Surgery, 2016, 69(8): 589-593.
    [67] CHAN J Y K, WONG E W Y, TSANG R K, et al. Early results of a safety and feasibility clinical trial of a novel single-port flexible robot for transoral robotic surgery[J]. European Archives of Oto-Rhino-Laryngology, 2017, 274(11): 3993-3996. doi:  10.1007/s00405-017-4729-y
  • [1] 李西, 姜孟.  机器学习在帕金森病诊断中的应用研究 . 电子科技大学学报, 2024, 53(2): 315-320. doi: 10.12178/1001-0548.2023180
    [2] 丁璟韬, 徐丰力, 孙浩, 严钢, 胡延庆, 李勇, 周涛.  人工智能驱动的复杂系统研究前沿 . 电子科技大学学报, 2024, 53(): 1-8. doi: 10.12178/1001-0548.2023257
    [3] 杨彦祥, 张翔引, 李波, 秦开宇.  基于群体智能算法的无人机蜂群拓扑构型方法 . 电子科技大学学报, 2023, 52(2): 203-208. doi: 10.12178/1001-0548.2022091
    [4] 田晟兆, 胡迎茜, 谷成, 陈端兵.  知识与数据联合驱动建模技术综述 . 电子科技大学学报, 2023, 52(6): 932-943. doi: 10.12178/1001-0548.2022289
    [5] 李小婧, 杨冬冬, 韩润东, 俞华, 阴崇智.  基于人工智能RL算法的边缘服务器智能选择模式研究 . 电子科技大学学报, 2023, 52(4): 588-594. doi: 10.12178/1001-0548.2022119
    [6] 张贵军, 侯铭桦, 彭春祥, 刘俊.  多结构域蛋白质结构预测方法综述 . 电子科技大学学报, 2022, 51(6): 820-829. doi: 10.12178/1001-0548.2022132
    [7] 翟强, 程洪, 黄瑞, 詹慧琴, 赵洋, 李骏.  智能汽车中人工智能算法应用及其安全综述 . 电子科技大学学报, 2020, 49(4): 490-498, 510. doi: 10.12178/1001-0548.2020179
    [8] 史豪斌, 徐梦.  基于强化学习的旋翼无人机智能追踪方法 . 电子科技大学学报, 2019, 48(4): 553-559. doi: 10.3969/j.issn.1001-0548.2019.04.012
    [9] 专栏编委会.  “人工智能”专栏开篇词 . 电子科技大学学报, 2019, 48(5): 641-641.
    [10] 杨阳.  本期“人工智能”专栏评述 . 电子科技大学学报, 2019, 48(6): 802-802.
    [11] 胡江平, 程洪, 杨阳.  本期“人工智能”专栏评述 . 电子科技大学学报, 2019, 48(5): 643-643.
    [12] 专栏编委会.  “人工智能”专栏开篇词 . 电子科技大学学报, 2019, 48(5): 641-641.
    [13] 程洪, 胡江平, 杨阳.  本期“人工智能”专栏评述 . 电子科技大学学报, 2019, 48(5): 643-643.
    [14] 杨阳.  本期“人工智能”专栏评述 . 电子科技大学学报, 2019, 48(6): 802-802.
    [15] 王旭宸, 卢欣辰, 张恒胜, 肖亚敏, 解梅.  一种基于平行坐标系的车道线检测算法 . 电子科技大学学报, 2018, 47(3): 362-367. doi: 10.3969/j.issn.1001-0548.2018.03.007
    [16] 王敏娟, 陈建军, 林立广, 贾爱芹, 魏永祥.  区间参数智能梁结构闭环系统动态特性分析 . 电子科技大学学报, 2011, 40(1): 152-156. doi: 10.3969/j.issn.1001-0548.2011.01.029
    [17] 张贤勇, 熊方, 莫智文, 程伟.  程度与精度的逻辑差粗糙集模型 . 电子科技大学学报, 2010, 39(5): 783-787. doi: 10.3969/j.issn.1001-0548.2010.05.028
    [18] 李瑾坤.  知识作业过程表示方法的研究 . 电子科技大学学报, 2008, 37(5): 769-772.
    [19] 孙剑, 许家珆.  神经网络算法在智能体IDS系统中的应用 . 电子科技大学学报, 2004, 33(3): 289-292.
    [20] 刘容.  一种基于广义算子理论上的神经反向传播 . 电子科技大学学报, 1999, 28(5): 540-542.
  • 加载中
图(1)
计量
  • 文章访问数:  6776
  • HTML全文浏览量:  2385
  • PDF下载量:  94
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-02-09
  • 修回日期:  2020-03-30
  • 网络出版日期:  2020-07-29
  • 刊出日期:  2020-07-10

人机协同智能系统及其临床应用

doi: 10.12178/1001-0548.2020180
    基金项目:  国家重点研发计划智能机器人重点专项(2017YFB1302300)
    作者简介:

    王艺霖(1989−),女,博士生,主要从事外骨骼机器人及其临床应用方面的研究

    通讯作者: 程洪,E-mail:hcheng@uestc.edu.cn
  • 中图分类号: TP929.5

摘要: 人类智能能够在执行某一任务时做出适应当前环境的决策,并且具有思考能力和情感意识;人工智能能够代替人类进行快速且大批量的高性能计算。然而由于需求的不断增加,提高了环境和任务的复杂性,单凭人类智能或人工智能无法执行复杂任务,人机协同智能系统作为一种基于混合智能的新型技术与系统,能够通过人类与机器交互及协同的混合智能在高动态环境中实现复杂任务,通过协同感知、协同认知和协同控制实现人类和机器的优势互补、扬长避短,是人类智能和人工智能的结合和拓展。该文对国内外现有主流人机协同智能系统及其理论进行了总结,并对典型人机协同智能系统在临床应用方面进行了分析,最后对人机协同智能系统的研究趋势进行了展望。

English Abstract

王艺霖, 邱静, 黄瑞, 程洪. 人机协同智能系统及其临床应用[J]. 电子科技大学学报, 2020, 49(4): 482-489. doi: 10.12178/1001-0548.2020180
引用本文: 王艺霖, 邱静, 黄瑞, 程洪. 人机协同智能系统及其临床应用[J]. 电子科技大学学报, 2020, 49(4): 482-489. doi: 10.12178/1001-0548.2020180
WANG Yi-lin, QIU Jing, HUANG Rui, CHENG Hong. Human-Robot Collaborative Intelligent System and Its Clinical Applications[J]. Journal of University of Electronic Science and Technology of China, 2020, 49(4): 482-489. doi: 10.12178/1001-0548.2020180
Citation: WANG Yi-lin, QIU Jing, HUANG Rui, CHENG Hong. Human-Robot Collaborative Intelligent System and Its Clinical Applications[J]. Journal of University of Electronic Science and Technology of China, 2020, 49(4): 482-489. doi: 10.12178/1001-0548.2020180
  • 人类智能具有对当前环境、社会关系等的认知、记忆及情感理解能力,人工智能作为人类智能的扩展和延伸,能够代替人类进行复杂的高性能计算,并且对人的思维和意识进行模拟。随着科技的发展,人工智能已不能满足日益增长的需求和复杂的应用环境。混合智能作为人类智能和人工智能结合的一种新技术,能够完成更加复杂的任务。人机协同的典型应用有外骨骼机器人、手术机器人、物流机器人、社交机器人等。本文针对医用人机协同智能系统及其临床应用进行了综述及展望。

    • 早在1495年,列奥纳多·达·芬奇就发明了一种符合机器人定义的装置,是一个机械装甲骑士用来娱乐贵族。尽管历史上也有其他早期机器人的例子,但机器人的概念直到20世纪初才被定义下来。机器人一词最早出现在1921年,当时捷克作家卡雷尔·卡佩克在他的戏剧《罗素姆的通用机器人》中描述了这个概念[1]。人机协同智能系统作为混合智能技术的一种表现形式,能够通过人类与机器交互及协同的混合智能在高动态环境中实现复杂任务,通过协同感知、协同认知和协同控制实现人类和机器优势互补、扬长避短,是人类智能和人工智能的结合和拓展,如图1所示。目前,国内外学者对于人机协同智能系统的研究仍然在起步阶段,人与机器的高效协同仍然是人工智能领域待解决的一大难题。

      图  1  人机协同智能与人类智能和人工智能的关系

    • 美国对于人机协同技术的研究较为领先。麻省理工学院对人类意图理解和机器协同进行了一定的研究,机器人通过视听觉来感知人体意图及所处的场景,并协同人类完成任务[2],其人机协同技术的研究成果在交通、国防、健康医疗等场景进行了初步验证。达芬奇机器人手术系统以麻省理工学院研发的机器人外科手术技术为基础,Intuitive Surgical随后与IBM、麻省理工学院和Heartport公司联手对该系统进行了进一步开发,其设计理念是通过使用微创的方法,实施复杂的手术,已于2000年7月获得FDA认证,并批准在普通外科、胸外科、泌尿外科、妇产科、头颈外科以及心脏手术中应用。美国Computer Motion公司于1994年研制成功的伊索声控机器人手术辅助系统(Aesop)目前已经研制到了第四代[3]。同时,该公司于1998年研制出的和宙斯(Zeus)手术机器人于2001年10月取得了FDA认证,广泛应用于多个外科手术中[4]。Ekso Bionics公司研制的Ekso GT™系统已经通过了FDA认证,并且在世界各地的270多家康复中心进行使用,帮助脊髓损伤和中风的患者重新行走[5]。美国范德堡大学研制的Indego模块化外骨骼机器人能够帮助患者实现坐、站、走以及三者之间的转换,它模仿人类的自然运动,身体前倾时开始站立或行走,身体后倾时停止并坐下,系统十分轻便,仅重26磅,外形与标准的移动辅助设备兼容,可以在坐轮椅时穿戴[6]。卡内基-梅隆大学对人机交互、社交机器人、外骨骼机器人有一定的研究基础,其专注于工业和社会机器人的应用和理论研究[7],目前已建成了27万平方英尺的测试区域。以色列ReWalk Robotics公司研制的外骨骼机器人ReWalkTM系统是全球第一款获得FDA认证的个人版外骨骼机器人,能够帮助截瘫患者站立行走[8],2019年开发的ReStoreTM能够帮助偏瘫患者进行步态训练[9]。以色列公司Motorika Medical开发的ReoGo上肢康复机器人不仅提供了上肢运动障碍的早期功能性的被动/助动/主动模式的康复训练,同时,其感统训练方法对患者的脑中枢神经系统的重塑有很大的作用[10]。瑞士HOCOMAAG公司于2001年在在苏黎世的Balgrist大学医院开发完成的Lokomat全自动机器人步态训练评估系统由“外骨骼式下肢步态矫正驱动装置”、“智能减重系统”和“医用跑台”组成,能够通过外骨骼式下肢步态矫正驱动装置辅助有步态障碍的神经科病人进行步态训练,有基础型、专业型和儿童型3种配置类型[11]。日本筑波大学的山海嘉之(Yoshiyuki Sankai)与Cybernics实验室开展对外骨骼机器人系统——HAL(hybrid assistive Limb robot)的研制,并于1999年完成了初代HAL的研发,即HAL-1,到HAL-5系统则已经从实验室研究走向了现实应用,能够通过监测人体生物电信号进行意图识别,让外骨骼代替肌肉进行站立、步行、攀爬等动作[12]。新西兰Rex Bionics公司研发的Rex外骨骼系统,能够帮助截瘫患者进行康复训练、站立和走路,是世界首例解放双手自行控制的外骨骼机器人。患者穿戴REX后,能够在不使用任何支撑帮助的情况下进行站立和行走。目前有REX和REX P两套系统,REX是为康复中心和医院设计,能够适应大部分人群,用于机器人康复治疗和运动功能损伤的患者;REX P是为个人设计的系统,应用于日常生活和工作中[13]。欧盟于2007年1月1日启动了第七期框架计划(seventh framework programme, FP7) MindWalker项目,并于2013年5月完成。该系统运用了非侵入式的脑机接口(brain-computer interface, BCI)来实现对不同步态的下肢外骨骼的控制。此外,该系统还设计有虚拟现实训练环境,能够在安全可靠的医疗环境中帮助患者训练大脑信号,从而达到康复的目的,患者也可以在家中运用VR方法来进行自我训练[14]。马德里理工大学的Aura Innovative Robotics实验室研发的外骨骼Orte为肩部受伤患者提供康复训练,还能评估患者的受伤程度,并帮助他们开展康复训练[15]。欧洲航天局发明的X-Arm-2外骨骼设备能够控制全动力的触觉机器人,机器人的反馈会用于发动机控制功能的升级,可以用于需要精准发动机控制的机器人手术和其他核能设备[16]。Spexor Spinal外骨骼致力解决脊髓受损者的病痛,并帮助那些经历病痛的人们再就业[17],这个项目始于2016年,目前仍处于初级阶段。

    • 国内一些大学及研究机构对人机协同技术进行了相关的研究。中国科学院合肥智能机械所从2004年就开始了对外骨骼机器人的研究,该外骨骼机器人系统的执行机构是通过直流电机配合行星减速器来实现,采用了多传感器数据融合技术来判断意图和控制。中科院的外骨骼助力机器人主控平台基于WINDOWSPC,通过PCI总线与外骨骼机器人实现通信。该平台采用两种通用的控制策略,分别为“关节对关节”的主从随动控制策略和基于人与外骨骼机器人之间的接触力作为输入进行的控制策略[18]。浙江大学的康复外骨骼机器人则采用电机驱动,配合滚珠丝杠传动来带动关节运动,根据患者的健康状况可以选定3种控制方式,使患者根据控制方式的不同实现不同阶段的康复训练[19]。中科院深圳先进技术研究院外骨骼系统主要用于辅助老人及体弱者正常行走,此外还用于下肢残障人士的康复。该系统主要有6个关节,10个自由度,膝关节和髋关节的前后运动是主动运动,由电机驱动;脚踝关节和髋关节为被动运动。该系统背部固定有控制装置以及电源系统[20]。电子科技大学研究了面向不同应用领域的外骨骼机器人,能够用于助行、康复、工业、军事等多个领域[21-23],2015年研制的下肢助行外骨骼机器人能够帮助脊髓损伤截面T6及以下的患者站立行走,已于2018年获得CFDA认证并在多家医院进行了临床示范应用[24],目前正在进行人体生物信号与外骨骼机器人双向反馈的研究[22,25]。除上述高校研究的外骨骼系统之外,还有一些机器人公司对外骨骼系统进行了研发,如北京大艾机器人科技有限公司研发的Ailegs系统,上海傅利叶智能科技有限公司研发的Fourier X1系统,及尖叫智能科技(上海)有限公司研发的外骨骼机器人等。国内手术机器人的研究尚处于雏形阶段,哈尔滨工业大学开发的多孔腹腔镜手术机器人已于2014年产业化,包括2019年1月获得CFDA认证的国产第三代骨科手术机器人“天玑”等,目前国内已有7家代表性企业。

    • 在不同应用领域的人机系统中,系统建模方式也是不同的。在传统机器人的建模方法中,由于不用考虑人机协作部分,故而只需要对机器人进行动力学和运动学系统建模,如轮式机器人[26]等。动力学约束用来对机器人进行平移、旋转等控制,动力学约束用来对机器人的速度、角速度等进行控制,达到优化控制器、保证系统的稳定性和参数灵敏度的目的[27]。在人机协同智能系统中,系统建模不仅要考虑动力学和运动学约束,还需要考虑人体模型。外骨骼机器人是典型的人机协同智能系统,不但承载穿戴者的重量,还需要带动穿戴者行走或帮助穿戴者负重,这对系统的稳定性产生了很大的影响,而保持平衡的能力在人体行走中至关重要,故在人机系统建模中还需要对人体进行步态分析[28]。人在行走时的步态周期可以划分为摆动、双相支撑、单相支撑阶段。文献[29]通过将气动肌肉与电机以最佳的方式组合应用于外骨骼系统XoR上,达到了减重和转矩可控性的双重目的。它的拟人化设计和扭矩可控性,使用户能够实施和测试各种康复方案,符合人类的运动控制和学习机制。除了人机系统的静态和动态平衡建模以外,分析人机系统的能量消耗也是很重要的一部分,减少不必要的能耗能够提高人机系统的续航能力和工作效率。文献[30-31]认为人类在行走过程中消耗代谢能量,部分是为了以软组织被动运动的方式恢复被消耗的能量,匀速行走不需要能量输入,他们利用带有弹簧腿的仿真模型证明了这一点。因此在实际的机械设计中设计了一种弹簧式的踝关节,能够在每一步行走中存储和返回能量,减少了步行的总能量需求。文献[32]设计了一款轻量级的外骨骼,提供了小腿肌肉和肌腱在行走时的动力,但使用了更有效的结构来完成行走等任务。它有一个与跟腱平行的弹簧,通过一个轻巧的复合框架与脚踝处的杠杆连接到腿上,减少了穿戴外骨骼步行时的能量消耗。

    • 物理人机交互技术从机电一体化、控制与规划等多个方向成功演变而来,在更安全的轻量级机器人设计和交互控制方案中越来越高的要求。新型机器人更加注重感知物理交互,沿机器人结构呈现顺应行为,规划尊重人类偏好的运动,生成与人类协作及交互计划的能力,在交互安全方面取得了新的进展,应用领域也随之越来越广泛[33]

      物理人机交互模型的建立由物理力矩分析及模型学习算法组成,如阻尼模型、交互力矩模型等。物理人机交互方式主要有主从控制模式和协作学习模式两种[34]。在主从控制模式中,机器负责执行人所下达的指令和规划好的任务,在这种方法中,机器人自主性较低。如文献[35]将主从控制模式用于蛇机器人的远程操作中,文献[36]在血管内手术机器人系统上主从模式来对医生进行真实手术的训练等。在协作学习模式中,人和机器需要共同协作来完成任务,机器需要识别人的意图来参与到任务的规划中,并从中通过学习的方式将人的经验积累下来,以作为之后任务规划的参考,机器人有更强的自主性,并会主动提供帮助[37]。如文献[38]研究了通过肌电和力矩反馈控制机械臂,完成抓取的任务。

    • 认知人机交互即通过建立认知模型使机器能够识别人的意图、情感、认知等,并从中积累经验不断学习的过程。在认知人机交互中,主要有师生模式和协同模式[23]。在师生模式中,机器人通过学习不断优化自身的控制算法和模型,如在偏瘫康复外骨骼机器人的应用中,患侧腿能够学习健侧腿的动作,从而达到以正常步态进行训练的目的[39]。协同模式与物理人机交互中的协作学习模式不同,协同模式下机器人能够准确识别人的意图,代替人做出决策,如提取人体生物信号并采用与虚拟现实技术结合的方式来进行外骨骼机器人的控制[40],通过识别脑电信号在虚拟的键盘中来选取字母[41]等。

      除了提取人的生理信号来进行识别之外,人与机器人之间的认知人机交互不仅能允许机器人模拟人类的决策过程,还能允许机器人模拟人类对其机器人的行为。文献[42]描述了一个使用ACT-R认知架构开发的通用认知模型,它可以应用于任何情况,通过使用决策树的形式来表达该模型的执行指令。文献[43]建立了一种认知模型,通过对潜水员的生理测量来确定潜水员的状态,并通过潜水员与水下机器人CADDY的交互来研究潜水员与CADDY之间的协同控制和最优队形。

    • 脑机接口的历史从1970年代开始,由美国国防高等研究计划局(DARPA)主导[44]。随着电子信息的技术发展,基于脑电(electroencephalo - graph, EEG)信号的人体意图识别研究早在上世纪90年代就开始开展起来。1994年,发表在《Nature》杂志上的一篇文章介绍了人在运动想象场景和观察运动想象场景中脑电信号活跃位置的区别[45],研究表明:当被试者处于观察运动场景中时,活跃的脑电信号主要出现在大脑的视觉皮层位置处,另外也有少量的活跃信号出现在与运动相关的位置(小脑);当被试者处于运动想象场景中时,与运动相关的大脑皮层非常活跃。脑机接口可分为两种,一种是植入式脑机接口,这种方式是通过手术,将传感器直接植入到大脑里,可以直接获取精确的脑信号。瑞士联邦理工学院领导的团队从1998年开始脑机接口的相关研究,在2016年的Cybathlon大赛上获得了脑机接口组的冠军。他们在一个欧洲项目中最早开发出的自适应大脑接口,针对的是具有运动功能障碍的残疾人,实现了用EEG信号来识别3种不同的指令,并且不局限于实验室环境中[46]。1998年,文献[47]在锁闭综合症的患者大脑里植入了植入式传感器,获取了高精度的脑信号并以此控制了电脑。文献[48]将传感器直接设置在肢体运动功能丧失者的大脑皮层,在患者想像运动时成功通过此传感器获取了脑信号,并用该患者脑信号控制了机器手。文献[49]通过植入式脑机接口为截瘫患者提供了触觉反馈。文献[50]在2008年研究了一种植入式脑控制矫正方法,通过这种方法让四肢麻痹的猴子恢复对前臂的控制。近年来植入式脑机接口在控制截瘫患者穿戴的机器人中有很好的效果[51-52],但是穿颅术存在很多外科并发症的风险,例如感染或者大出血等,而且需要在大脑中进行植入,还存在临床风险和伦理方面的阻碍。因此,非植入式脑机接口对于完全瘫痪的患者来说更具有吸引力。非植入式脑机接口是通过安置在头部外的传感器获取信号并控制机器。和植入式相比,这种方式传感器设置简单,对用户的负担低,安全性和可靠性高。现在,因为技术稳定并且可靠性较高,大多数非植入式脑机接口都基于EEG[53],也有一些基于近红外[54]等的研究,部分研究将非植入式脑机接口应用到了外骨骼机器人中[55]。但因为非植入式脑机传感器获取的脑信号需要通过头发、头皮、头盖骨等,所以获得的信号会受到生理或其他机器的干扰及影响,导致信号衰减和信号精度的降低。

    • 外骨骼系统目前已在脑卒及脊髓损伤康复中得到广泛的应用,可为下肢提供高重复、高强度和任务导向型的步行训练,改善步态、步速等步行能力。美国一些学者用111名脊髓损伤患者作为受试者研究了外骨骼系统对脊髓损伤康复的作用,14名受试者代表中8名用ReWalk系统,3名用Ekso系统,2名用Indego系统,还有1名用未知名的外骨骼系统,进行每周3次,每次60~120 min,1~24周的训练。结果显示76%的受试者可以利用外骨骼行走,不需要其他人帮助;行走平均速度为98 m/min;能耗为3.3 METs (代谢当量),比RGO (步态矫形器)或HKAFO (髋膝踝足矫形器)低50%;38%的受试者痉挛情况有所好转;61%的受试者排便状况有所好转[56]。文献[57]通过对92名C4-L1的脊髓损伤患者的临床研究,证明了训练时间越长,损伤平面下降的越低,步行速度越快。除了脊髓损伤方面的临床研究,外骨骼在中风康复方面的临床效果也有许多研究,证明了使用外骨骼训练一段时间后在步行姿势方面有所改善[58],步行能力有所提高且无明显不良反应[12]。还有临床研究证明外骨骼能够改善步行,与脑神经的可塑性有关,即通过外骨骼的步行训练,能够加快脑神经的重塑[59]

      总之,通过各种临床试验证明了外骨骼机器人对患者在步态改善、脑神经皮层脊髓兴奋性刺激、肌力等方面有一定的改善。

    • 手术机器人作为国内外医疗领域新兴发展的技术之一,已经拥有相当成熟的技术,并广泛应用于腹腔镜手术、耳鼻喉手术、心脏手术、骨科手术、儿科手术、头颈外科手术等,其可行性和安全性得到了明确的论证[60]。手术机器人能够为主刀医生提供清晰立体的手术视野,其仿真机械手还能够避免在人工手术中的颤抖,并且能够在人手触及不到的地方进行精细灵活的手术操作,减少了医生的负担和手术的风险,提高了手术的精确性[61]

      手术机器人最早主要应用于腹部外科,1997年3月完成了第一例腹腔镜手术,是目前临床上应用最多的一种手术[62]。在前期的腹腔镜手术中,使用机器人辅助手术受到了很多争议。文献[63]认为没有明确的临床证明能够说明其效果优于标准腹腔镜技术。文献[64]将50例患者分为了两组进行实验,实验结果表明两组患者的临床、内镜及功能预后无显著差异,机器人辅助腹腔镜下胃底固定术在可行性和效果上与传统腹腔镜手术效果相当。随着这几年手术机器人的发展,机器人辅助腹腔镜手术渐渐取得了较好的成效。除此之外,手术机器人还广泛应用于各类外科手术中。手术机器人第一次应用于妇科手术中是在1998年,文献[65]使用AESOP机器人对15名患者进行腹腔镜辅助下阴式子宫全切术,普通手术时间为85 min,而有AESOP辅助下手术时间为70 min,并证实了使用AESOP机器人进行手术比人工控制腹腔镜头更有效。在心胸外科中,1999年利用手术机器人完成了首例冠状动脉旁路移植术,2003年起用于各种心脏外科直视手术[66]。文献[67]对达芬奇手术机器人da Vinci SP进行了安全性和可行性的前瞻研究,对6例接受手术的患者进行的早期结果显示da Vinci SP是安全的,并且可用于鼻咽部、口咽部、喉部和下咽部的手术中。

      综上所述,手术机器人在世界范围内已经广泛应用,但还未普及。利用手术机器人进行手术要比常规医生手术费用高出很多,其高昂的成本是手术机器人未形成普及的原因之一。此外,医生和患者对于手术机器人的信任程度也制约着手术机器人的临床应用。未来手术机器人的轻量化、灵巧化、精密化能够使其成本降低,并且适用于更多的手术场景,逐渐推动其在临床中的应用。

    • 本文首先对人机协同智能系统及其理论方法进行了介绍,并对几种典型的人机协同智能系统在临床中的应用效果进行了总结。人机协同智能系统理论方法包括人机系统建模技术、物理人机交互技术、认知人机交互技术及脑机接口技术。人机系统建模不同于传统机器人的建模,本文以典型的人机协同智能系统外骨骼机器人为例,介绍了人机系统建模中步态分析、平衡分析、能量消耗等研究。物理人机交互是目前应用最普遍的人机交互方式,技术已经十分成熟。认知人机交互方式作为未来的人机交互趋势,国内外已经有了初步的研究,并且还在进一步的探索中。植入式脑机接口在实际应用中由于其风险较大,不易被接受,植入式脑机接口在控制机械臂、外骨骼、结合VR等方式中对脑神经受损患者的脑神经重塑有着很好的效果。最后,在人机协同智能系统的临床应用中,主要介绍了外骨骼机器人及手术机器人这两种典型人机协同智能系统在临床方面的应用。外骨骼机器人作为近几年新兴的康复系统,国内外已经有不少系统应用于临床上,并且证明了其在步态、平衡、肠胃、肌力、肌张力的改善和脑神经重塑等方面的有效性和安全性。手术机器人在多种外科手术中都能发挥有效的作用,其准确的定位和遥操作的方式提高了手术的准确率和效率,减少了安全隐患和医生的负担,然而由于成本、信任度、精密度等方面的制约,还未普及。

      目前,人机协同智能系统的发展还停留在机器对人类状态的识别阶段。未来人机协同智能系统的发展将更趋向于个性化、远程化、智能化,在人体状态感知和意图识别、人机协同感知与认知、人机在决策规划和控制执行中的交互与协同、个性化人机协同控制技术方面将会有更大的突破。

参考文献 (67)

目录

    /

    返回文章
    返回