考虑患者情绪的数字孪生上肢康复训练机器人及

本发明主要涉及遥操作系统，具体涉及一种基于数字孪生与多传感器数据融合的遥操作智能控制康复机器人及康复训练方法，在训练过程中能够还原训练师动作且同时考虑患者情绪以调整训练。背景技术：1、因脑卒中等疾病或事故引起的肢体功能残障的患者来说，进行康复训练就可以有效恢复神经肌肉的功能，大大减少造成终身残疾的可能性。如果患者需要进行科学的康复训练，就需要训练师的介入，但是随着患病率呈整体上升的趋势，训练师与患者的数量逐渐不匹配，于是遥操作康复机器人应运而生，便于训练师一对多的操作。2、遥操作系统主要指操作者通过主端人机交互设备来控制从端机器人进行探索和作业任务。典型的遥操作系统由操作者、人机交互设备、主端机器人、通信通道、从端机器人和环境等几部分組成。近几十年来，随着应用计算机技术、自动控制原理、传感器应用技术等的快速发展，遥操作康复机器人系统的技术越来越成熟和普及，但是还存在一系列的问题：3、1、如目前存在的捕获人体上肢信息的穿戴系统，给出了各个模块功能及在人体大臂、小臂及手上的设置方式，可以完整捕捉上肢运动信息，能够应用于人机交互、遥操作等领域，但是存在各个模块设置不合理、穿戴不方便的缺陷，并且未充分考虑不同性别和年龄人体上肢的特征，无法做到让每个人适合穿戴，对适合的人群未做到泛化；机器人的自由度无法与人类上肢自由度进行很好的匹配；4、2、现有的控制系统从人身上获得的生理反馈数据较少，未将人置于控制环路中，难以让患者达到最舒适的状态；则难以进行针对不同的病情进行一对多的康复。5、3、康复过程中只由训练师操作，患者数据反馈少，如缺乏实时的力反馈；康复过程仍需训练师集中精力进行，每位患者的病情有所差异，在一对多的过程中难以顾及每位患者等。6、4、现有的系统未对人的微表情这项指标进行利用，在面对一些特殊的人群，如聋哑人时，无法及时得知状况。7、5、均依靠实物操作，在正式训练前缺乏一个虚拟系统提前有效规划训练方案，往往发现不合适了临时更换方案，无法有效提高训练效率更无法保证训练效果。技术实现思路1、本发明要解决技术问题在于提供一种基于多传感器融合和“医患在环”控制，考虑患者情绪的数字孪生上肢康复训练机器人及方法，主要解决上肢康复机器人与人体上肢自由度不匹配，患者未能达到更好的康复效果等问题，同时为训练师节约更多时间。2、为解决上述技术方案，本发明采用如下技术方案：3、一种考虑患者情绪的数字孪生上肢康复训练机器人，其特征在于包括：4、一个遥操作主端机器人，用于获取训练师准确的动作信息，并且获取患者在康复过程中的力反馈、心率信息和视频信息，使得训练师能对康复动作加以改变和修正；5、至少一个穿戴式的外骨骼机械臂，分别获取患者的力、心率、肌电信号和面部表情，用于还原训练师的动作、带着患者做相同的运动；其中，肩关节与肘关节之间的连杆长度和肘关节与手腕固定出的连杆长度均设置为根据患者的体型调节；6、搭载数字孪生体的计算机系统，包括根据机械臂的连杆关系建立的数字孪生体模型，以及人机交互模块、语音播报模块；根据不同训练阶段，学习训练师动作并输出以引导外骨骼机械臂复制动作。7、上述技术方案中，设置数据采集模块，包括设置于外骨骼机械臂上的力反馈装置、心率采集器、肌电信号采集器，以及至少在患者面部正前方设置的视觉摄像头，还控制模块分别连接至主端机器人、患者穿戴的外骨骼机械臂和数据采集系统以进行信号和指令交互。8、上述技术方案中，视觉摄像头通过对患者面部关键点的检测，建立患者面部三维模型，根据多模态的面部图像，将较难准确感知的主观情绪表达因素当作困难样本，在训练过程中给予困难样本更多的权重，完成对患者表情的识别和情绪感知。9、上述技术方案中，将患者表情的识别和情绪感知设置为关联机械臂的输出力矩补偿或训练强度调节，将患者的情绪量化表达为挫败、兴奋以及厌恶，并分别对应“过挑战”、“挑战”和“欠挑战”的康复训练任务。10、上述技术方案中，每次康复的过程中，会根据患者的情绪、心率生理信息对机械臂的输出力矩进行相应的补偿，调节训练的强度；在康复的初期和中期阶段，在力矩输出上，引入训练师遥操作轨迹与机械臂真实轨迹之间的误差进行补偿；假设上述数据融合的数据为k，轨迹误差为δx，忽视摩擦的情况下，则有：11、12、其中α、β采取优化的方式获得，目的是为了使患者的生理数据呈现良好的状态，在康复的后期，取β＝0。13、α表示数据融合的数据在机械臂的力控上产生作用的比例，β表示轨迹误差在机械臂力控上产生作用的大小，β＝0时则表示轨迹误差对机械臂差生力的大小没有影响。14、上述技术方案中，机械臂为三自由度机械臂，在患者的肩关节处设有两个自由度，以肩关节为原点，沿着手臂方向建立z轴，沿垂直于身体朝前的方向建立x轴，在该右手坐标系下，肩关节采用了俯仰角-偏航角的配置，同时肘关节处设有一个自由度。15、上述技术方案中，调整上述视觉摄像头位置或另外设置视觉摄像头以获取机械臂肘关节与末端在世界坐标系下的轨迹信息。16、上述技术方案中，采用lsm算法对相机进行标定，完成轨迹获取时相机关节点与末端点的坐标从相机坐标系到世界坐标系的转化。17、上述技术方案中，所述数字孪生体设置为根据康复所处阶段配置不同的模式，包括：18、在康复的初始阶段的示教模式，在训练师针对患者做康复动作的同时，数字孪生会辅助训练师监控患者各项生理数据是否正常，并且学习训练师的动作；19、当康复过渡到中期的第二模式，代替训练师完成康复训练的任务，自主产生本该由主端机器人发出的控制序列，通过控制模块转化为从端机器人控制序列；20、康复后期的第三模式，收集了足够多的患者数据后，结合前期学习的康复动作，在仿真环境下，对训练的动作做出改进，达到更好的康复效果；在往后的康复中，通过仿真环境映射至真实环境中。21、上述技术方案中，数字孪生体依靠前期深度学习神经网络对患者生理信息进行学习得到学习后的数字孪生体模型；基于该学习后的数字孪生体模型，在各模式中，数字孪生体设置为通过遥操作方式引导患者模仿训练师动作，且设置为根据患者面部情绪和生理信息关联训练难度。22、上述基于“医患在环”控制的上肢康复遥操作康复机器人，其特征在于：采用为domain randomization算法将仿真环境映射到真实环境，对仿真环境中的参数随机化，使得模拟环境中的参数大概率攘括真实环境中的参数。23、本发明的上肢康复遥操作康复机器人，其特征在于：采用为domainrandomization算法将仿真环境映射到真实环境，对仿真环境中的参数随机化，使得模拟环境中的参数大概率攘括真实环境。24、本发明还保护一种考虑患者情绪的数字孪生上肢康复训练方法，其特征在于采用上述的考虑患者情绪的数字孪生上肢康复训练机器人；包括：25、在康复的初始阶段的示教模式，在训练师针对患者做康复动作的同时，数字孪生辅助训练师监控患者各项生理数据是否正常，并且学习训练师的动作；26、当康复过渡到中期的第二模式，代替训练师完成康复训练的任务，自主产生本该由主端机器人发出的控制序列，通过控制模块转化为从端机器人控制序列；27、康复后期的第三模式，收集了足够多的患者数据后，结合前期学习的康复动作，在仿真环境下，对训练的动作做出改进，达到更好的康复效果；在往后的康复中，通过仿真环境映射至真实环境中；28、在各模式中，均包括通过遥操作方式引导患者模仿训练师动作，还包括患者面部情绪的生理信息时刻进行观测和评估，若发生异常，则通过人机交互模块和语音播报模块采取必要的措施。29、上述方法中，利用患者面部情绪表达因素对训练进行观测和评估按如下步骤进行：30、康复训练过程中检测面部关键点，用于建立患者面部三维模型：根据多模态的面部图像，将较难准确感知的主观情绪当作困难样本，在训练过程中给予困难样本更多的权重；训练患者面部三维模型并用于康复训练；31、采集康复训练中的情绪识别因素，根据识别处情绪的具体状态分别匹配不同的任务难度；32、在不同的情绪之间设置不同的难度递减或递增规则。33、综上，本发明是一种基于数字孪生与多数据融合的遥操作康复机器人技术，它应有训练师操作的主端机器人、患者的可穿戴式外骨骼从端机器人，数据采集系统和搭载了数字孪生体的计算机系统四大部分组成。34、康复机器人主端其功能在于获取训练师准确的动作信息，并且反应患者在康复过程中的力，通过力的反馈，使得训练师能对康复动作加以改变和修正。可穿戴式外骨骼从端机器人，其功能在于，还原训练师的动作、带着患者做相同的运动。数据采集系统包括了视觉摄像头、肌电采集器、力觉反馈器等组成，根据采集的数据作为评价患者状态的依据。搭载数字孪生体的计算机系统主要以训练师作为学习的对象，不同的模式发挥不同的功能。35、本发明具有很强的可靠性，为康复康复提供了一种新的途径，能够有效解决目前专业医疗人员与患者数量不对等的问题，使患者在得到更好的康复效果的同时，减轻了医疗人员的工作压力，种种优点，使得该发明能有效的应用于康复康复的场合中。36、相对于现有技术，本发明的有益效果在于：37、现有技术的辅助上肢训练的协作式机器人，控制模块接收肌电模块的在线控制决策和软件模块的运动参数设定，控制机械臂进行安全的上肢康复训练，更侧重于肌电信号的采集和处理，通过肌电信号和协作式机器人技术来辅助上肢康复训练。训练师无法参与训练过程，且无面部表情的数据采集，无法模拟真实的训练过程。38、本发明采用遥操作技术、多传感器数据的融合以及数字孪生体的配合，通过遥操作的技术让患者模仿训练师的动作，方便患者进行远程康复，并且训练师的引导能够增强康复的效果；多传感器数据的融合提高了患者数据反馈的可靠性，便于控制器做出更加智能的控制；数字孪生体在不同的康复阶段发挥着不同的功能，提高康复的灵活性和个性化。39、其次，本发明结合数字孪生技术，在不同的康复阶段，配合训练师完成不同的任务。初期，数字孪生学习训练师的动作；中期，可选择数字孪生对患者进行动作引导；后期，收集到足够多的患者数据后，数字孪生可在虚拟环境中进行仿真，更改康复动作，达到更好的康复效果。数字孪生体可以代替训练师完成相应的动作，从虚拟映射到现实，控制从康复机器人的运动。40、再次，本发明主端机器人结合多传感器身体信号数据，同时从端机器人还搭载了视觉摄像头，实时采集患者的面部图像，根据深度学习算法，通过患者面部表情得到患者的情绪信息，情绪信息与心率等数据合理地融合成在一定程度上能够反映患者状态的完整信息。利用患者各项数据的反馈调节控制器相关参数，让患者也位于整个系统的控制环路中，使患者在整个康复过程中达到一个最舒适的状态；结合不同的康复阶段，改变控制策略，达到更好的康复效果。41、再其次，本发明提供力反馈机制，增强训练师的操作感受，提高操作时的精度，使患者达到更好的康复效果。42、最后，本发明设计的从端机器人的机械结构，适用于广大的人群，面对上肢长度不同的人时，可以调节机械臂使其固定在患者感觉最舒适且康复效果最佳的位置上。该机械机构也更加符合人体上肢的自由度，可以达到更好的康复效果。