一种基于多模态通道融合的重症监护系统

本发明属于重症监护领域，更具体地，涉及一种基于多模态通道融合的重症监护系统。背景技术：1、重症监护，是指对因各种原因导致一个或多个器官与系统功能障碍危及生命或具有潜在高危因素的患者，及时提供系统的、高质量的医学监护和救治技术，是医院集中监护和救治重症患者的重要方式，以医护人员为主体，以医疗监护设备为保障，以连续监测治疗为手段。目前，重症监护的核心目标在于保证患者生命体征的平稳，也往往只关注医疗监护设备监测到的生命体征数据。2、由于人员配备有限，且监护持续时间较长，这种以医护人员为主体的监护模式具有极大的不确定性，容易忽视患者的非急迫需求，也无法对患者提供必要的情感支持，因为在较长的监护时段内，重症监护室（intensive care unit，icu）内医护人员的注意力并不会持续集中于患者身上，而重症监护患者往往因气管插管等原因丧失了语言沟通能力，有些患者的四肢还会被约束带所绑缚，他们为了与医护人员建立第一次沟通联系时，只能通过挥手、轻拍床边、吧唧嘴、目光注释、吐口水，甚至是故意制造人机对抗、去掉血氧饱和度夹子引起设备报警等方式向医护人员发出召唤信号，但这些召唤信号并不能及时被医护人员所发现，即使医护人员发现了患者的召唤信号，也不一定会及时作出相应的反应，此外，医护人员在执行监护任务时，易受其情绪的影响。3、考虑到患者表达能力受限，在重症监护病房中，大多数护患间往往通过卡片等辅助工具进行交互沟通，交互方式有限，且这些交互方式会增加患者认知负荷，也难以通过交互准确获知患者的意图，这降低了医护人员和患者的使用体验。4、总体而言，现有的重症监护室缺乏有效的监护沟通系统。技术实现思路1、针对现有技术的缺陷和改进需求，本发明提供了一种基于多模态通道融合的重症监护系统，其目的在于，提供一种有效的监护沟通系统，主动识别患者的沟通需求并及时作出相应的反应，提高重症监护的有效性和全面性。2、为实现上述目的，按照本发明的一个方面，提供了一种基于多模态通道融合的重症监护系统，包括：多模态通道融合感知平台、控制平台和分析决策平台；3、多模态通道融合感知平台包括：设置于病床旁的生命体征监护设备和摄像头；生命体征监护设备用于持续监测患者的生命体征数据并实时上传至分析决策平台；第一摄像头用于持续记录患者视频数据并上传至分析决策平台；4、控制平台包括多个沟通机器人；沟通机器人上搭载有第二摄像头、交互设备和控制器；第二摄像头用于在沟通机器人与患者沟通时，持续记录患者的视频数据并上传至分析决策平台；交互设备用于捕获患者的输入信息并上传至分析决策平台；控制器用于融合第二摄像头和交互设备获取的信息，以推断患者的意图；交互设备还用于向患者反馈推断结果，实现双向床旁沟通；5、分析决策平台用于接收多模态通道融合感知平台和控制平台上传的信息，据此判断当前的任务场景后，根据任务场景选取相应的模态通道作为目标模态通道，并基于目标模态通道获取的数据，对患者的生命体征进行监护并推断患者的意图；任务场景包括：实时监护、床旁沟通和执行操作；每一个信息获取设备对应一个模态通道；6、分析决策平台，还用于在患者处于持续监护状态且检测到患者有沟通意图时，选取空闲的沟通机器人，并向该沟通机器人发送指令，使其移动至需要沟通的患者床旁，进行双向床旁沟通。7、进一步地，判断当前的任务场景，包括：8、通过机器学习模型计算当前目标模态通道下的数据对应的意识状态评分和沟通能力评分，并将意识状态评分和沟通能力评分与生命体征数据一起构造为特征向量x；9、按照计算各任务场景下的得分，将得分最高的任务场景确定为当前的任务场景；10、其中， i表示任务场景编号， i=1、2或3； w i和 b i分别表示第 i个任务场景对应的权重向量和偏置， s i表示第 i个任务场景的得分。 11、进一步地，分析决策平台，还用于在沟通机器人与患者进行双向床旁沟通时，向沟通机器人发送患者的生命体征数据；12、并且，控制器用于融合第二摄像头和交互设备获取的信息，以推断患者的意图，包括：13、对第二摄像头记录的视频数据和交互模块获取的交互数据分别进行特征提取，得到视频数据特征向量和交互数据特征向量；14、将生命体征数据表达为特征向量，并与视频数据特征向量和交互数据特征向量整合为综合特征向量；15、使用机器学习分类模型对综合特征向量进行分类，以识别患者的交流意图类别，并使用回归分析模型对患者的连续性意图参数进行预测；16、结合患者的交流意图类别、连续性意图参数以及上下文信息，推断患者的意图；17、其中，上下文信息包括患者的病史、当前的医疗记录以及当前的治疗状态。18、进一步地，沟通机器人处于沟通状态时，控制器还用于在交互设备接收到患者对于意图推断结果的否定信息时，重新获取信息并对患者意图进行重新推断。19、进一步地，控制器还用于在交互设备接收到患者对于意图推断结果的肯定信息时，将相应的生命体征数据、第二摄像头记录的视频数据以及交互设备获取到的交互数据，连同所识别的交流意图类别、连续性意图参数以及意图推断结果上传至分析决策平台。20、进一步地，控制平台还包括多个操作机器人；21、并且，分析决策平台，还用于在沟通机器人推断患者的意图为需要进行预设的护理操作时，向操作机器人发送指令，使操作机器人移动至患者床旁，进行相应的护理操作。22、进一步地，分析决策平台，还用于在向机器人发送指令的同时，根据机器人的位置、患者所在病床的位置以及重症监护室的室内地图信息，通过路径规划算法对机器人向病床移动的路径进行规划，并将规划所得路径信息发送至机器人，使机器人沿该路径移动至病床；23、其中，机器人为沟通机器人或操作机器人。24、进一步地，分析决策平台，在向机器人发送指令之前，会发出提示信息，以提醒医护人员对机器人的行为进行授权；25、并且，机器人在同时收到分析决策平台发送的指令，和医护人员确认授权的信息后，再进行移动；26、其中，机器人为沟通机器人或操作机器人。27、进一步地，分析决策平台，还用于在评估患者的生命体征处于危险状态时，发出警告信息。28、进一步地，交互设备包括：29、视觉交互设备，用于获取非语言表达的输入信息，以及向患者输出视觉信息；30、草图交互设备，用于获取患者的书写或绘图信息；31、语音交互设备，用于获取患者的语音输入信息，以及向患者发送语音信息。32、总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：33、（1）本发明提供的基于多模态通道融合的重症监护系统，除了利用生命体征监护设备持续监测患者的生命体征数据，还会利用设置于床旁的摄像头持续获取患者的视频数据，同时，还包括多个搭载有摄像头和交互设备的沟通机器人，可获取患者的视频数据和交互数据，本发明会融合这些数据判断当前的任务场景，并选取相应的模态通道，由此实现了多模态通道融合和情境自适应，同时会基于所选取的模态通道获取的数据对患者意图进行主动检测，在检测到患者的沟通意图时，会控制沟通机器人移动至床旁与患者进行双向沟通，由此能够及时检测到患者的沟通意图，并作出相应的反应，在生命体征监护之外，能够满足患者的非急迫需求并提供相应的情感支持，提高了重症监护的有效性和全面性，并且，避免了医护人员执行监护任务的不确定性。34、（2）患者的意识状态和沟通能力不同，适用的任务场景不同，本发明融合不同模态通道获取的数据，先对患者的意识状态和沟通能力进行评分，再结合生命体征数据，利用线性分类模型，计算各任务场景对应的评分，并将得分最高的任务场景确定为当前的任务场景，作为选取模态通道的依据，由此能够有效对模态通道进行管控，自适应选择最适当的模态通道与患者交互。35、（3）本发明中，沟通机器人对患者意图进行推断时，会综合视频数据特征向量、交互数据特征向量和生命体征数据特征向量，对患者交流意图类别（恶心、疼痛、呼吸不畅、寻求关怀、了解病情、处理口渴等）和连续性意图参数（疼痛强度、情绪程度等）进行预测，并综合交流意图类别和连续性意图参数预测结果和上下文信息（病史、当前的医疗记录、当前的治疗状态等）推断患者的意图，由此能够有效整合精确的输入（生命体征数据、点头动作、眨眼动作等）和非精确输入（抬手、手势、眼球运动方向、肢体运动轨迹等），准确推断患者的意图，提高与患者交互过程的自然性和高效性。36、（4）本发明中，沟通机器人对患者意图进行推断时，还会实时将推断结果通过交互设备反馈给患者，在接收到患者对于推断结果的否定信息后，会重新获取数据并进行推断，由此实现了动态学习与修正，提高了人机交互的智能程度，也提高了意图推断的准确性。在接收到患者对于推断结果的肯定信息后，则会将相应的数据、预测结果和推断结果上传至分析决策平台，由此能够扩充相关预测模型和推断模型的数据集，有利于模型的更新优化。37、（5）本发明提供的基于多模态通道融合的重症监护系统，还包括多个操作机器人，并且在推断出患者需要进行预设的护理操作时，控制相应的操作机器人移动至病床旁执行相应的护理操作，由此能够进一步满足患者的非迫切需求，提升患者的体验。38、（6）本发明在向沟通机器人或操作机器人发送指令的同时，会为机器人规划移动路径，并发送给机器人，由此能够使得机器人及时移动至病床旁并执行相应的沟通任务或护理操作，实现对患者需求的快速响应。39、（7）本发明在向沟通机器人或操作机器人发送指令之前，会先发出提示信息，提示医护人员对机器人的行为进行授权，并且仅在医护人员确认授权之后，才控制机器人移动，通过这一机制，能够有效避免对患者意图推断出错而导致的机器人误操作，保证了重症监护的安全性。40、（8）本发明在评估患者的生命体征处于危险为高危状态时，会发出警告信息，直接由医护人员执行相应的护理操作，保证了重症监护的安全性。41、（9）本发明所提供的基于多模态通道融合的重症监护系统，搭载于沟通机器人之上的交互设备包括视觉交互设备、草图交互设备、语音交互设备，可以实现与不同意识状态、不同沟通能力的患者之间的交互沟通。