一种基于动态手势识别的手部康复评估方法及系

本发明属于计算机视觉和手部康复医疗领域，具体涉及一种基于动态手势识别的手部康复评估方法及系统。背景技术：1、当前深度学习技术在计算机视觉领域取得了巨大的成功，激发了国内外学者们将其应用于医疗图像分析的研究热情。深度学习已在医学图像分类、检测、分隔、配准和检索等方面表现出传统技术无法比拟的性能。由于车祸、骨折等意外事故或者是脑中风、脑卒中、脑血栓以及神经系统疾病等引起的肢体运动功能缺失的发病率有逐年上升的趋势，尤其是手部运动功能的丧失，由此如何基于计算机的医疗图像分析制定手部康复训练作为当下医学热点问题。2、采用机器人或训练手套辅助进行手部康复是较为主流的两种方法，其较传统康复疗法而言在治疗成本上有很大的改观。但是在康复训练的过程中往往存在着患者的参与感不强以及康复效果不明的问题。此外，重要的是由于机械装置的结构和操作程序是结构化的，康复训练手套的大小和每个关节拐点都是固定的。而患者手部的大小形态却存在差异，而为每位患者定制个人的康复设备又不大现实。这就导致患者在使用机械设备进行康复训练的过程是存在危险的，轻者会出现设备脱落的现象，重则可能导致患者手部出现骨折，对患者造成二次伤害。技术实现思路1、本发明提出了一种基于动态手势识别的手部康复评估方法及系统，使用基于yolov5的轻量化手势识别模型对患者所做的康复手势进行准确识别，并将识别结果和医学领域中手部康复训练有机结合评估，为手部康复工作制定更加高效和便捷的训练方式。2、本发明的第一方面提供了一种基于动态手势识别的手部康复评估方法，所述方法包括：3、根据预设的手部目标框信息，结合残差步骤网络对用户的手部姿态进行识别，得到手部关键点信息；其中，所述手部目标框信息是通过基于yolov5的目标检测模型对采集的用户手势图像进行检测，得到的满足预设要求的手势图像；所述手部关键点信息包括第一阈值个手部关键点；4、通过手势匹配算法从所述手部关键点信息中提取手部姿态特征数据；5、根据预设的手部康复姿势标准，使用dtw算法计算所述手部姿态特征数据的相似度，确定用户的手部康复程度。6、上述方案先使用轻量化的yolov5目标检测模型准确并快捷地提取用户的手部信息，再对所述手部信息进行识别提取关键点信息，然后从关键点信息中提取手部姿态特征数据用于和预设的手部康复姿势标准相对比计算相似度，得到准确的用户的手部康复程度，以此为用户提供更加高效和便捷的训练方式。7、在第一方面的一种可能的实现方法中，基于yolov5的目标检测模型，具体为：8、如果接收到跟踪算法更新指令或当前检测的是所述用户手势图像的第一帧，则调用手部目标检测器得到所述用户手势图像的当前帧的手部目标框信息；9、否则，根据所述用户手势图像的上一帧的手部目标框信息，得到所述用户手势图像的当前帧的手部目标框信息。10、上述方案为了提升网络计算的效率使模型轻量化，并不是每一帧的计算都需要调动手部目标检测器，只在计算第一帧和跟踪算法需要更新的时候才调用，这样减少了网络计算的数据量并提升了数据处理的效率。11、在第一方面的一种可能的实现方法中，根据预设的手部目标框信息，结合残差步骤网络对用户的手部姿态进行识别，得到手部关键点信息，具体为：12、使用残差步骤网络对所述手部目标框信息进行特征提取，得到目标特征数据；13、使用逐元素求和方式对目标特征数据进行融合，以实现对所述手部目标框信息中的第一阈值个手部关键点进行预测，得到手部关键点信息。14、上述方案使用残差步骤网络进行手部姿态识别，可以提取更精确的局部数据，并使用逐元素求和方式融合数据能避免网络容量爆炸，提升获取手部关键点信息的效率。15、在第一方面的一种可能的实现方法中，通过手势匹配算法从所述手部关键点信息中提取手部姿态特征数据，具体为；16、根据预设的角度特征点，计算每个手部关键点和其他手部关键点之间的角度关系，得到第一特征向量；17、根据预设的距离特征点，计算每个手部关键点和其他手部关键点之间的距离关系，得到第二特征向量；18、根据所述第一特征向量和所述第二特征向量，得到所有手部关键点的特征向量并构建成一个特征矩阵，以此得到手部姿态特征数据。19、上述方案对手部关键点信息从角度和距离的关系提取关键点的特征向量，以此准确描述每个手部关键点的特征信息，再将所有手部关键点的特征向量并构建成一个特征矩阵，以此得到手部姿态特征数据，为后续的相似度计算提供数据支撑。20、在第一方面的一种可能的实现方法中，角度关系和距离关系，具体为：21、将包含所有手部关键点的区域平均分为第一阈值份，根据每个手部关键点与其他手部关键点之间的相对角度确定所述角度关系；22、计算每个手部关键点与其他手部关键点之间距离的总和并平均，得到每个手部关键点的距离平均值，并将所述距离平均值进行计算处理，得到每个手部关键点和其他手部关键点之间的距离关系。23、上述方案通过对每个手部关键点与其他手部关键点之间的相对角度和相对距离进行描述，以得到每个手部关键点的特征向量。24、在第一方面的一种可能的实现方法中，根据预设的手部康复姿势标准，使用dtw算法计算所述手部姿态特征数据的相似度，确定用户的手部康复程度，具体为：25、从所述手部姿态特征数据中提取第一手部关键点的手部运动数据序列，并获取标准康复手势模版的手部运动数据序列；26、计算第一手部关键点的手部运动数据序列和标准康复手势模版的手部运动数据序列中每个元素之间的距离，构建第一手部关键点的距离矩阵；27、对所述距离矩阵进行预处理，并计算所述距离矩阵中每个元素的最小成本路径长度和dtw距离；28、根据所述最小成本路径长度和dtw距离，得到所述手部姿态特征数据的相似度；29、根据康复程度评价标准对所述手部姿态特征数据的相似度进行判定，确定用户的手部康复程度。30、上述方案将第一手部关键点的手部运动数据序列和标准康复手势模版的手部运动数据序列进行计算，构建第一手部关键点的距离矩阵；再计算所述距离矩阵中每个元素的最小成本路径长度和dtw距离，得到所述手部姿态特征数据和手部康复姿势标准的相似度，为评估用户的手部康复程度提供准确地数据。31、在第一方面的一种可能的实现方法中，根据康复程度评价标准对所述手部姿态特征数据的相似度进行判定，确定用户的手部康复程度，具体为：32、当所述手部姿态特征数据的相似度大于等于第二阈值时，确定所述用户的手部康复程度为a级；33、当所述手部姿态特征数据的相似度小于第二阈值且大于等于第三阈值时，确定所述用户的手部康复程度为b级；34、当所述手部姿态特征数据的相似度小于第三阈值时，确定所述用户的手部康复程度为c级；35、其中，用户的手部康复程度从优到劣分为a、b、c三个等级。36、本发明第二方面提供了一种基于动态手势识别的手部康复评估系统，所述系统包括：手部关键点识别模块，手部姿势提取模块和用户康复程度评估模块；37、手部关键点识别模块，用于根据预设的手部目标框信息，结合残差步骤网络对用户的手部姿态进行识别，得到手部关键点信息；其中，所述手部目标框信息是通过基于yolov5的目标检测模型对采集的用户手势图像进行检测，得到的满足预设要求的手势图像；所述手部关键点信息包括第一阈值个手部关键点；38、手部姿势提取模块，用于通过手势匹配算法从所述手部关键点信息中提取手部姿态特征数据；39、用户康复程度评估模块，用于根据预设的手部康复姿势标准，使用dtw算法计算所述手部姿态特征数据的相似度，确定用户的手部康复程度。40、本发明第三方面提供了一种终端设备，所述设备包括：一种终端设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本发明实施例中任一项所述的一种基于动态手势识别的手部康复评估方法的步骤。41、本发明第四方面提供了一种存储介质，所述存储介质存储计算机可读程序代码，当所述计算机可读程序代码被执行时实现本发明实施例中任一项所述的一种基于动态手势识别的手部康复评估方法的步骤。