基于VR的帕金森手部康复训练系统

本发明属于医疗康复，尤其涉及一种基于vr的帕金森手部康复训练系统。背景技术：1、帕金森病是一种神经系统退行性疾病，其主要症状之一是手部运动障碍，包括手颤、肌肉僵硬等。这些症状严重影响了患者的生活质量和日常功能。传统的康复训练方法通常需要医护人员的直接指导和监督，训练进程缓慢，患者需要花费大量的时间和精力参加康复训练，而且在康复过程中容易出现失去动力的情况。随着科技的发展，vr技术逐渐被运用在医疗康复领域。2、但目前缺少将vr技术应用于帕金森患者手部康复的应用。难以实现在与虚拟环境的交互下，根据不同患者的力量需求，对不同患者提供具有针对性且精准的康复训练方案，虚拟交互时传感检测数据的准确性难以保障也是一大难题，这些问题导致了基于虚拟交互的手部康复训练的效率与效果仍存在不足。技术实现思路1、针对现有技术中的上述不足，本发明提供的一种基于vr的帕金森手部康复训练系统，基于vr技术对帕金森患者进行手部个性化的康复训练，通过与虚拟环境的交互，进行手部的抓握训练，解决了帕金森患者进行手部康复训练的效果和效率不足的问题。2、为了达到上述发明目的，本发明采用的技术方案为：3、本发明提供的一种基于vr的帕金森手部康复训练系统，包括：4、计划制定子系统，用于通过基础力量测试，生成患者的目标训练计划；5、训练执行子系统，用于根据患者的目标训练计划，基于多模态数据融合的vr手部姿态识别方法，通过接入vr设备，执行手部康复训练，并持续得到手部姿态数据；6、结果反馈子系统，用于根据手部姿态数据，进行训练动作指导、训练过程评价和训练报告生成，并显示训练过程评价结果。7、本发明的有益效果为：本发明提供的一种基于vr的帕金森手部康复训练系统，通过计划制定子系统对帕金森患者的手部康复训练提供了基础力量测试，并根据基础力量测试的结果能够自动生成适合患者的目标训练计划，通过训练执行子系统，能够根据患者的目标训练计划，基于vr技术对帕金森患者进行手部的个性化康复训练，其中，通过多模态数据融合的vr手部姿态识别方法，能够准确、快速识别得到患者与虚拟环境的交互以进行抓握等训练时的手部姿态数据，为患者康复训练过程中动作标准度评价和进行相关动作指导提供了基础，本发明所提供的基于vr的帕金森手部康复训练，增加了患者康复训练的动力，且能够根据不同患者的力量需求，提供更加精准的康复训练方案，通过结果反馈子系统能够准确对患者的训练进行指导与评价，为清楚自身康复训练情况，以及不断实现训练效果的提升提供基础。8、进一步地，所述计划制定子系统包括：9、基础力量测试模块，用于分别对患者进行手指力量测试、手掌力量测试和握持力量测试，得到力量测试结果；10、训练计划生成模块，用于根据力量测试结果，生成具有对应大小反作用力的若干组训练项目的初始训练计划；11、计划自主调节模块，用于基于初始训练计划，增加或减少训练项目，以及增加或减少训练项目对应的组数，得到患者的目标训练计划。12、采用上述进一步方案的有益效果为：本发明提供的计划制定子系统，通过对患者进行手指力量测试、手掌力量测试和握持力量测试，能够得到力量的测试结果，根据力量测试结果，自动生成具有对应大小反作用力的若干组训练项目的初始训练计划，在初始训练计划的基础上，患者能够自行进行对训练项目与训练项目对应的组数的增减，从而实现对患者目标训练计划的科学生成和自定义设置。13、进一步地，所述训练执行子系统包括：14、vr接入模块，用于提供患者穿戴的vr手持设备，其中，所述vr设备具有多模态数据融合的vr手部姿态识别方法，以及感知手部运动状态的姿态传感器和若干手部压力传感器；15、vr场景模块，用于提供患者穿戴的vr头戴设备，其中，所述vr头设备用于提供虚拟训练场景、训练动作指导提示、训练计时提示，以及训练分组和训练项目的执行进度提示；16、训练奖励模块，用于在患者每完成一个组训练项目时，生成训练奖励，其中，训练奖励包括奖励画面刺激信号和对应的奖励语音刺激信号；17、模式选择模块，用于根据患者的目标训练计划，选择主动训练模式、被动训练模式和特定动作训练模式，以进行手部康复训练；18、训练执行模块，用于佩戴vr手持设备和vr头戴设备后，根据患者的目标训练计划和选中的主动训练模式、被动训练模式或特定动作训练模式中的一种训练模式，基于训练奖励，执行手部康复训练，持续得到手部姿态数据。19、采用上述进一步方案的有益效果为：本发明提供的训练执行子系统，在多模态数据融合的手部姿态识别方法的基础上，通过vr接入模块实现了对手部康复训练过程中的传感数据进行准确采集，并通过vr场景模块提供虚拟现实的训练场景，在训练场景中提供了训练动作指导、训练计时，以及训练分组和训练项目的执行进度的相关提示，在此基础上，通过自主选择训练模式以进行有奖励回报的康复训练，有效增加了患者康复训练效率，在提升康复效果的同时也增加了患者的康复动力与兴趣。20、进一步地，所述多模态数据融合的vr手部姿态识别方法包括如下步骤：21、s1、获取手部康复训练过程中的姿态传感器生成的加速度数据和角度数据，以及手部压力传感器生成的压力数据，作为各时刻下传感器测量生成的数据，并构建传感器测量生成数据集；22、s2、构建多模态数据融合网络；23、s3、利用传感器测量生成数据集训练多模态数据融合网络，得到训练好的多模态数据融合网络；24、s4、利用训练好的多模态数据融合网络对输入的各时刻下传感器测量生成的数据进行特征提取和预测，得到手部姿势的识别结果，完成多模态数据融合的vr手部姿态识别。25、采用上述进一步方案的有益效果为：本发明提供多模态数据融合的vr手部姿态识别方法，通过患者进行手部康复训练过程中利用传感器测量生成的数据，构建传感器测量生成数据集，并构建和训练好多模态数据融合网络，实现了通过训练好的多模态数据融合网络对手部康复训练过程中的手部姿态数据准确提取，为准确评价手部康复训练效果和不断提升患者手部康复训练的效率提供基础。26、进一步地，所述多模态数据融合网络包括依次连接的输入层、ssa模块、cnn子网络、lstm模块、gru模块、全连接层、第四激活层和输出层；所述cnn子网络包括依次连接的第一卷积层、第一激活函数层、第二卷积层、第二激活函数层、第三卷积层和第三激活函数层；27、所述输入层用于输入各时刻下传感器测量生成的数据；28、所述ssa模块用于对各时刻下传感器测量生成的数据进行去噪处理，得到手部姿态数据；29、所述cnn子网络用于提取手部姿态数据中基本的空间特征，并对基本的空间特征进行融合，得到空间融合特征；30、所述lstm模块用于基于空间融合特征，通过输入门、遗忘门和输出门提取得到长短期记忆特征；31、所述gru模块用于通过复位门和更新门对长短期记忆特征进行优化，得到时空特征；32、所述全连接层用于基于时空特征进行特征分类，并通过第四激活函数层对特征分类结果进行激活后，由输出层输出手部姿势的识别结果。33、采用上述进一步方案的有益效果为：本发明提供的多模态数据融合网络的结构，通过输入层能够将获取到的手部康复训练过程中的传感数据输入至ssa模块以进行去噪和时间维度处理，以得到手部姿态数据，通过cnn子网络，能够对手部姿态数据进行空间特征提取，通过lstm模块和gru模块能够在空间特征的基础上，对手部姿态数据的时空特征进行提取，再通过全连接层和第四激活层，即能够实现对手部姿势进行识别，得到手部姿势识别结果。34、进一步地，所述对各时刻下传感器测量生成的数据进行去噪处理，得到手部姿态数据的方法包括如下步骤：35、a1、分别构建姿态传感器和压力传感器的传感嵌入时间序列；36、所述传感嵌入时间序列的计算表达式如下：37、38、其中，yn表示第n个传感器测量生成的数据，表示第n个传感器在第1个时刻测量生成的数据，表示第n个传感器在第2个时刻测量生成的数据，表示第n个传感器在第t′个时刻测量生成的数据；39、a2、将传感嵌入时间序列转化为多维序列，得到轨迹矩阵；40、所述轨迹矩阵的计算表达式如下：41、42、43、其中，xn表示轨迹矩阵，表示第n个传感器的1维嵌入时间序列，表示第n个传感器的2维嵌入时间序列，表示第n个传感器的i维嵌入时间序列，表示第n个传感器的k维嵌入时间序列，表示第n个传感器在第1个时刻测量生成的数据，表示第n个传感器在第k个时刻测量生成的数据，表示第n个传感器在第l个时刻测量生成的数据，表示第n个传感器在第t′个时刻测量生成的数据，l表示嵌入维数，k表示轨迹矩阵的列数，表示第n个传感器在第i时刻测量生成的数据，表示第n个传感器在第i+1时刻测量生成的数据，表示第n个传感器在第i+l-1时刻测量生成的数据；44、a3、对轨迹矩阵进行奇异值分解，得到左右奇异值分解结果；45、所述左右奇异值分解结果的计算表达式如下：46、47、δ＝diag(σ1,σ2,...,σd)48、其中，ul×l表示轨迹矩阵的左奇异矩阵，δ表示对角矩阵，diag(·)表示对角矩阵函数，σ1表示轨迹矩阵的第1个正奇异值，σ2表示轨迹矩阵的第2个正奇异值，σd表示轨迹矩阵的第d个正奇异值，表示轨迹矩阵的右奇异矩阵的转置，t表示矩阵的转置；49、a4、根据左右奇异值分解结果，选取若干个大的奇异值描述轨迹矩阵，得到去噪近似轨迹矩阵；50、所述近似轨迹矩阵的计算表达式如下：51、52、其中，表示近似轨迹矩阵，ul×r表示奇异值个数为r的左奇异矩阵，δr×r表示奇异值个数为r的对角矩阵，表示奇异值个数为r的右奇异矩阵的转置，(hi′,j′)l×k表示近似轨迹矩阵中第i行第j列处的去噪信号元素；53、a5、对近似轨迹矩阵进行对角平均化，得到手部姿态数据；54、所述手部姿态数据的计算表达式如下：55、56、57、lp＝min(l,k)，kp＝max(l,k)，58、其中，yn_res表示手部姿态数据，表示去噪重建的第n个传感器在第1个时刻测量生成的数据，表示去噪重建的第n个传感器在第2个时刻测量生成的数据，表示去噪重建的第n个传感器在第k个时刻测量生成的数据，表示去噪重建的第n个传感器在第t′个时刻测量生成的数据，hm,k-m+1表示近似轨迹矩阵中第m行第k-m+1处的去噪信号元素，lp表示对角元素左界，kp表示对角元素右界，min(·)表示取最小值，max(·)表示取最大值。59、采用上述进一步方案的有益效果为：本发明提供ssa模块对各时刻下传感器测量生成的数据进行去噪处理，得到手部姿态数据的方法，通过构建时间序列、矩阵化处理和奇异值分解并重构，实现了对手部康复训练过程中获取到的传感器生成数据的时间维度和去噪处理，从而为手部姿态数据的时空特征提取与手部姿态识别提供高精度的数据支撑。60、进一步地，所述结果反馈子系统包括：61、训练动作指导模块，用于在特定动作训练模式下，根据手部姿态数据判断患者动作是否达标，并通过vr场景模块在虚拟训练场景中显示该特定动作的变化动图、未达标提示和达标提示，直至完成特定动作训练模式下的手部康复训练；62、训练过程评价模块，用于对完整手部康复训练中每个训练分组和每个训练项目对应的训练时间和达标程度进行打分评价，得到训练过程评价结果；63、训练报告生成模块，用于打印训练过程评价结果，并在手部康复训练结束后，通过vr场景模块在虚拟训练场景中显示训练过程评价结果。64、采用上述进一步方案的有益效果为：本发明提供的结果反馈子系统，通过训练动作指导模块，根据手部姿态数据即可判断患者康复动作的达标率，并通过对训练动作进行提示，促进了患者手部康复训练过程中的动作达标，通过训练过程评价模块和训练报告生成模块实现了对康复训练中动作评价结果进行反馈和展示，从而更清晰地了解患者的手部康复情况。65、进一步地，还包括信息录入子系统；所述信息录入子系统用于对于首次进行基于vr的帕金森手部康复训练的患者录入个人基本信息；所述个人基本信息包括用户编号、姓名、年龄、性别、患病史和目前症状。66、采用上述进一步方案的有益效果为：本发明提供的信息录入子系统能够对初次通过本发明系统进行基于vr的帕金森手部康复训练的患者进行基本信息录入，从而根据具体情况，实现患者信息的统一管理，便于患者手部康复信息和康复情况的数据管理。67、进一步地，还包括数据存储子系统；所述数据存储子系统用于存储患者的个人基本信息和每次手部康复训练对应的训练过程评价结果。68、采用上述进一步方案的有益效果为：本发明提供数据存储子系统，实现了对患者个人基本信息与训练过程评价结果的关联存储，为观测患者康复情况提供基础。69、针对于本发明还具有的其他优势将在后续的实施例中进行更细致的分析。