基于视频分类的视频头脉冲试验的智能诊断系统

本发明涉及新一代信息，具体为基于视频分类的视频头脉冲试验的智能诊断系统。背景技术：1、头脉冲试验是一种用于评估前庭系统半规管功能的临床测试方法，也称为甩头试验。在甩头试验中，医生会让受试者端坐并注视一个固定的目标。此时，医生会突然快速地转动患者的头部。医生对受试者进行6种不同方向的甩头，分别检查6个不同类型的半规管。测量前庭眼反射(vestibulo-ocularreflex，vor)可以评估半规管的功能。vor是一种快速的眼动反射，能够在头部移动时维持眼球的稳定，从而保持清晰的视觉。vor增益是指眼球运动速度与头部运动速度之间的比率。视频头脉冲试验(vhit)系统采用头戴式眼镜捕捉准确的眼部和头部运动速度，以计算vor增益。2、然而，vhit设备在使用前必须进行繁琐的校准，且结果容易受到校准不佳的影响。为了防止在高速甩头过程中眼罩与受试者眼部位移，从而影响结果的准确性，医生必须将眼罩系紧，但这可能会给受试者带来不适感。检查过程中，由于紧贴眼部的眼罩会挤压上眼睑，导致上眼睑遮盖，进一步影响定位的准确性，从而对检查结果造成影响。在检查结果上仍然需要由医生进行解释。目前尚未有能够实现半规管自动检查的系统。此外，vhit头戴眼罩集成了高精度的传感器和瞳孔定位摄像头，这使得硬件成本昂贵且售价不菲，限制了其普及程度。因此，发明基于视频分类的视频头脉冲试验的智能诊断系统。技术实现思路1、鉴于上述和/或现有基于视频分类的视频头脉冲试验的智能诊断系统中存在的问题，提出了本发明。2、因此，本发明的目的是提供基于视频分类的视频头脉冲试验的智能诊断系统，能够解决上述提出现有的问题。3、为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：4、基于视频分类的视频头脉冲试验的智能诊断系统，其包括具体步骤如下：5、步骤一，甩头试验：使医生对受试者进行甩头试验，在此过程中，使用单目红外摄像头录制整个测试过程的视频，摄像头位于距离受试者正前方1米的位置；其中，需要录制到受试者完整的脸部，且医生需要站在受试者身后；6、步骤二，视频处理：对拍摄的甩头试验视频进行剪切和筛选，输出以单次甩头为单位的视频片段；7、所述视频处理具体包括以下流程：8、流程一，视频剪切：将完整的检查视频剪切成多个独立的片段，每个片段对应一次完整的甩头试验；9、流程二，视频筛选：根据视频片段帧数、受试者关键区域是否在屏幕内、有无眨眼预设条件筛除无效视频片段；10、视频处理具体为：对完整视频进行手动切片，分割成以单次甩头试验为单位的视频片段，并删除帧数大于20帧或受试者的脸部不完全显示的无效片段，筛选后剩余的片段设为数据集；11、步骤三，构建数据集；12、构建数据集具体为：对数据集中的片段进行标注，每个片段贴上两个标签：一号标签有6种(ll，rl，la，ra，lp，lp)，标注为半规管的类型；二号标签有两种(negative，positive)，标注为vor增益是否异常，将数据集划分为训练集和测试集；13、步骤四，信息提取：对于数据集中传入的视频片段进行处理，首先，检测每一帧的人脸关键点，选取其中的鼻尖关键点并计算位移，接着，根据人眼轮廓关键点生成包围盒，并利用包围盒进行分割处理；14、所述信息提取具体包括以下过程：15、过程一，关键点检测：采用深度学习方法，在视频片段的每一帧图像中检测出人脸关键点；具体为：采用google研发的实时人脸跟踪系统mediapipe中的人脸网格模型对视频中的人脸生成关键点；16、过程二，区域裁剪：根据检测到的人眼轮廓关键点坐标分割出左右眼睛轮廓的包围盒；具体为：根据左眼和右眼各自对应的4个轮廓关键点，生成分别包围左眼和右眼的两个包围盒，然后，在每一帧图像中，分割这两个包围盒内的区域；17、过程三，光流提取：使用基于深度学习的光流估计方法从包围盒中提取光流图像序列；18、过程四，位移计算：从人脸关键点中选取鼻尖关键点，并计算位移，使用瞳孔定位算法在包围盒中定位瞳孔，并计算瞳孔的位移；具体为：解析人脸网格模型输出的鼻尖关键点，计算该点在视频中的位移，作为描述头部运动的头部位移序列，同时，调用步骤五中的瞳孔定位算法，分别处理每一帧的左眼包围盒和右眼包围盒，获取瞳孔坐标后分别计算左右瞳孔的位移，作为描述眼部运动的眼部位移序列；19、信息提取具体为：对每个视频片段，使用mediapipe检测出每一帧的鼻尖关键点(第1号关键点)，计算关键点的位移，得到描述头部运动信息的头部位移序列，检测中间帧(向下取整)的右眼轮廓关键点(第159，145，33，133号关键点)和左眼轮廓关键点(第386，374，362，263号关键点)，分别确定包含左右眼轮廓的包围盒；20、步骤五，瞳孔定位：使用瞳孔定位算法在每个包围盒内逐一定位瞳孔；21、所述瞳孔定位算法具体包括以下步骤：22、s1，使用图像处理的方法在包围盒内消除噪声并得到二值图像；具体为：使用基于形态学的图像处理方法去除图像噪声，使用高斯平滑算法、图像阈值化算法、闭运算提取瞳孔的大致位置；23、s2，提取图像内最大连接域的外接圆的圆心，其圆心即瞳孔的中心，以实现能够有效抵御图像噪声的干扰，准确定位瞳孔；24、瞳孔定位具体为：在包围盒内对瞳孔定位，首先，对所有的包围盒进行5×5的高斯平滑去噪处理；然后，使用阈值τ＝20进行二值化；接着，分别使用7×7的结构元素进行闭运算；最后，找到包围盒中的最大连通域，计算外接圆的圆心，该点即为瞳孔坐标点；计算坐标点的位移，得到描述眼部运动信息左眼和右眼的位移序列；25、步骤六，光流估计：使用基于深度学习的光流估计网络将包围盒分割出的区域转换为光流图像序列；26、光流估计具体为：将步骤四中获得的左眼和右眼的包围盒用光流估计网络raft进行处理得到光流序列；27、步骤七，结果分类：构建多模态视频分类网络hitnet，以光流图像序列和位移序列作为输入，并输出半规管定位和定性诊断预测结果，使用标注的数据标签进行有监督训练，得到经过训练后的神经网络；28、所述hitnet为两级网络结构，具体包括第一级网络和第二级网络；所述第一级网络输入左右眼光流图像序列，输出半规管定位的预测结果；所述第二级网络输入头部位移序列、左右眼瞳孔位移序列，输出对半规管定性诊断的预测结果；所述第二级网络包含3个并行的编码器模块，分别对合并双眼的序列、左眼序列、右眼序列进行编码，其中左右眼的编码器权值共享；所述第一级网络的特征提取模块采用3dresnet-50结构；所述第二级网络的三个编码器模块采用bi-lstm结构；29、结果分类具体为：构建包含两级的分类网络hitnet，对训练集进行有监督训练，得到训练后的神经网络，网络的第一级以光流序列作为输入，输出检查的半规管的类型的预测结果，第二级以头部位移序列、右眼位移序列和左眼位移序列作为输入，输出vor增益是否异常的预测结果。30、与现有技术相比：31、本发明使用单目红外线摄像头取代昂贵的vhit设备，利用深度学习方法实现对原始检查视频片段的自动处理，关键点检测、光流估计、瞳孔定位等步骤，构建端到端的多模态视频分类网络，输入包含光流序列、头部位移序列、左右眼位移序列，输出检查的半规管的类型与vor增益的定性判断，与现有vhit系统相比，本发明使用前无需校准，检查过程对患者更加舒适，系统自动输出诊断结果，无需医生二次判断，能够显著提高检查效率。本发明充分利用了深度学习在视频理解与医学图像分析领域的最新技术，设计端到端的框架，实现了半规管功能的自动评估。