基于人工智能的全周期鼻窦炎手术云辅助系统的

本发明属于手术辅助领域，具体是一种基于人工智能的全周期鼻窦炎手术云辅助系统。背景技术：1、功能性内窥镜鼻窦手术(fess)是慢性鼻窦炎(crs)的标准治疗方法。传统的鼻窦炎手术辅助系统存在功能性内窥镜鼻窦手术术后患者的解剖结构发生显著改变，功能性内窥镜鼻窦手术后患者的鼻窦腔几何形状和通气状态难以理解量化的问题；存在传统的外科导航系统通常将刚性标记固定到患者骨头上，然后再次进行医疗扫描或使用跟踪工具数字化标志物，不仅具有侵入性和繁琐性，还可能增加额外的辐射暴露风险和人工操作开销，且大多数关于ar跟踪的技术都集中在ar设备在其环境中的自我定位上，不能直接应用于类似鼻窦炎手术等此类要求高精度、实时对象跟踪的外科导航系统的问题。技术实现思路1、针对上述情况，为克服现有技术的缺陷，本发明提供了一种基于人工智能的全周期鼻窦炎手术云辅助系统。针对功能性内窥镜鼻窦手术后患者的解剖结构发生显著改变，功能性内窥镜鼻窦手术术后患者的鼻窦腔几何形状和通气状态难以理解量化的问题，本方案对模拟气流进行流体动力学建模，可视化地给医生和患者提供一种术后鼻窦通气形象化理解的解决方案，实现对功能性内窥镜鼻窦手术术后鼻窦气流的量化，并有助于优化药物输送治疗设备；针对传统的外科导航系统通常将刚性标记固定到患者骨头上，然后再次进行医疗扫描或使用跟踪工具数字化标志物，不仅具有侵入性和繁琐性，还可能增加额外的辐射暴露风险和人工操作开销，且大多数关于ar跟踪的技术都集中在ar设备在其环境中的自我定位上，不能直接应用于类似鼻窦炎手术等此类要求高精度、实时对象跟踪的外科导航系统的问题，本方案基于slam跟踪系统和手术器械跟踪系统在hololens 2上实现无束缚的端到端外科导航，获得手术器械在手术环境中的具体位置和姿态，提高了手术的精确性，减少了对传统固定基础设施的依赖，简化手术流程。2、本发明采取的技术方案如下：本发明提供的一种基于人工智能的全周期鼻窦炎手术云辅助系统，所述系统包括应用程序模块、ar头戴式显示设备、离线操作模块、器械跟踪模块、鼻窦建模模块；ar头戴式显示设备搭载手术头灯、左前置摄像l和右前置摄像r；3、所述离线操作模块对左前置摄像l和右前置摄像r进行校准，在医疗器械上附加一组标记球，补充额外光源，构建手术室环境地图；4、所述器械跟踪模块在术中阶段，从左前置摄像l和右前置摄像r采集的术中图像中提取标记球轮廓，采用本征约束，提取标记球的对应关系；根据标记球的对应关系，器械跟踪模块采用单约束扩展卡尔曼滤波器对医疗器械进行跟踪并保持跟踪，实时捕捉医疗器械的位置和姿态，将医疗器械的位置和姿态实时传输至ar头戴式显示设备和应用程序模块；5、所述鼻窦建模模块采集患者术后鼻腔的扫描图像，根据扫描图像，对患者术后的鼻腔气道进行建模，生成等值线图，将等值线图输出至应用程序模块；6、所述应用程序模块采集并展示鼻窦炎患者信息，接收器械跟踪模块输入的医疗器械的位置和姿态，进行实时投影成像展示，接收鼻窦建模模块输入的等值线图，实现可视化展示；7、所述ar头戴式显示设备接收来自器械跟踪模块的医疗器械的位置和姿态投影，并实时成像；8、所述基于人工智能的全周期鼻窦炎手术云辅助系统采用基于人工智能的全周期鼻窦炎手术云辅助方法对鼻窦炎手术进行全周期辅助及可视化展示；9、所述基于人工智能的全周期鼻窦炎手术云辅助方法包括以下步骤：10、步骤s1：信息采集；在术前阶段，应用程序模块采集鼻窦炎患者信息；11、步骤s2：离线操作；在术前阶段，离线操作模块对左前置摄像l和右前置摄像r进行校准，在医疗器械上附加一组标记球，补充额外光源，构建手术室环境地图；12、步骤s3：标记检测；在术中阶段，左前置摄像l和右前置摄像r采集术中图像，器械跟踪模块提取标记球的对应关系；13、步骤s4：器械跟踪和姿态估计；在术中阶段，器械跟踪模块对医疗器械进行跟踪并实时更新医疗器械的位置和姿态；14、步骤s5：量化术后鼻窦气流；在术后阶段，采集鼻窦炎患者术后鼻腔的扫描图像，鼻窦建模模块根据扫描图像，对患者术后的鼻腔进行建模，创建患者鼻腔气道的三维表面几何模型，使用流体动力学仿真软件，对三维表面几何模型进行多面网格划分，计算鼻窦通气率，量化鼻窦通透程度；15、进一步的，在步骤s2中，离线操作，具体包括以下步骤：16、步骤s21：立体校准；使用matlab相机校准工具箱，对ar头戴式显示设备搭载的左前置摄像l和右前置摄像r进行校准，获取内参矩阵；17、步骤s22：定义可跟踪的医疗器械；在医疗器械上附加一组标记球，以医疗器械任一预设点为原点；18、步骤s23：补充额外光源；在ar头戴式显示设备上安装手术头灯，作为额外光源照亮标记球；19、步骤s24：地图构建；使用ar头戴式显示设备内置的slam算法构建手术室环境地图，并将ar头戴式显示设备在启动时的位置设定为世界坐标系；20、步骤s25：计算医疗器械在世界坐标系的位置和姿态，所用公式如下：21、；22、表示医疗器械在世界坐标系的位置和姿态，表示ar头戴式显示设备在世界坐标系的位置和姿态，表示医疗器械在左前置摄像l和右前置摄像r坐标系中的位置和姿态；23、进一步的，在步骤s3中，标记检测，具体包括以下步骤：24、步骤s31：在术中阶段，左前置摄像l和右前置摄像r分别采集术中图像；25、步骤s32：采用自适应阈值算法，器械跟踪模块将术中图像分割成背景和含有标记球的标记区域，采用连通分量搜索，从标记区域中提取标记球轮廓，根据轮廓的面积和形状筛选标记区域，消除识别错误的标记区域；26、步骤s33：采用本征约束，在左前置摄像l和右前置摄像r采集的术中图像之间，器械跟踪模块提取标记球的对应关系；27、进一步的，在步骤s4中，器械跟踪和姿态估计，具体包括以下步骤：28、步骤s41：根据标记球的对应关系，采用立体视觉技术中的三维三角测量算法对医疗器械进行初始化；29、步骤s42：采用单约束扩展卡尔曼滤波器对医疗器械进行跟踪，保持跟踪，获得医疗器械的位置和姿态；30、步骤s43：当单约束扩展卡尔曼滤波器丢失对医疗器械的跟踪时，重复步骤s41，重新对医疗器械进行初始化，恢复对医疗器械的跟踪；31、步骤s44：当左前置摄像l和右前置摄像r在时间上实现帧同步时，采用三维三角测量对医疗器械进行跟踪；32、步骤s45：当左前置摄像l和右前置摄像r在时间上没有实现帧同步时，由单约束扩展卡尔曼滤波器对医疗器械的位置和姿态进行估计，具体步骤如下：33、步骤s451：状态预测；根据上一帧的术中图像，单约束扩展卡尔曼滤波器预测在当前帧的术中图像中，医疗器械的位置和姿态，将预测的医疗器械位置和姿态记为预测姿位；34、步骤s452：反投影；将当前帧中的预测姿位投影至当术中图像中；35、步骤s453：校正；在当前帧中，计算预测姿位和真实的医疗器械位置和姿态之间的残差和卡尔曼增益，调整单约束扩展卡尔曼滤波器对医疗器械预测姿位的估计；36、步骤s46：器械跟踪模块将预测的医疗器械的位置和姿态实时投影至ar头戴式显示设备和应用程序模块；37、进一步的，在步骤s42中，使用单约束扩展卡尔曼滤波器对医疗器械进行跟踪，保持跟踪，获得医疗器械的位置和姿态，具体包括以下步骤：38、步骤s421：使用单约束扩展卡尔曼滤波器估计和更新医疗器械的状态向量，所述状态向量如下所示：39、z=[x,y,z,ẋ,ẏ,ż,φ,θ,ψ,φ̇,θ̇,ψ̇]；40、式中，表示医疗器械在三维空间中的位置、表示医疗器械在三维空间中的线速度，表示医疗器械在三维空间中的旋转角度，表示医疗器械在三维空间中的角速度；41、步骤s422：单独维护一个四元数用于表示医疗器械的旋转姿态；42、进一步的，在步骤s44中，当左前置摄像l和右前置摄像r在时间上实现帧同步时，采用三维三角测量对医疗器械进行跟踪，具体包括以下步骤：43、步骤s441：计算左前置摄像l的投影矩阵，公式如下：44、；45、式中，是表示左前置摄像l投影过程的投影矩阵，表示左前置摄像l的内参矩阵，表示单位矩阵，即不对术中图像进行任何旋转或平移变换；46、步骤s442：计算右前置摄像r的投影矩阵，公式如下：47、pr=kr[rr|ltrl]；48、式中，是表示右前置摄像r投影过程的投影矩阵，表示右前置摄像r的内参矩阵，[rr|ltrl]是右前置摄像r的外参矩阵，表示从左前置摄像l坐标系到右前置摄像r坐标系的旋转平移变换；49、步骤s443：利用三角测量算法，估计在术中图像中检测到的标记球的三维位置，确定医疗器械的位置和姿态；50、步骤s444：参考左前置摄像l和投右前置摄像r的投影矩阵，将医疗器械投影至ar头戴式显示设备和应用程序模块；51、进一步的，在步骤s5中，量化术后鼻窦气流，具体包括以下步骤：52、步骤s51：在术后阶段，鼻窦建模模块采集鼻窦炎患者术后鼻腔的扫描图像；53、步骤s52：创建表面几何；鼻窦建模模块对扫描图像进行气道分割、平滑和伪影校正处理，并导入医学成像软件，医学成像软件创建患者鼻腔气道的三维表面几何模型，将鼻腔分区；54、步骤s53：网格生成；使用流体动力学仿真软件，对三维表面几何模型进行多面网格划分，并通过网格独立性测试确定最佳网格密度；55、步骤s54：计算鼻窦通气率，量化鼻窦通透程度，公式如下：56、；57、式中，代表鼻窦通气率，是包围窦腔的窦口处截面面积，是进入鼻窦的速度向量，是的向量面积；58、步骤s55：在固定吸入流速下，截取鼻腔气道的三维表面几何模型，鼻窦建模模块生成并输出等值线图至应用程序模块，由应用程序模块实现可视化展示。59、采用上述方案本发明取得的有益效果如下：60、（1）针对功能性内窥镜鼻窦手术后患者的解剖结构发生了显著改变，对功能性内窥镜鼻窦手术后鼻窦腔几何形状和通气状态理解仍然有限的问题，本方案对模拟气流进行流体动力学建模，可视化地给医生和患者提供一种术后鼻窦通气形象化理解的解决方案，实现对功能性内窥镜鼻窦手术术后鼻窦气流的量化，并有助于优化药物输送治疗设备；61、（2）针对传统的外科导航系统通常将刚性标记固定到患者骨头上，然后再次进行医疗扫描或使用跟踪工具数字化标志物，传统方法不仅具有侵入性和繁琐性，还可能增加额外的辐射暴露风险和人工操作开销，且大多数关于ar跟踪的技术都集中在ar设备在其环境中的自我定位上，不能直接应用于类似鼻窦炎手术等此类要求高精度、实时对象跟踪用例的外科导航系统的问题，本方案基于slam跟踪系统和手术器械跟踪系统在hololens 2上实现无束缚的端到端外科导航，获得手术器械在手术环境中的具体位置和姿态，提高了手术的精确性，减少了对传统固定基础设施的依赖，简化手术流程。