一种采用AR眼镜进行远程诊疗的系统和方法与流程

本发明涉及医疗器械领域，尤其涉及一种采用ar眼镜进行远程诊疗的系统和方法。背景技术：1、随着互联网+技术的普及，目前的诊疗已经不再拘泥于线下面对面问诊了，很多医疗单位开始在日常看诊中引入远程诊疗来进行线上看诊。2、互联网远程诊疗技术的进步一定程度上解决了医疗行业面临的医疗资源配置不均、医疗服务能力和水平参差不齐等问题，提升了危重症的识别及救治能力、患者看病的效率；但是互联网远程诊疗中现有技术难以解决院外危、急症患者无法第一时间通过第一视角将患者体征及各项资料实时传递至高级别专家并进行互动指导，基层医生接诊时缺少足够有效的医疗案例辅助决策等问题，所以人们需要一种基于ar眼镜进行远程医疗的方法和技术来解决上述问题。3、ar眼镜相较传统的远程医疗系统具有自由、便捷的特点，不受时间、地点的限制，可在院前或院内根据实际需求随时发起。技术实现思路1、为了克服现有技术的上述缺陷，本发明提供了一种采用ar眼镜进行远程诊疗的系统和方法，以解决背景技术中提出的问题。2、为了实现上述发明目的，本发明一方面提供了一种采用ar眼镜进行远程诊疗的系统，所述系统包括：3、用户端，所述用户端为app产品，所述用户端包括用于让患者进行预约的预约会诊模块、图文问诊模块、患者信息管理模块；4、ar眼镜端，包括ar眼镜设备，所述ar眼镜端用于会诊发起医生使用，所述ar眼镜端通过视频、音频的形式采集患者信息；5、ai系统，所述ai系统包括ai辅助诊疗模式和ai辅助相似案例模式，用于对通过所述ar眼镜端采集到的患者患病信息进行分析；6、专家端，所述专家端包括云端存储模块、智慧诊疗模块、视频标注模块、电子白板模块和知识库模块，所述ar眼镜端采集到的患者信息同步传给所述专家端，供专家医生查看；7、患者通过所述预约会诊模块预约医生会诊，会诊医生通过所述所述ar眼镜端通过视频、音频的形式采集患者信息，采集的患者信息传输至所述专家端，配合所述ai系统对患者患病信息进行分析，所述专家端在专家诊断完成后将结果回传到所述图文问诊模块。8、进一步的，所述专家端包括app端或者web网页端，支持电脑、平板电脑、手机登录。9、进一步的，所述云端存储模块是根据ar眼镜端、客户端所获取的患者信息、实时影像/音频、检查单的数据，进行数据实时存储和推流，支持媒体及数据流合并录制及存储，每当远程创建一个会诊房间，实时捕捉并关联来自目标会诊科室的各专家端对ar画面的动态实时标注，多端音、画、媒体流或/和数据流标注同步合屏传递及录制，以确保医疗过程资料完整存储。10、进一步的，所述视频标注模块中，医生端结合辅助诊断意见和ar眼镜端获取的患者全时动态视频实时体征进行综合分析，进行全时视频互动标注指导治疗，视频标注详细实现方式如下：11、通过ar模块对获取的患者全时视频进行镜头分割，然后记录每一帧图像及相应音频数据及时间戳；12、对图像进行预处理，裁剪、旋转、翻转、缩放以提取出关键点特征，将视频所标注信息的特征值、标注内容、标注位置、标注起始时间戳、标注结束时间戳、视频画面的图像特征值、音频通道数据特征值、对应关系写入标注库；13、实时交互转码时，获取当前要显示的视频画面特征值的标注位置和尺寸采用相对坐标和相对尺寸，记录标注位置、标注尺寸相对于视频画面长、宽的比值，将视频标注后的图片帧、音频、标注特征按照顺序重新组合合成视频数据，在对应时间偏移点附近，进行直方图匹配，计算标注点第一帧特征值和当前画面特征值的距离，这一距离在制定的阈值范围内，则在该帧画面开始显示标注，具体计算方法如下：14、原视频文件a和转码视频文件b，在相同的时间步长分隔下计算，a文件得到的特征为{a1、a2、a3…an}，b文件得到的特征为{b1、b2、b3…bm}，其中m≤n；15、对b特征字符串依次偏移t的整数倍，计算对应特征字符串位置的单向过零数的平均距离：16、17、求dj的最小值，如果最小值在小于制定的阈值，则认为两个视频文件匹配上了，记最小值对应的j值为jf，则jft为视频文件b对于视频文件a的时间偏移量，如果偏移量超过设定max值，则认为是异常帧丢弃掉，保证音、画、标注同步回显至诊室内各终端，精准定位病灶点，远程进行治疗。18、进一步的，所述电子白板模块中：点击电子白板，远程会诊双方都可以看到白板内容，并可以同步在电子白板上进行写字、画图、编辑，同时支持电子白板内容的保存，后续存储至该会诊记录的内容中，支持随时查看和调取。19、进一步的，所述知识库模块中，在远程会诊系统中构建了知识库模块，里面细分类别存储了各种医疗知识，存储内容包括但不限于急救知识、外科治疗知识、内科治疗知识、儿科治疗知识、骨科治疗知识、神经科治疗知识信息；存储方式不限于文字、图片、视频信息；在会诊的过程中，会诊专家在给与会诊申请者指导的时候，可以通过关键词搜索或者语音方式调取相关的内容，会展示相关的介绍、图片和视频，会诊专家选择某条知识信息后点击“打开”，可以通过ar眼镜端的界面同步展示到屏幕上，会诊申请者可以通过会诊室共享屏幕清晰看到，并根据知识库信息和专家的同步指导进行治疗操作，提升治疗效率和准确性。20、进一步的，所述智慧诊疗模块是以ai系统为基础输出ai辅助决策，通过nlp技术智能识别患者的关键症状因子，并通过机器学习算法智能诊断或者智能匹配对应的标准案例库，提供辅助诊疗标准化流程给医生参考操作，若操作过程遇紧急问题无法处理可即时呼叫上级专家介入解决疑难问题，为基层医生提供了良好的辅助决策能力。21、进一步的，所述ai辅助诊疗模式包括以下步骤：22、数据收集：23、收集大量的医疗数据，包括病人的基本信息、病历信息、各种类型检查结果的指标值、诊断结果、治疗方案，作为训练数据集；24、数据预处理：25、对于数据的预处理分为两部分：26、第一部分是对于结构化数据的预处理，如病人的年龄、性别以及各项检查结果的指标值，进行数据清洗、标准化、特征化的处理，其中标准化是针对训练数据进行数据归一化处理，消除数据之间的量纲，保证模型训练的有效性，通过线性函数归一化将数据映射到[0,1]区间内，从而消除奇异样本数据导致的不良影响，提升模型的精度；27、指标归一化公式为：28、29、式中：l'表示归一化后的值；l表示实时数据值；lmax及lmin分别表示各特征序列中的最大值和最小值；30、第二部分是对于非结构化文本数据的预处理，采用自然语言处理对文本信息进行清洗、分词、标准化处理、特征化处理；31、清洗是去除文本中的噪声和无用信息，例如特殊字符、html标签、url链接、不规范的表达，提高文本数据的质量和可用性，减少噪声对后续处理的干扰；32、分词是通过python中的jieba分词，基于分词词典将文本拆分成单词或者词语，将长串的文本转换成计算机可以处理的单词序列，方便后续的处理和分析；33、标准化处理主是去除停用词；34、特征化处理是通过词袋模型将文本转换为向量表示，从原始文本数据中提取出有效的特征以供后续分析使用；35、特征提取：36、将数据预处理后的结构数据特征向量、非结构化文本数据的特征向量汇总在一起，形成病人信息的特征向量，作为模型的输入，将诊断结果进行数据标注，作为模型的输出，为下一步模型训练做准备，其中诊断结果的数据标注按照科室、诊断结果构建了标准化字典表；37、模型训练：使用特征化处理后的数据，按照一定比例将数据划分为训练集与验证集，其中训练集用来训练模型，验证集用来验证模型，使用随机森林算法进行模型的训练，在模型训练后，利用交叉验证法进行模型超参数调整，最终获得最优的训练结果，输出模型文件；38、模型评估：用测试集评估训练好的模型在未见过的数据上的性能，并通过准确率、召回率、f1值指标进行模型评估；39、模型部署：将训练好的模型部署到远程诊疗系统的云端存储模块中，当有新的会诊工作时，基于云端存储模块采集到的患者基本信息、患者病例、患者检查结果的数据，特征化为该病人特有的向量，采用训练优化好的模型进行疾病的诊断，快速得出ai诊疗结果，推荐给专家医生，模型输出为：患者id、预测结果标签、匹配概率，最终p的概率为诊断结果标签中最大值，诊断结果标签根据概率来判断，同时在模型应用是增加推荐策略，即p大于等于0.9时定义输出为诊疗结果，并同步至专家端、ar眼镜端。40、进一步的，所述ai辅助相似案例匹配模式包括以下步骤：41、信息特征化：42、通过词袋模型将文本转换为向量表示，从原始文本数据中提取出有效的特征以供后续分析使用；43、相似度计算：44、将患者的特征向量表示为数值形式后将数据进行向量化，使用余弦相45、似度算法计算当前患者与云端存储模块中患者的相似度，得出相似度得分；余弦相似度算法公式：46、47、其中：余弦值的范围在[-1,1]之间，值越趋近于1，代表两个向量的方向越接近，即相似度越高；越趋近于-1，他们的方向越相反，相似度越低；48、相似案例结果：在计算了当前患者与云端存储模块中各患者之间的相似度后，当满足相似度得分>＝0.9时才作为相似案例匹配结果进行推荐，展现在ar眼镜端界面上供医生参考。49、本发明另一方面提供一种基于ar眼镜的远程诊疗方法，所述远程诊疗方法使用上述远程诊疗系统进行诊疗，所述远程诊疗方法包括以下步骤：50、会诊发起者穿戴并开启ar眼镜设备；51、会诊发起者通过账号、密码登录，选择会诊专家，点击发起会诊，构建会诊房间；52、ar眼镜设备开启录制视频、音频多媒体信息，并实时推流至云端储存模块进行存储；53、会诊专家在专家端接听到响铃(或短信)通知后，点击消息或接听提示，可以打开app自动进入会诊房间，如果30s未接听，通过voip电话打给专家端账号的手机；54、会诊专家进入会诊房间后，通过ar眼镜同步过来的视频、图像、音频等多媒体信息以及云端同步的患者信息进行多方会诊，给出治疗方案和治疗指导；55、会诊发起者医生根据专家的给出治疗方案和指导，可直接操作的就直接在会诊专家的远程观摩和指导下完成，不能可直接操作的就通过系统将治疗方案存储到患者本次会诊记录下面，方便会后指导治疗；56、会诊结束，会诊专家和会诊发起者均退出会诊室。57、与现有技术相比，本发明的有益效果是：58、一种基于ar眼镜进行远程诊疗的系统及方法，将基层医院、途中转运、上级医院连成一张网，大幅提升重症病人的救治成功率、生存率，实现全国基层医疗单位急症医疗水平快速提升；主要应用场景有基层医疗机构、急救现场、急救车上、疑难杂症：59、(1)基层医疗机构：在当前医疗共同体的背景下，为了提升基层医疗机构与县级/市级/省级医疗机构的上下联动，针对一些紧急病患、疑难病患，基层医疗机构医生可以通过基于ar眼镜进行远程诊疗的系统，协同县级/市级/省级医疗机构专家进行实时会诊，快速判断患者的情况给出准确的解决方案，实现对患者高效率、低成本的救护。60、(2)急救现场：针对一些紧急救援、重大事故、重大灾害的救援工作，时间紧、任务重，而基于ar眼镜进行远程诊疗的系统及方法能够快速的建立急救现场与重点医院的联系，医院各科专家远程提供指导，第一时间扩大救援队伍、提升急救人员专业性，提升救治成功率、生存率。61、(3)急救车上：在急救车上时，针对一些急危患者，急救医生通过ar眼镜将患者的基本信息、病症指标第一时间同步给医院的专家医生，专家医生一方面给与急救指导，另一方面可以提前进行急救准备。62、(4)疑难杂症会诊：针对一些疑难杂症，各个医院专家可以通过ar眼镜进行远程会诊，本发明中的冻屏标注、电子白板、视频标注、智慧会诊等功能，会为在会的专家们提供与现场会诊一样的体验，降低会诊成本和时间。