基于状态信息分离的胸部X光影像报告生成方法

本发明属于图像处理，涉及一种胸部x光影像报告生成方法，具体涉及一种基于状态信息分离知识图谱增强的胸部x光影像报告生成方法。背景技术：1、胸部x光影像报告生成任务旨在为放射性图像自动地生成准确的临床描述，由胸部x光影像信息和文本信息组成，其中胸部x光影像信息包括人体肺部、心脏、脊柱、肋骨、胸膜、气管、纵隔等结构的图像信息，文本信息包括图像信息中不同部位结构状态信息对应的文字描述。传统上，对胸部x光影像的解读依赖于放射科医生对每个区域的正常和异常类型进行判断，并撰写连贯的文本报告来描述这些发现，这通常是一项困难且耗时的任务。近年来，随着放胸部x光影像数量的快速增长以及人力资源的短缺，这项任务的负担进一步加剧。同时，由于影像报告的文本长度过长、异常信息的难度高于识别自然物体等原因，实现准确的影像报告生成仍是一项巨大的挑战。2、基于机器学习的胸部x光影像报告生成方法的技术思路是，通过视觉编码器提取x光影像的视觉特征，然后借助知识图谱等手段引入知识信息增强视觉特征，最后解码器根据增强后的视觉特征生成与x光影像相对应的放射学报告。3、申请公布号为cn117747042a，名称为“一种放射学报告生成方法、装置、终端及存储介质”的专利申请，公开了一种结合动态知识图谱和先验知识信息的放射学报告生成方法。该发明在动态知识图谱网络中，根据放射学图像得到动态知识图谱，根据动态知识图谱得到视觉表征；获取放射学图像对应的先验知识信息，基于先验知识信息和视觉表征，利用先验知识网络得到先验表示向量；将视觉表征和先验表示向量输入解码器中，生成与放射学图像相对应的放射学报告。该发明通过结合动态知识图谱和先验知识信息生成放射学报告，能够更好地处理由于有限数据可用性而引起的视觉和文本偏见，提高了报告生成质量。但由于动态知识图谱和先验知识信息中同时存在的异常和正常两种状态信息存在一定的干扰，导致模型需要学习知识与生成的报告之间存在差异，限制了生成报告准确性的进一步提升。技术实现思路1、本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于知识图谱增强的胸部x光影像报告生成方法，用于解决现有技术中存在的因知识图谱中异常属性缺失导致的影像报告质量较低的技术问题。2、为实现上述目的，本发明采取的技术方案包括如下步骤：3、(1)获取训练样本集和测试样本集：4、获取包括k1个健康个体和k2个疾病个体的共k个个体的由胸部x光影像信息和文本信息组成的胸部x光影像报告数据，并对半数以上健康个体和疾病个体的共i个个体的文本信息进行序列化，然后将序列化结果作为其对应的影像报告数据的标签，再将i个个体的影像报告数据及其对应的标签组成训练样本集dtrain，将剩余的j个个体的影像报告数据测试样本集dtest，其中，k2＞k1≥500，j＝k-i，第i个训练样本的标签为yi；5、(2)构建基于状态信息分离知识图谱增强的胸部x光影像报告生成网络模型：6、构建包括级联的视觉编码器、知识图谱增强视觉特征网络和解码器的胸部x光影像报告生成网络模型g；其中知识图谱增强视觉特征网络包括级联的用于构建异常子图和正常子图的分离子图生成模块、图卷积神经网络和视觉特征增强模块；7、(3)对胸部x光影像报告生成网络模型进行迭代训练：8、通过训练样本集dtrain对胸部x光影像报告生成网络模型g进行迭代训练，得到训练好的影像报告生成网络模型g*；9、(4)获取胸部x光影像报告生成结果：10、将测试样本集dtest作为训练好的影像报告生成网络模型g*的输入进行前向传播，得到每个测试样本对应的预测标签，将预测标签的反序列化文本信息作为影像报告的生成结果。11、本发明与现有技术相比，具有以下优点：12、本发明在对胸部x光影像报告生成网络模型进行训练和胸部x光影像报告生成结果的过程中，分离子图生成模块通过三元组构建异常子图和正常子图，利用两个状态信息分离的子图分别学习异常信息和正常信息内部的关系，避免了现有技术因不同状态信息混杂导致的相互干扰，减小了模型需要学习知识与生成的报告之间的差异，从而提高了生成报告的准确性。技术特征：1.一种基于状态信息分离知识图谱增强的胸部x光影像报告生成方法，其特征在于，包括如下步骤：2.根据权利要求1所述的方法，其特征在于，步骤(2)中所述的知识图谱增强视觉表示网络，其中的分离子图生成模块包括级联的信息提取器和分离子图构建器；图卷积神经网络包括两个并行排布的图卷积块及与其级联的整合层。3.根据权利要求2所述的方法，其特征在于，步骤(3)中所述的对胸部x光影像报告生成网络模型进行迭代训练，实现步骤为：4.根据权利要求3所述的方法，其特征在于，步骤(3b2)中所述的医学实体信息表，包含从胸部x光影像报告中预先提取出的医学实体和医学实体所属的部位名称。5.根据权利要求3所述的方法，其特征在于，步骤(3b)中所述的训练样本集dtrain中与fi(t)最相似的训练样本，是指dtrain中与fi(t)的余弦相似度最高的训练样本。6.根据权利要求5所述的方法，其特征在于，步骤(3c)中所述的g的损失值l，采用交叉熵损失函数ce计算，公式为：7.根据权利要求5所述的方法，其特征在于，步骤(3c)中所述的对wt、bt进行更新，采用梯度下降法，更新公式分别为：技术总结本发明提出了一种基于状态信息分离知识图谱增强的胸部X光影像报告生成方法，实现步骤为：获取训练和测试样本集；构建基于状态信息分离知识图谱增强的胸部X光影像报告生成网络模型并对其进行迭代训练；获取胸部X光影像报告生成结果。本发明在对胸部X光影像报告生成网络模型进行训练和胸部X光影像报告生成结果的过程中，分离子图生成模块通过三元组构建异常子图和正常子图，利用两个状态信息分离的子图分别学习异常信息和正常信息内部的关系，避免了现有技术因不同状态信息混杂导致的相互干扰，减小了模型需要学习知识与生成的报告之间的差异，从而提高了生成报告的准确性。技术研发人员：王笛,张焱磊,梁潇,田玉敏,李少峰,钟昊迪,王泉,万波,罗雪梅,王义峰受保护的技术使用者：西安电子科技大学技术研发日：技术公布日：2024/8/15