一种基于医学图像和疾病属性描述对的诊断报告

本发明属于医学图像处理领域，具体涉及一种基于医学图像和疾病属性描述对的诊断报告生成系统。背景技术：1、图文多模态对比学习是一种机器学习技术，旨在理解和处理同时包含图像和文本信息的数据。它通过学习图像内容与相关文本描述之间的对应关系，使得模型能够捕获跨模态的语义相似性。对比学习将成对的图像和文本输入进行编码，通过对比损失函数优化，使得相匹配的图文对在表示空间中更加接近，而不匹配的图文对在表示空间中相互远离。在推理阶段，模型根据输入的模态生成对应的嵌入向量，并在已学习的多模态嵌入空间中查找最接近的匹配项。2、医学图文预训练模型的开发和应用已经成为医疗人工智能领域的一个重要进展。这些模型通过利用大量的自然配对的医疗报告和图像数据集进行训练，可以有效地理解和解析医疗图像及其对应的文本描述。这种自监督学习的方法使得模型能够自动地从大量未标注的医疗图像和文本中学习，不依赖于人工标注。3、在临床应用中，医务人员通常需要通过一系列的图像分析来获得诊断报告，这是一个时间消耗大且容易出错的过程。医学图文预训练模型能够自动化地从图像中提取最相关的疾病描述，生成准确的诊断报告，从而有效地减轻医务人员的工作压力，提高诊断效率和准确性，降低发生误诊、漏诊的可能性。技术实现思路1、本发明的目的是为解决通过医务人员对图像进行分析来获得诊断报告的方式存在准确率和效率低的问题，而提出了一种基于医学图像和疾病属性描述对的诊断报告生成系统。2、本发明为解决上述技术问题所采取的技术方案是：3、一种基于医学图像和疾病属性描述对的诊断报告生成系统，所述系统包括数据集获取模块、信息提取器、图像知识注入器、文本编码器、图像编码器和诊断报告生成模块；4、所述数据集获取模块用于获取由医学图像和对应的诊断报告组成的数据集；5、所述信息提取器用于根据提示从数据集的每份诊断报告中分别识别和提取出符合预设格式的疾病信息tf；6、所述图像知识注入器用于提取数据集中的每张医学图像的图像属性描述，即分别获得每份诊断报告中的疾病信息所对应的图像属性描述te；7、利用数据集中每个医学图像-诊断报告样本对的疾病信息和图像属性描述，以及各张医学图像对文本编码器和图像编码器进行联合训练；其中：8、文本编码器用于对数据集中的每个医学图像-诊断报告样本对的疾病信息和图像属性描述进行编码，得到每个医学图像-诊断报告样本对的文本特征；9、图像编码器用于将数据集中的每张医学图像编码为图像特征；10、所述诊断报告生成模块将待生成诊断报告的医学图像输入训练好的图像编码器，从图像属性描述存储库中筛选出与待生成诊断报告医学图像的图像特征最相似的图像属性描述，根据筛选出的图像属性描述对应的疾病信息生成诊断报告。11、进一步地，所述信息提取器根据提示从诊断报告中识别和提取出符合预设格式的疾病信息，采用的是大语言模型。12、进一步地，所述疾病信息tf的格式为疾病严重程度+疾病位置+疾病类别。13、进一步地，所述图像属性描述包括疾病区域图像的形状、纹理和颜色。14、进一步地，所述图像编码器为resnet模型或convnext模型，文本编码器为transformer模型。15、进一步地，所述文本编码器和图像编码器进行联合训练，联合训练的具体过程为：16、将各个医学图像-诊断报告样本对的疾病信息和图像属性描述输入文本编码器，得到每个医学图像-诊断报告样本对的文本特征，根据各个医学图像-诊断报告样本对的文本特征计算语义相似度矩阵s；17、将数据集中的每张医学图像分别输入图像编码器，得到每张医学图像的图像特征，根据各个医学图像-诊断报告样本对的文本特征以及图像编码器生成的图像特征计算图像与文本的相似性矩阵y；18、计算语义相似度矩阵s与相似性矩阵y之间的交叉熵损失celoss和均方损失mseloss，再根据交叉熵损失celoss和均方损失mseloss计算总损失函数；19、直至总损失函数收敛时停止训练，获得训练好的文本编码器和图像编码器。20、进一步地，所述语义相似度矩阵s的计算方法为：21、步骤a1、对于包括n张医学图像以及n张医学图像对应的诊断报告的数据集，将第t个诊断报告包含的疾病信息tf个数记为ct，t＝1，2，...，n，将n个诊断报告包含的疾病信息tf总个数记为m，即22、且每个疾病信息tf和对应的图像属性描述组成一个结构化标签，即共获得m个结构化标签；23、步骤a2、对于第t张医学图像对应的任意一个结构化标签，分别计算该结构化标签与m个结构化标签中的每个结构化标签的相似性；同理，对第t张医学图像对应的每个结构化标签分别进行处理后，得到第t张医学图像对应的相似性子矩阵sub_matrix，且相似性子矩阵sub_matrix的维度为ct×m；24、sub_matrixi，j＝cos(esim(li)，esim(lj))25、其中，li表示第t张医学图像对应的结构化标签中的第i个结构化标签，i＝1，2，3，...，ct，lj表示全部结构化标签中的第j个结构化标签，j＝1，2，3，...，m，esim(·)表示将文本转化为特征向量，cos(esim(li)，esim(lj))表示计算特征向量esim(li)与特征向量esim(lj)的内积，cos(esim(li)，esim(lj))即为相似性子矩阵sub_matrix中第i行第j列的元素；26、步骤a3、选取步骤a2获得的相似性子矩阵的每一列中的最大值，得到1×m大小的相似度向量：27、sub_matrix*＝maxpool(sub_matrix)28、其中，maxpool为最大值池化；29、步骤a4、对每张医学图像均执行步骤a2和步骤a3后，利用各张医学图像对应的相似度向量组成一个维度为n×m的语义相似度矩阵s。30、进一步地，所述图像与文本的相似性矩阵y的计算方法为：31、步骤b1、计算ii和lj：32、ii＝fimg(eimg(ximg，i))33、lj＝ftxt(etxt(xtxt，j))34、其中，ximg，i表示输入图像编码器的第i张医学图像，eimg代表图像编码器，xtxt，j表示输入文本编码器的第j个结构化标签，etxt代表文本编码器，fimg和ftxt被用于将经过图像编码器编码得到的图像特征与经过文本编码器编码得到的文本特征映射到相同的编码空间中，ii表示第i张医学图像对应的映射后图像特征，lj表示第j个结构化标签对应的映射后文本特征；35、步骤b2、计算图像与文本相似性矩阵：36、37、其中，上角标t代表转置，||·||表示2范数，yi，j是图像与文本相似性矩阵中第i行第j列的元素，i＝1，2，3，...，n。38、进一步地，所述交叉熵损失celoss为：39、40、其中，si，i表示语义相似度矩阵s中第i行第j列的元素；41、所述均方损失mseloss为：42、43、根据交叉熵损失celoss和均方损失mseloss计算总损失函数，具体为：44、45、其中，是总损失函数。46、更进一步地，所述从图像属性描述存储库中筛选出与待生成诊断报告医学图像的图像特征最相似的图像属性描述，具体为：47、p(i∈c|t)＝sim(eimg(i)，etxt(t))48、其中，eimg(i)表示待生成诊断报告的医学图像i经过图像编码器后输出的图像特征，c代表结构化标签中的疾病信息，t代表c对应的图像属性描述，etxt(t)表示t经过文本编码器后输出的文本特征，sim代表相似性函数，p(i∈c|t)表示待生成诊断报告的医学图像i与图像属性描述t的相似性；49、t*＝argmaxt∈v(p(i∈c|t))50、其中，t*是筛选出的最相似的图像属性描述，v为图像属性描述存储库。51、本发明的有益效果是：52、本发明采用先进的大语言模型对诊断报告进行深度疾病信息提取。相比于传统的手动提取方式，本发明的成本极低，几乎可以忽略不计，并且在提高疾病信息提取质量的同时，还能有效减少错误。此外，通过注入医学领域的知识，本发明进一步增强了模型对不同疾病类别视觉属性的理解能力，并能够将这些知识成功应用于未知类别的学习中。本发明进一步发挥了从真实场景中提取的疾病信息以及医学领域知识的优势，构建了准确描述图像与疾病之间相关性的语义相似度矩阵，以实现更精准的对比学习。作为一种高效且精确的医学视觉-语言预训练方法，本发明通过利用自然配对的医学图像和诊断报告数据，显著地提升了医学图像分析任务的效率和准确性，进而提升了诊断报告生成的准确率和效率。