一种基于多模态图神经网络的乳腺肿瘤BI-RADS分级

本发明涉及乳腺肿瘤bi-rads(breast imaging reporting and data system，乳腺摄像报告和数据系统)分级诊断的，尤其涉及一种基于多模态图神经网络的乳腺肿瘤bi-rads分级方法。背景技术：1、乳腺癌是全球女性癌症死亡的主要原因之一，对女性健康造成了严重威胁。早期诊断和治疗对于乳腺癌患者的治愈率和生存率具有重要意义，通过对乳腺肿瘤进行早期诊断，可以提供及时的治疗，有效避免肿瘤的进一步发展和扩散。因此，如何实现对乳腺肿瘤的精准诊断是目前研究热点。2、通过引入人工智能技术，可以显著提高乳腺肿瘤诊断效率和精度。2019年li等人在加深网络层数的同时减少模型参数以改进densenet网络，提高了对乳腺肿瘤x线摄影图像的良恶性分类性能。2022年sun等人将跨视图注意力机制引入swin transformer模型，使用乳腺肿瘤的多视图信息实现良恶性分类诊断。目前大部分研究只关注乳腺肿瘤的良恶性二分类任务，而临床上需要对乳腺肿瘤进行更精细的bi-rads分级，将良恶性诊断模型扩展至bi-rads分级任务时准确率有限，无法满足精准诊断的需求。此外，临床医生对乳腺肿瘤进行诊断评估时，除了观察肿瘤的图像信息之外，还会综合考虑患者的体征信息和临床症状等非图像的多模态信息。现有的诊断方法通常只能处理图像信息，无法将以诊断报告形式存在的信息充分考虑，进一步限制了对乳腺肿瘤的精准bi-rads分级诊断。3、申请号为202311745703.2的发明专利公开了一种基于特征融合和注意力机制的超声图像乳腺肿瘤分类方法，属于计算机辅助诊断乳腺肿瘤领域，建立乳腺超声图像数据集，基于mobilenet主干和特征融合的编码-解码病灶分割网络，对乳腺肿瘤病变区域分割；利用肿瘤分割的先验信息，对乳腺超声图像进行分割增强预处理；利用形态学操作、双边滤波和clahe等方法，对原始实现去除噪声、细节和边缘增强，生成rgb图像用于肿瘤分类；改进设计轻量级视觉注意力网络van用于肿瘤分类，引入混合前馈神经网络模块，利用大核注意力机制提取图像局部和细节信息，并采用softmax分类器对图像特征进行分类。采用上述发明方法可更准确地实现对乳腺肿瘤超声图像的自动多分类。上述发明仅处理乳腺肿瘤的图像信息，不能同时考虑非成像的肿瘤表型信息，导致诊断准确率依旧不高。技术实现思路1、针对现有深度学习方法难以处理包括肿瘤图像和诊断报告的多模态信息，在乳腺肿瘤bi-rads分级任务中诊断精度较低的技术问题，本发明提出一种基于多模态图神经网络的乳腺肿瘤bi-rads分级方法，使用图神经网络来同时处理肿瘤的成像和非成像信息，从不同模态的输入中提取出模态特定的图结构信息以及特征信息并进行融合，实现乳腺肿瘤bi-rads分级的精准诊断。2、为了达到上述目的，本发明的技术方案是这样实现的：一种基于多模态图神经网络的乳腺肿瘤bi-rads分级方法，其步骤如下：3、步骤一、对多模态的乳腺肿瘤数据集进行预处理，包括肿瘤图像和诊断报告的预处理，得到多模态的患者原始肿瘤信息；4、步骤二、设计多模态信息提取模块，从不同模态的患者原始肿瘤信息中提取出模态特定的图结构信息以及特征信息；5、步骤三、设计多模态信息融合模块，使用注意力机制对不同模态特定的图结构信息以及特征信息分别进行融合，从而分别得到模态聚合图以及模态聚合特征；6、步骤四、定义邻域自适应聚合模块，在多模态图神经网络中使用邻域自适应聚合模块实现多模态聚合特征以及多模态聚合图的融合，融合后的特征通过全连接层进行分类，得到最终的乳腺肿瘤bi-rads分级结果。7、优选地，所述肿瘤图像的预处理包括：从原始的乳腺图像中将肿瘤区域截取，将截取的肿瘤区域图像统一调整为512×512的大小，使用预训练的resnet-50网络从大小512×512的肿瘤图片中提取出特征向量，保存为图像模态的信息；8、所述resnet-50网络包括依次连接的7×7卷积层、批归一化层、3×3最大池化层、多个残差块、全局平均池化层，全局平均池化层输出大小为1×2048的特征向量。9、所述诊断报告的预处理的方法为：从肿瘤患者的诊断报告中找到对应患者身体状况以及肿瘤形态学描述的关键项，将关键项保存在表格中并做数字化处理，文本信息编码为离散表示后，得到诊断报告信息。10、优选地，所述原始的乳腺图像包括cc视图的肿瘤图像和mlo视图的肿瘤图像；所述肿瘤图像和诊断报告的预处理后得到一个多模态的患者原始肿瘤信息x，患者原始肿瘤信息x包括cc视图的肿瘤图像预处理后的信息、mlo视图的肿瘤图像预处理后的信息以及诊断报告信息。11、优选地，将预处理后的多模态的患者原始肿瘤信息送入多模态图神经网络，多模态图神经网络包括多模态信息提取模块、多模态信息融合模块以及邻域自适应聚合模块，多模态信息提取模块用于提取模态特定的特征信息和图结构信息，多模态信息融合模块以及邻域自适应聚合模块用于将所有模态特定的特征信息与图结构信息充分融合。12、优选地，所述多模态信息提取模块由图结构学习层以及图自编码器组成，图结构学习层通过投影网络处理患者原始肿瘤信息中任一模态的特征，根据投影网络最后一层的输出的余弦相似性计算邻接矩阵，将所有模态通过图结构学习层得到的邻接矩阵组合得到模态特定的图结构信息；13、所述图自编码器采用编码器-解码器架构提取模态特定的特征信息，编码器由多个编码层堆叠，解码器由多个解码层堆叠；所述图自编码器中的编码层通过邻接矩阵计算输出，最后一个编码层的输出为模态的特征信息；将所有模态的特征信息组成得到模态特定的特征信息。14、优选地，所述图结构学习层的实现方法为：通过一个投影网络将患者原始肿瘤信息x中的任一模态的原始特征xraw投影至低维潜在空间；15、将投影网络最后一层的输出定义为节点的低维潜在特征表示e，通过计算低维潜在特征表示e之间的余弦相似性得到一个初始的相似性矩阵16、对相似性矩阵s进行阈值稀疏化操作，得到一个代表模态特定图结构信息的邻接矩阵17、所述投影网络的第l层的计算公式为：18、19、其中，表示第l-1层投影的输出，表示第l层投影的输出，σ表示非线性激活函数，分别表示投影网络可学习的权重系数和偏置系数；所述投影网络是全连接网络，投影网络的第一个投影层的输入是原始特征xraw；20、所述相似性矩阵s中元素sij的计算公式为：21、22、其中，||·||代表归一化操作，ei和ej分别代表第i个和第j个节点的低维潜在特征表示，t表示向量的转置；23、所述邻接矩阵a中的元素aij的计算公式为：24、25、其中，θ表示一个取值介于[0,1]区间的常数。26、所述编码层采用邻域与自我嵌入分离的图卷积形式，第r个编码层的计算公式为：27、28、其中，μ1和μ2分别是自身表示和邻域表示的可学习系数，满足μ1与μ2和为1的约束，d表示提取的模态特定的图结构信息的邻接矩阵a的对角度矩阵，和均对应于第r个编码层的可学习权重矩阵，σ表示非线性激活函数；29、采用全连接网络作为解码层，第f个解码层的计算公式为：30、31、其中，以及分别表示第f个解码层的可学习权重矩阵以及偏置向量，表示第f-1个解码层的输出，表示第f个解码层的输出；32、最后一个解码层的输出表示重建特征xrecon，多模态信息提取模块中的特征重建损失为重建特征xrecon与原始特征xraw之间的重建损失计算公式为：33、34、其中，n表示患者总数，||·||2表示计算l2范数。35、优选地，在多模态信息融合模块中，通过注意力机制计算不同模态信息的注意力分数，基于注意力分数以加权的方式分别进行多图融合以及多特征融合，从而得到多模态聚合图以及多模态聚合特征。36、优选地，所述多模态信息融合模块通过注意力机制计算不同模态信息的注意力分数的方法为：37、38、39、其中，m表示模态的总数，表示可学习的权重矩阵，是用来衡量不同模态重要性的可学习权重矩阵，[·]cat表示串联的拼接操作，softmax(·)函数用来执行归一化操作；是中间变量，αm为第m个模态的注意力分数向量。40、基于得到的注意力分数向量，以加权的方式分别进行多特征融合以及多图融合，计算公式为：41、42、43、其中，xfinal表示多模态聚合特征，diag表示对角化操作，a1final表示多模态聚合图，为第m个模态的特征信息，am为第m个模态的邻接矩阵；44、多模态聚合图进行稀疏化和对称化操作得到多模态聚合图afinal，计算公式如下：45、a2final＝topk(a1final)46、47、其中，topk表示保留矩阵中每行元素最大的前k个值。48、优选地，所述邻域自适应聚合模块由多个邻域自适应聚合图卷积层堆叠组成，邻域自适应聚合图卷积层又包括邻域自适应聚合块和图卷积块两部分，邻域自适应聚合块执行邻域聚合系数计算的任务，图卷积块聚合邻域信息；经过多模态图神经网络的分类层，得到最终的bi-rads分级结果。49、优选地，所述邻域自适应聚合图卷积层的邻域自适应聚合块和图卷积块的计算公式为：50、51、52、53、其中，表示第k个邻域自适应聚合图卷积层的输出，表示第k-1个邻域自适应聚合图卷积层的输出，σ表示非线性激活函数，表示第k个图卷积块的输出，表示第k-1个图卷积块的输出，sigmoid是归一化函数，表示第k个邻域自适应聚合图卷积层的可学习参数，表示多模态聚合图afinal的对角度矩阵，表示第k个卷积块的可学习参数，表示邻域聚合系数；54、所述分类层的计算公式为：55、yp＝softmax(hfinalwc+bc)56、其中，hfinal是最后一个邻域自适应聚合图卷积层的输出，yp表示最后的分类结果，wc、bc分别表示分类层的可学习权重参数和偏置参数；57、在多模态图神经网络的训练过程中，将多分类交叉熵损失以及特征重建损失作为整体损失函数通过最小化该损失函数完成多模态图神经网络的迭代训练；所述整体损失函数的计算公式为：58、59、其中，vl表示已知标签的患者样本集，yg表示患者的真实标签矩阵，超参数λ＞0是重建损失的平衡系数，c表示患者乳腺肿瘤bi-rads分级的类别数；表示患者真实标签矩阵yg的第a行、第b列的元素值；表示患者预测标签矩阵第a行、第b列的元素值；表示第m个模态信息的特征重建损失。60、对采集到的多模态乳腺肿瘤数据进行预处理，整合为可直接输入多模态图神经网络的一维格式。多模态的肿瘤数据包括肿瘤cc位的图像信息、mlo位的图像信息、文本形式的诊断报告信息。对于图像信息，使用预处理后的resnet-50网络进行特征提取，得到特征向量。对于文本形式的信息，从诊断报告中抽取关键项后，通过数字化的方式整理为离散表示。61、将预处理后的三种患者肿瘤原始模态信息送入多模态图神经网络。多模态图神经网络分为多模态信息提取模块、多模态信息融合模块以及邻域自适应聚合模块三部分。其中多模态信息提取模块从肿瘤的原始模态信息中分别提取出模态特定的特征信息以及图结构信息；多模态信息融合模块则用于捕捉模态之间的互补关系，实现多模态信息融合，将多个模态特定的特征信息融合得到多模态聚合特征，同时也将多个模态特定的图结构信息融合得到多模态聚合图；邻域自适应聚合模块将多模态聚合特征以及多模态聚合图充分融合，以得到最终的乳腺肿瘤bi-rads分级结果。62、本发明的有益效果在于：本发明所提出的乳腺肿瘤bi-rads分级方法使用图神经网络融合多模态的乳腺肿瘤信息，在融合多模态信息的过程中，既进行特征信息的融合，也进行图结构信息的融合，从而充分捕捉不同模态信息之间的相关互补性，显著提升了乳腺肿瘤bi-rads分级的诊断精度。本发明所提出的方法在公开和私有的乳腺肿瘤数据集上进行了实验，与2022年zheng等人提出的mmgl模型相比，bi-rads分级的准确率平均提高了2.85％。