基于查询引导的医学图像跨中心泛化分割方法及

本技术属于图像处理，涉及一种图像分割方法及系统，具体涉及一种利用查询引导的变形器解码器网络结构增强跨中心泛化性的医学图像分割方法及系统。背景技术：1、在过去的几十年里，由于深度学习的发展，特别是深度卷积神经网络(cnn)的发展，医学图像分割取得了巨大的进展。首先被用于医学图像分割的u-net网络提出了跳过连接，有效地融合了浅层纹理信息和深层语义信息，u-net结构考虑到了医学图像的数据分布特性和结构特性，在大多数情况下可以取得较好的分割结果，获得了广泛的使用和认可。2、自detr出现以来，基于查询的变形器解码器因其强大的关系建模能力和属性建模能力，推动了计算机视觉多个任务的发展的统一。查询作为可学习的多维向量，能有效捕捉训练数据的各种先验信息。具体来说，这些查询与变形器解码器中的图像表征之间的交互，可以实现对每个样本的动态适应，即使在不熟悉的领域也是如此，这与域泛化研究中的动态网络要求非常吻合。在训练过程中，每个查询中的参数都会作为与固定语义相对应的隐式而灵活的原型，捕捉从源领域中学到的知识。在部署过程中，它们与单个样本之间的交互可确保知识的保留和动态调整。3、医学图像的收集和标注，整理过程往往具有多中心的特性，中心与中心之间的差异源自设备差异，标注人员偏好等，这些差异孕育了跨中心的医学图像泛化分割研究，研究人员致力于开放各种方法消减训练过程和模型部署过程中数据差异导致的性能下降。4、最近，一些研究发现样本与样本之间同样具有个体差异，会导致模型性能波动。例如，一些多源域的跨中心泛化医学图像分割额外添加一个有关域标签的回归判断网络，并为每个域设计一个域知识池模块，其中存储了对应域数量的向量，通过每个域的全部样本的特征提取和平均池化得到，训练过程通过对每个样本进行域标签的回归判断，用域知识池中的知识和归一化的回归数值来增强图像表征，部署阶段相当于用已存储的域内知识来动态强化目标图像的表征；一些方法通过添加额外的小卷积网络，该网络预测图像的域标签回归数据，动态输出少量卷积参数，在部署过程通过对目标样本的域回归判断来得到更适应目标样本的少量参数。5、而基于查询的变形器解码器天然具有在部署过程中根据图像特征改变部分参数的特性，之前的相关工作从未探索过基于查询的变形器解码器在跨中心医学图像的泛化性上的性能表现，也从未探索过如何根据医学图像的获取，结构等特点将常见的u-net和基于查询的变形器解码器结合的方式。技术实现思路1、本发明的目的在于提供一种基于查询引导的医学图像跨中心泛化分割方法及系统，利用了查询引导的变形器解码器中的交叉注意力机制，有效地满足了域泛化研究中对于单个目标样本的参数自适应要求，显著提升了网络的泛化能力。2、本发明的方法采用的技术方案是：一种基于查询引导的医学图像跨中心泛化分割方法，采用查询引导的医学图像跨中心泛化分割网络进行医学图像分割；3、所述查询引导的医学图像跨中心泛化分割网络，包括基于深度残差网络构建的编码-解码结构、基于查询的变形器解码器模块和分割掩码预测模块；4、所述基于深度残差网络构建的编码-解码结构，其中编码器由若干个残差块组成，每个残差块后面均设置有一个池化层来进行空间尺度的下采样；其中解码器利用跳跃连接将编码器捕获的上下文信息传递到对应的解码器层，以辅助高分辨率特征图的恢复，解码器的每一层均由上采样操作和残差块构成，用于逐步恢复图像细节；5、所述基于查询的变形器解码器模块，包括可学习嵌入向量、2个变形器块，所述可学习嵌入向量的通道大小，与所述编码器的输出图像表征的通道大小对应，用于拓展为样本数量；所述变形器块，包含自注意力层、图像更新查询的交叉注意力层、全连接层和查询更新图像的交叉注意力层，每层均有输入直连输出的残差设计和对于输出的归一化操作；第二个变形器块接受第一个变形器块中已经更新的图像表征和查询；6、所述掩码预测模块，包含将传统的分割头网络去掉之后，添加一个包含2个全连接层，中间由激活层连接的投影网络，用于将所述基于查询的变形器解码器模块输出的查询与所述编码-解码结构输出的图像表征投影到同一个维度的空间中，所述编码-解码结构输出的图像表征和投影后的查询经过点乘之后，再进行sigmoid计算基于阈值获得语义掩码预测。7、作为优选，所述查询引导的医学图像跨中心泛化分割网络还包括辅助任务模块；所述辅助任务模块，主任务共享所述编码-解码结构中编码器的特征和所述基于查询的变形器解码器模块更新后的查询，辅助任务输出和主任务相同的仅仅是分辨率不同的掩码预测；所述辅助任务中包含了基于主任务预测分割掩码计算样本权重的过程，权重通过对小批量内的样本的主任务损失进行归一化和softmax计算获取。8、作为优选，所述基于深度残差网络构建的编码-解码结构，是训练好的网络；训练过程中，采用的损失函数由二值化掩码预测的dice_loss和像素级别的cross_entropy_loss成；9、10、其中，pi表示第i个像素点的预测概率，gi表示第i个像素点的真实标签，n代表的是图像中像素点的总数。11、作为优选，所述基于查询的变形器解码器模块，是训练好的网络；训练过程中，采用的损失函数由二值化掩码预测的dice_loss和像素级别的cross_entropy_loss成；12、13、14、其中，pi表示第i个像素点的预测概率，gi表示第i个像素点的真实标签，n代表的是图像中像素点的总数。15、作为优选，所述掩码预测模块，是训练好的网络；训练过程中，采用的损失函数由二值化掩码预测的dice_loss和像素级别的cross_entropy_loss成；16、17、18、其中，pi表示第i个像素点的预测概率，gi表示第i个像素点的真实标签，n代表的是图像中像素点的总数。19、作为优选，所述辅助任务模块，是训练好的网络；辅助任务基于编码器输出特征和更新后的查询之间的点乘的sigmoid结果经过阈值处理后与标签的损失计算对网络参数进行优化；20、训练过程中，采用的损失函数由二值化掩码预测的dice_loss和像素级别的cross_entropy_loss成；21、22、23、其中，pi表示第i个像素点的预测概率，gi表示第i个像素点的真实标签，n代表的是图像中像素点的总数。24、辅助任务的总体损失为：25、l＝α*(dice_loss+cross_entropy_loss)；26、27、其中α为在每个小批量中通过样本的原始损失数值经过softmax计算得到的ρ和批量内最大值ρmax与批量内最小值ρmin计算得到的。28、本发明的系统采用的技术方案是：一种基于查询引导的医学图像跨中心泛化分割系统，包括：29、一个或多个处理器；30、存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的基于查询引导的医学图像跨中心泛化分割方法。31、本发明还提供了一种包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，使得所述处理器执行所述的基于查询引导的医学图像跨中心泛化分割方法。32、本发明还提供了一种计算机程序产品，包括计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行所基于查询引导的医学图像跨中心泛化分割方法。33、相对于现有技术，本发明的有益效果包括：34、(1)本发明利用了变形器解码器强大的关系建模和属性建模能力，基于可学习的查询和变形器解码器学习语义对应的特征原型，每个可学习的查询对应一个特定的语义类别。35、(2)本发明利用了变形器解码器中查询与图像表征之间的交叉注意力机制，可学习的查询建模相关的语义信息后，在交叉注意力层和特定的图像表征进行交互与融合，得到提取了特定图像表征信息的更新后的查询，更适合相关特定图像的语义分割。36、(3)本发明为了增强查询的语义建模能力，重复利用对应特定图像的更新查询，将其与编码器的下采样表征计算下采样的分割掩码，基于下采样分割掩码和下采样掩码标签作为辅助任务的优化损失；使得查询具有不同层次的图像特征预测掩码的能力，增强查询的语义建模能力。37、(4)本发明在辅助任务的优化过程中添加了一个样本级别的权重，权重基于精细的掩码预测计算并通过softmax激活函数在小批量中进行归一化，使得越难被分割好的样本对于辅助任务中的查询优化影响更大。38、(5)本发明在样本权重分配中，考虑到最终的掩码预测比较准确，基于这个掩码预测为样本计算权重，作为样本语义分割难度的度量，并将权重和下采样掩码预测的辅助任务结合，额外限制模型对源域数据分布的过拟合。39、(6)本发明使用了轻量级的基于查询引导的变形器解码器结构，训练和推理过程的内存占用增加不到20％，同时本发明可以与被证明有效且被广泛使用的增加跨中心泛化性的mixstyle、trid等数据增强方法叠加使用，进一步增强方法的有效性。