一种染色体关键点序列预测方法及装置与流程

本发明涉及光学细胞影像下的染色体关键点预测，尤其涉及一种染色体关键点序列预测方法及装置。背景技术：1、在细胞光学影像下的异常染色体核型判断中，对于关键点的检测是一项十分重要的技术。这是因为关键点检测可以帮助识别染色体的特定区域，如着丝粒、端粒等，同时可以揭示染色体的结构变化，如断裂、缺失、倒位或易位等，这些都是染色体异常的常见形式。2、关键点一般指染色体两头的端点和着丝粒点。染色体着丝粒是指中期染色体的两条姐妹染色单体的连接处，位于染色体的主缢痕处，着丝粒将两条染色单体分为短臂(p)和长臂(q)；染色体分割分类后，需要对染色体进行摆正和同源染色体着丝粒对齐操作，按照国际标准要求，一个分裂相中的所有染色体不仅要按编号排列，且必须按短臂在上，长臂在下的方向放置，同时医生们更希望两条同源同类的染色体按照着丝粒靠近的原则摆放。3、在现有的相关研究中，研究者一般多会用基于卷积神经网络的方法直接一次性地将染色体图像的关键点预测出来，以热力图的形式进行激活。这种方法预测出来的点集合，一是扰动较大，因为卷积神经网络可能预测出过多的热力极值，但最终只能取最大的几个点；二是预测的点是离散的，点之间不存在关联关系，这就会使得有时关键点之间会存在明显的低级错误，甚至会有几乎重合的点。基于上述问题，现有的关键点预测方式会使得预测值变得难以处理，缺乏逻辑，所以一种更合理的预测算法就显得尤为重要。技术实现思路1、本发明的目的在于提供一种染色体关键点序列预测方法及装置。该方法旨在建立关键点集序列，来构建关键点之间的关联关系，替代掉现有的关键点离散预测方法，最终使得关键点集的预测更加合理、可靠。2、第一方面，本发明提供一种染色体关键点序列预测方法，包括：3、 s1、获取标注5个关键点的染色体图像数据集；其中，染色体的5个关键点，在染色体被摆放正确的前提下，分别标注在染色体的左上角点、右上角点、左下角点、右下角点、着丝粒中心点；4、 s2、构建一个基于transformer的序列预测网络模型，使用s1所获取的数据集，对此模型进行训练，得到充分训练后的染色体关键点序列预测模型；5、 s3、将新的待测试单条染色体图像输入所述染色体关键点序列预测模型中，并输入一个占位符号，则开始循环预测，每次预测出一个点后，则将其放入输入中再次进行下一个点的预测，直到5个关键点均预测完毕，即绘制出标有5个关键点位置的染色体图像。6、更具体地，transformer由一个编码器和一个解码器构成，编码器负责编码染色体图像，解码器负责通过染色体图像的编码，依次预测染色体的5个关键点。7、更具体地，transformer在一次数据流动的过程中，维度为64×64的染色体图像x会先被编码成一个特征向量v，随后，通过将上一轮预测所得到的点向量p_last和v一起输入解码器，即可得到本轮所预测的点p_pred；其中，v的长度为256，p_last和p_pred的长度为(n, 4098)， n代表当前已预测的点的数量。8、更具体地，所述编码器负责编码染色体图像，包括：9、将x编码成向量v的过程；10、 通过resnet50神经网络中的全局池化前的卷积层进行处理，染色体图像x被编码成为一个维度为(c, h, w)的特征矩阵，随后，将此特征矩阵的第二和第三个维度拉直，得到一个维度为(c, h×w)的特征矩阵f，通过自注意力运算，最终得到特征向量v，具体计算公式如下：；11、其中，wq、wk、wv分别是模型中的参数，dk是维度，softmax是机器学习领域常用的激活函数。12、更具体地，所述p_last和p_pred是一维点向量，需换算成欧式空间中的二维坐标，二维欧式空间中的坐标x、y和点向量p的换算公式如下：13、 ；14、其中，onehot()代表对数字进行长度为4098的独热编码，c代表图像的列数，之所以需要加2，是因为取点向量p的第一位和第二位分别为开始和结束占位符；同理，由p换算到x、y的公式如下：15、 ；16、其中，符号%代表取余除法，符号//代表取整除法，argmax()代表取向量的最大值索引。17、更具体地，所述解码器采用一个掩膜多头注意力模块、多头注意力模块和若干全连接层的组合形式。其中，掩膜多头注意力模块负责处理点向量p，多头注意力模块负责处理前置信息和图像的特征向量v。18、更具体地，模型的训练采用kl散度作为损失函数，公式如下：19、 ；20、其中，p(i)代表预测的点向量的第i个值，p_y(i)代表标签的点向量的第i个值，使用kl散度作为损失函数，将点向量的预测看作是一个概率分布的拟合过程，能使得点向量上的每个节点都能回传梯度学习，并且使分布总能趋向于合理，进行多轮次训练，直至平均欧式距离差值收敛至1，则保存模型，结束训练。21、第二方面，本发明提供一种染色体关键点序列预测装置，包括：22、获取单元，用于获取标注5个关键点的染色体图像数据集；其中，染色体的5个关键点，在染色体被摆放正确的前提下，分别标注在染色体的左上角点、右上角点、左下角点、右下角点、着丝粒中心点；23、训练单元，用于构建一个基于transformer的序列预测网络模型，使用s1所获取的数据集，对此模型进行训练，得到充分训练后的染色体关键点序列预测模型；24、预测输出单元，用于将新的待测试单条染色体图像输入所述染色体关键点序列预测模型中，并输入一个占位符号，则开始循环预测，每次预测出一个点后，则将其放入输入中再次进行下一个点的预测，直到5个关键点均预测完毕，即绘制出标有5个关键点位置的染色体图像。25、第三方面，本发明提供一种电子设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以上第一方面所述方法的步骤。26、本发明的有益效果：本发明的基于transformer的染色体关键点序列预测方法能够利用transformer的自注意力机制高效地捕捉染色体图像中的复杂关系和模式，从而实现对染色体关键点的精准预测。本发明所训练的模型在测试集上的关键点预测欧式距离差值可以收敛至1以下，对于分叉、弯曲的染色体具有极佳的关键点检测效果。能够为后续的染色体摆正、分类、主轴提取、带纹分析等提供准确的先验信息。技术特征：1.一种染色体关键点序列预测方法，其特征在于，包括：2.如权利要求1所述的一种染色体关键点序列预测方法，其特征在于，transformer由一个编码器和一个解码器构成，编码器负责编码染色体图像，解码器负责通过染色体图像的编码，依次预测染色体的5个关键点。3.如权利要求2所述的一种染色体关键点序列预测方法，其特征在于，transformer在一次数据流动的过程中，维度为64×64的染色体图像x会先被编码成一个特征向量v，随后，通过将上一轮预测所得到的点向量p_last和v一起输入解码器，即可得到本轮所预测的点p_pred；其中，v的长度为256，p_last和p_pred的长度为(n, 4098)， n代表当前已预测的点的数量。4.如权利要求2所述的一种染色体关键点序列预测方法，其特征在于，所述编码器负责编码染色体图像，包括：5.如权利要求3所述的一种染色体关键点序列预测方法，其特征在于，所述p_last和p_pred是一维点向量，需换算成欧式空间中的二维坐标，二维欧式空间中的坐标x、y和点向量p的换算公式如下：6.如权利要求2所述的一种染色体关键点序列预测方法，其特征在于，所述解码器采用一个掩膜多头注意力模块、多头注意力模块和若干全连接层的组合形式，其中，掩膜多头注意力模块负责处理点向量p，多头注意力模块负责处理前置信息和图像的特征向量v。7.如权利要求1所述的一种染色体关键点序列预测方法，其特征在于，模型的训练采用kl散度作为损失函数，公式如下：8.一种染色体关键点序列预测装置，其特征在于，包括：9.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-7中任一项所述方法的步骤。技术总结本发明公开一种染色体关键点序列预测方法及装置。该方法包括：获取标注5个关键点的染色体图像数据集；构建一个基于Transformer的序列预测网络模型，使用S1所获取的数据集，对此模型进行训练，得到充分训练后的染色体关键点序列预测模型；将新的待测试单条染色体图像输入所述染色体关键点序列预测模型中，并输入一个占位符号，则开始循环预测，每次预测出一个点后，则将其放入输入中再次进行下一个点的预测，直到5个关键点均预测完毕，即绘制出标有5个关键点位置的染色体图像。本发明旨在建立关键点集序列，来构建关键点之间的关联关系，替代掉现有的关键点离散预测方法，最终使得关键点集的预测更加合理、可靠。技术研发人员：刘利枚,卢沁阳,彭伟雄,汤滔受保护的技术使用者：湘江实验室技术研发日：技术公布日：2024/8/16