一种基于视觉语言模型的EGFR基因突变少样本检测

本发明涉及一种基于视觉语言模型的egfr基因突变少样本检测方法，属于医疗人工智能。背景技术：1、表皮生长因子受体(egfr)目前被认为是与非小细胞肺癌(nsclc)高度相关的目标基因之一。明确识别nsclc患者的egfr基因突变状态是确定患者是否适合后续相关靶向治疗的先决条件。传统的egfr基因检测需要对病变部位进行活检，这是一种具有侵入性、成本高且技术要求高的程序。因此，探索一种非侵入性和便捷的方法来预测nsclc患者的egfr基因突变状态显得尤为重要。2、基于医学成像的疾病诊断方法已成为计算机科学和医学科学交叉研究的焦点，这归因于它们的非侵入性和易于获取性。在核医学领域，18f-氟脱氧葡萄糖(18f-fdg)正电子发射断层扫描与计算机断层扫描(pet-ct)的融合被视为多种癌症诊断、分期和评估治疗反应的首选成像方式。这源于pet在检测异常功能区域的高灵敏度与ct提供的精确解剖定位能力的有效结合。具体来说，ct图像提供了当前部位的全面解剖结构信息，而pet图像呈现了疾病区域的病理和代谢信息。值得注意的是，pet图像中的病理部位通常显示较高的fdg摄取，这表明与正常结构相比，该区域的葡萄糖代谢增加。pet与ct两种模态的结合促进了对肺癌病变区域更准确的表征；此前的研究表明，pet-ct图像在一定程度上能够预测nsclc中的egfr基因突变状态。3、近年来，基础模型经过大规模的预训练，吸收了各个领域的通用知识。这些模型不仅在数据理解、特征提取和表示学习方面表现出有效性，还在多种下游任务中展现了显著的可转移性。在自然语言处理(nlp)领域，如chatgpt这样的大型语言模型已经成功整合了来自多个领域的知识，为疾病诊断过程提供宝贵的解释性意见。通过查询chatgpt，可以获得关于非小细胞肺癌egfr基因突变病变在pet或ct图像中的视觉解释性观察。同时，在结合视觉和语言的多模态任务中，如clip这样的视觉语言模型在通过对大量图像文本数据应用对比学习的零样本和少样本图像分类任务中取得了重大成功。这一探索旨在减轻因医学图像数据有限而产生的限制，力求在医学成像领域实现零样本或少样本分类的能力。由于clip的训练数据主要来源于自然图像，当应用于广泛的医学图像，特别是pet-ct图像时，由于图像之间存在较大差距，识别性能不佳。已有数项研究在探索对医学图像文本数据进行相应的对比学习训练，尤其是与医学图像文本关系相关的任务。4、然而，由于医学疾病类别名称(如“nsclc egfrmutanttumor”)的高度专业性和抽象性，将它们直接作为视觉语言模型(vlms)的输入往往不能与医学病理图像建立起良好的联系。受到一些研究的启发，考虑将大型语言模型(llms)将医学疾病的类别文本分解为细致、可解释和表达丰富的疾病特定描述文本。技术实现思路1、技术问题：本发明提出一种能融合pet-ct双通道，发掘视觉语言大模型潜力的基于少样本的egfr基因突变检测方法。2、技术方案：本发明所述的一种基于视觉语言模型的egfr基因突变少样本检测方法，包括以下步骤：3、(1)输入少量pet-ct图像与疾病描述；4、(2)筛选出有效疾病描述，计算超参数；5、(3)输入剩余pet-ct图像与筛选出的疾病描述；6、(4)统计分类结果，计算识别率。7、所述步骤(1)包括以下步骤：8、(11)取少量pet图像与ct图像，提取关键帧并在关键帧上标记出肿瘤区域；9、(12)调用大语言模型获取egfr基因突变分别在pet与ct图像上的相关疾病描述；10、11、12、其中，ppet、pct为输入大模型的提示信息，c为疾病类型，即egfr基因突变，m为pet图像的描述个数，n为ct图像的描述个数。13、(13)(13)对于获取的每条疾病描述，从支持病理阳性立场与支持病理阴性立场两个角度去审视，为其阳性立场与阴性立场分别设计三对填充模板；其中每一对模板，都包含了在语义上支持当前立场的正语义、不支持当前立场负语义两个模板。其中阳性立场的三对模板为：14、模板1(正语义子模板)15、16、模板1(负语义子模板)17、18、模板2(正语义子模板)19、20、模板2(负语义子模板)21、22、模板3(正语义子模板)23、24、模板3(负语义子模板)25、26、阴性立场的三对模板为：模板1(正语义子模板)27、28、模板1(负语义子模板)29、30、模板2(正语义子模板)31、32、模板2(负语义子模板)33、34、模板3(正语义子模板)35、36、模板3(负语义子模板)37、38、其中，为针对于pet图像，获得的第i条描述；j为当前填充模板对的序号；k表明当前模板对所属的立场，k＝1为阳性立场，k＝0为阴性立场；+为当前模板对的正语义模板，-为当前模板对的负语义模板；对于ct图像，采用同样的流程，得到最终m条pet描述得到3m对petprompt，n条ct描述得到3n对ct prompt，每对prompt由正语义prompt、负语义prompt组成。39、(14)将处理后的pet与ct关键帧分别与对应的petprompt对、ctprompt对输入到视觉语言模型。40、所述步骤(2)包括以下步骤：41、(21)对于步骤(1)中输入的少量ept图像以及petprompt对，计算两种立场下的每一对petprompt中的正语义prompt、负语义prompt在阳性pet图片上的得分。42、43、44、其中，l为pet图像的序号，r为输入的pet阳性图片数量。45、再计算这一对petprompt中的正语义prompt、负语义prompt在阴性pet图片上的得分。46、47、48、(22)对于每一对petprompt，定义置信度分数49、θi,j,k＝(ai,j,k-bi,j,k)-(ci,j,k-di,j,k)50、然后，对于每个原始的疾病描述，考察其真实的立场并在该立场中筛选出表现最好的petprompt对。51、52、53、其中为所得的真实立场，为所采用的petprompt对的序号，若某个petprompt对不满足以上的筛选条件，则被淘汰。54、(23)将ct图像及ctprompt对，参照pet图像及petprompt对，代入步骤(21)、(22)，得到筛选出的ctprompt对与对应的权重。55、所述步骤(3)包括以下步骤：56、(31)从总体pet-ct图像中，去除已经被用来辅助筛选petprompt对、ctprompt对与计算权重的部分，保留剩余的pet-ct图像。57、(32)将保留的图像与筛选出的petprompt对、ct prompt对，以及相应的参数ai、bi、ci、di(i为prompt对的序号)输入视觉语言模型。58、所述步骤(4)包括以下步骤：59、(41)对于输入的每张pet图像，计算其与输入的每一对petprompt的相似度分数。60、61、62、其中，ipet是输入的一张pet图像。63、(42)定义阈值。64、65、(43)将vi,+与vi,-与阈值εi比较并缩放。66、67、68、(44)将每张pet图片在所有输入的pet prompt对上的最终得分vi,+与vi,-分别累加起来：69、70、71、其中，为权重，有四种策略：第一种是第二种是第三种是先前小样本上的分类精度；第四种是二、三两种权重的积。72、(45)将ct图像及其相关的ctprompt对，参照pet图像及petprompt对，带入上述步骤(41)、(42)、(43)(44)，得到73、(46)将对应的pet图像与ct整合。74、75、76、然后，得到最终的分类结果。77、78、有益效果：与现有技术相比，本发明的有益效果为：与传统深度学习利用大量数据训练神经网络不同，本发明并不针对pet、ct图像来训练模型，而是利用已经在大量其他数据上预训练的视觉语言模型来解决针对pet、ct图像的任务。并且本发明使用有限的小样本量构建了一个缓存结构，以便及时过滤掉低效的prompt并计算保留的prompt的知识先验，最终依靠pet-ct图像与可解释性的文本描述，无需训练即可实现对表皮生长因子受体突变状态的无创预测，最终在测试样本上达到了最高91.73的auc指标。