一种基于小样本学习和注意力机制的疾病预测方

本发明属于数据处理，特别是涉及一种基于小样本学习和注意力机制的疾病预测方法。背景技术：1、在疾病预测任务中，现有的方法通常使用患者的体检数据以及一些外部因素数据来完成预测。同时，基于深度神经网络的预测模型能够更准确地表征非线性问题，显著提高了模型的预测性能。2、现有的基于深度学习的疾病预测方法，通常针对确定的区域进行预测，即依靠确定城市或地区的数据进行预测，当该区域的数据较为丰富时，即存在大量的训练数据可以对模型进行训练，模型的预测效果会比较准确，但若该区域的数据较少时，便不能够达到较好的预测效果。3、现有的基于深度学习的预测方法大多依赖于大量高质量的训练数据，但在实际问题当中，尤其是患者的医疗数据，具有较高的隐私性，采集大量患者数据的成本较高，可行性较低，导致现有的方法在应用上难度较大。同时少量的训练数据又无法达到预期的预测效果。技术实现思路1、为了解决上述问题，本发明提出了一种基于小样本学习和注意力机制的疾病预测方法，能够对于数据基数较少时达到较好的预测效果。2、为达到上述目的，本发明采用的技术方案是：一种基于小样本学习和注意力机制的疾病预测方法，包括步骤：3、s10,将源城市和目标城市的数据统一成相同的数据结构，构建样本数据；所述数据结构包括一位患者就诊的体检数据、就诊当天的前t天的气候数据和就诊当天的前t天的医院数据，该条数据的标签为医院诊断的患病情况，作为一条样本数据，并将医院诊断的患病情况作为对应的样本标签；4、s20,根据元学习设定，对所有源城市和目标城市通过数据预处理，得到若干条数据样本，每个城市抽取出若干个任务；5、s30,在所有源城市中抽取出的任务，用于元训练阶段，对基础网络模型进行训练建立疾病预测模型，所述基础网络模型结合lstm网络和注意力机制构建；在目标城市中抽取的任务，用于元测试阶段，对疾病预测模型进行微调；6、s40,利用所建立的疾病预测模型对目标城市中的检测数据进行识别预测，得到预测结果。7、进一步的是，在一个城市的所有样本中，有放回地随机抽取20条数据样本作为一个任务，其中5条数据作为支持集，15条样本作为查询集；通过上述方法，每个城市抽取出若干个任务。8、进一步的是，在所述疾病预测模型的处理过程包括步骤：9、s31,对气候数据和医院数据的初步特征提取均使用lstm网络完成；10、将t天的气候数据输入到lstm网络中进行数据分析和特征提取，获得特征向量h1；将同样时间段内的医院就诊数据输入到另一个lstm网络中进行数据分析和特征提取，获得特征向量h2；11、s32,将体检数据，与特征向量h1和h2进行拼接，得到新的特征向量hin；12、s33,将hin输入到多层感知机中得到输出特征向量hmlp；13、s34,获得特征向量hmlp的注意力打分，计算出通过注意力机制重新表征的特征向量hatt；14、s35,将特征向量hatt与特征向量hmlp进行拼接；将最终的特征向量hout输入到一层全连接层后，经过softmax计算后进行输出。15、进一步的是，在元训练阶段，使用源城市抽取的若干任务作为元训练集，对模型进行训练，包括步骤：16、对模型进行参数初始化，将模型网络的所有参数记作θ；17、在任务taski中，使用任务中的支持集对基础模型进行训练，训练过程如基础模型网络训练过程，通过训练可将参数θ更新，得到新的参数θi；18、用任务中的查询集对基础网络模型进行训练，求得损失通过更新得到新的初始化参数19、将初始化参数作为元训练阶段学习的目标。20、进一步的是，新的参数θi的计算公式：21、22、其中，α代表在任务的支持集上训练的学习率，记作任务学习率；代表对θ进行求导，fθ代表参数为θ的基础网络模型，lossi(fθ)代表在模型fθ上通过任务taski的支持集训练得到的损失。23、进一步的是，新的初始化参数的计算公式：24、25、其中，β代表对元学习目标的元学习率，记作元学习率；n代表任务的数量。26、进一步的是，在元测试阶段，使用目标城市中抽取的任务作为元测试集，对模型进行训练，包括步骤：27、在任务taskj中，任务的支持集对基础模型进行微调，通过训练将参数更新，得到新的参数28、用任务taskj中的查询集对模型进行测试，求得模型的正确率acc，获得模型评估结果。29、进一步的是，新的参数的计算公式：30、31、代表在模型上通过任务taskj的支持集训练得到的损失。32、进一步的是，模型的正确率acc的计算公式：33、34、ntest为测试样本数量，代表模型预测结果，yq代表样本真实结果。35、采用本技术方案的有益效果：36、本发明通过结合小样本学习方法，使模型在数据丰富的地区或城市上进行预训练，学习到一个具有较好泛化效果的初始化参数。从而能够在新的地区上进行快速适应，在仅使用少量训练数据的情况下，就能达到较好的预测效果。同时结合注意力机制算法。对数据特征进行进一步筛选，进一步提取出重要的特征，将不重要的特征，甚至是具有干扰作用的特征进行抑制或剔除，提高模型的预测效果。37、本发明通过结合基于超参数优化的元学习方法，模型能够在多个数据丰富的地区进行预训练学习和归纳出一个较好的初始化参数，使得模型能够在新的地区上进行快速适应，仅使用少量的训练数据，就可以达到较好的预测效果。避免了在一个新的地区或城市上重新训练模型，也不要求在新的任务上使用大量的数据进行训练。大大降低了模型的应用难度，提高了模型的泛化能力。同时使用注意力机制方法，提升了模型对数据特征的提取能力，能够对特征进行进一步筛选，提升模型的分类效果。技术特征：1.一种基于小样本学习和注意力机制的疾病预测方法，其特征在于，包括步骤：2.根据权利要求1所述的一种基于小样本学习和注意力机制的疾病预测方法，其特征在于，在一个城市的所有样本中，有放回地随机抽取20条数据样本作为一个任务，其中5条数据作为支持集，15条样本作为查询集；通过上述方法，每个城市抽取出若干个任务。3.根据权利要求1所述的一种基于小样本学习和注意力机制的疾病预测方法，其特征在于，在所述疾病预测模型的处理过程包括步骤：4.根据权利要求1所述的一种基于小样本学习和注意力机制的疾病预测方法，其特征在于，在元训练阶段，使用源城市抽取的若干任务作为元训练集，对模型进行训练，包括步骤：5.根据权利要求4所述的一种基于小样本学习和注意力机制的疾病预测方法，其特征在于，新的参数θi的计算公式：6.根据权利要求4所述的一种基于小样本学习和注意力机制的疾病预测方法，其特征在于，新的初始化参数的计算公式：7.根据权利要求6所述的一种基于小样本学习和注意力机制的疾病预测方法，其特征在于，在元测试阶段，使用目标城市中抽取的任务作为元测试集，对模型进行训练，包括步骤：8.根据权利要求7所述的一种基于小样本学习和注意力机制的疾病预测方法，其特征在于，新的参数的计算公式：9.根据权利要求7所述的一种基于小样本学习和注意力机制的疾病预测方法，其特征在于，模型的正确率acc的计算公式：技术总结本发明公开一种基于小样本学习和注意力机制的疾病预测方法，包括：将源城市和目标城市的数据统一成相同的数据结构，构建样本数据，所述数据结构包括体检数据、气候数据和医院数据；根据元学习设定，对所有源城市和目标城市通过数据预处理，得到若干条数据样本，每个城市抽取出若干个任务；在所有源城市中抽取出的任务，用于元训练阶段，对基础网络模型进行训练建立疾病预测模型，所述基础网络模型结合LSTM网络和注意力机制构建；在目标城市中抽取的任务，用于元测试阶段，对疾病预测模型进行微调；利用所建立的疾病预测模型对目标城市中的检测数据进行识别预测，得到预测结果。本发明能够对于数据基数较少时达到较好的预测效果。技术研发人员：向波,郑代坤,曾岗受保护的技术使用者：重庆三峡医药高等专科学校技术研发日：技术公布日：2024/8/16