基于多模态信号的认知状态识别方法、装置、设

本发明涉及教育信息化，尤其涉及一种基于多模态信号的认知状态识别方法、装置、设备及计算机可读存储介质。背景技术：1、随着智能化的发展，用户的认知状态识别可以应用到我们生活的各个方面。例如在用户体验研究中，可以通过识别用户的认知状态来评估产品或服务的效果；在教育领域中，可以利用高低阶认知状态识别来评估学生的学习状态和情绪状态；在汽车驾驶领域，认知状态识别可以用于监测驾驶员的注意力、疲劳等状态。现有技术中，在教育信息化领域，还没有准确地识别学习者高低阶认知状态的方法。技术实现思路1、本发明提供一种基于多模态信号的认知状态识别方法、装置、设备及存储介质，其主要目的在于通过注意力机制表示多种生理信号之间的复杂协同关系的同时，缩小各模态数据的异质性差距，从而提高对用户的高低阶认知状态识别的准确率。2、为实现上述目的，本发明提供的一种基于多模态信号的认知状态识别方法，包括：3、获取目标用户的初始脑电图及预设外周生理信号的初始外周图像集合，并根据预设的图像预处理策略，对所述初始脑电图及初始外周图像集合进行降噪清洗操作，得到脑电图及外周图像集合；4、利用预训练的循环神经网络层，对所述脑电图进行特征提取操作，得到第一特征序列，及对所述外周图像集合进行特征提取操作，得到第二特征序列集合；5、利用预训练的特征映射层中的第一特征映射网络，对所述第一特征序列进行基于各通道的自注意力权重配置，得到通道注意力增强特征序列，并对所述通道注意力增强特征序列进行基于时间-通道的二维特征映射操作，得到第一映射特征序列；6、利用所述特征映射层中的第二特征映射网络，对所述第二特征序列集合进行基于时间步的多次线性投影注意力权重配置，得到时间注意力增强特征序列集合，并对所述时间注意力增强特征序列集合进行基于时间步的一维特征映射操作，得到第二映射特征序列集合；7、利用预训练的融合与分类层，将所述第一映射特征序列及所述第二映射特征序列集合映射至目标空间，得到多模态融合特征序列集合，并对所述多模态融合特征序列集合进行全连接分类判断，得到所述目标用户的高低阶认知状态识别结果。8、可选的，所述利用预训练的特征映射层中的第一特征映射网络，对所述第一特征序列进行基于各通道的自注意力权重配置，得到通道注意力增强特征序列，并对所述通道注意力增强特征序列进行基于时间-通道的二维特征映射操作，得到第一映射特征序列，包括：9、利用所述第一特征映射网络中的第一多层感知层对所述第一特征序列进行基于各通道自注意力的非线性变换，得到权重配置特征序列，并利用所述第一特征序列与所述权重配置特征序列进行残差跳跃连接，得到通道注意力增强特征序列；10、利用所述第一特征映射网络中的二维卷积神经网络，对所述通道注意力增强特征序列进行自适应次数的二维双层卷积池化操作，得到降维增强特征序列；11、利用所述第一特征映射网络中的第二多层感知层，根据预设的时间-通道维度，将所述降维增强特征序列分别映射为时间注意力特征序列及通道注意力特征序列，并将所述时间注意力特征序列及通道注意力特征序列进行特征融合操作，得到融合特征结果；12、利用所述第一特征映射网络中的全卷积网络对所述融合特征结果进行全卷积操作，得到第一映射特征序列。13、可选的，所述利用所述第一特征映射网络中的第一多层感知层对所述第一特征序列进行基于各通道自注意力的非线性变换，得到权重配置特征序列，包括：14、对所述第一特征序列进行平均池化操作，得到第一平均池化特征序列，及对所述第一特征序列进行最大池化操作，得到第一最大池化特征序列；15、利用所述第一特征映射网络中的第一多层感知层，分别对所述第一平均池化特征序列与第一最大池化特征序列进行注意力权重计算，分别得到平均注意力序列及最大注意力序列；16、对所述平均注意力序列及最大注意力序列进行求和平均计算，得到注意力融合序列，并利用sigmoid激活函数对所述注意力融合序列进行输出，得到权重配置特征序列。17、可选的，所述利用所述特征映射层中的第二特征映射网络，对所述第二特征序列集合进行基于时间步的多次线性投影注意力权重配置，得到时间注意力增强特征序列集合，包括：18、利用所述第二特征映射网络中的多层感知层对所述第二特征序列集合进行两次线性变换，得到变换特征结果；19、利用softmax函数对所述变换特征结果进行归一化操作，得到注意力分布；20、根据所述注意力分布对所述第二特征序列集合进行权重配置，得到时间注意力增强特征序列集合。21、可选的，所述利用预训练的循环神经网络层，对所述脑电图进行特征提取操作之前，所述方法还包括：22、获取包含循环神经网络层、特征映射层及融合与分类层的认知状态识别模型，及获取包含自采集数据及deap生理信号数据库的训练样本集合；23、依次从所述训练样本集合中提取一个目标样本，并利用所述认知状态识别模型对所述目标样本进行网络正向计算，得到认知预测结果；24、利用交叉熵损失算法，计算所述目标样本对应的真实标签与所述认知预测结果之间的损失值，并根据梯度下降方法，最小化所述损失值，得到所述损失值最小化时的网络模型参数，并对所述网络模型参数进行网络逆向参数更新操作，得到更新认知状态识别模型；25、判断所述损失值的收敛性；26、当所述损失值未收敛时，返回上述依次从所述训练样本集合中提取一个目标样本的操作步骤，利用新的目标样本对所述更新认知状态识别模型进行迭代训练；27、当所述损失值收敛时，停止训练过程，得到训练完成的循环神经网络层、特征映射层及融合与分类层。28、可选的，所述利用预训练的循环神经网络层，对所述脑电图进行特征提取操作，得到第一特征序列，包括：29、利用所述循环神经网络层中的长短期记忆网络，对所述脑电图进行特征提取操作，得到特征提取结果；30、根据门控状态筛选算法对所述特征提取结果进行重要信息筛选操作，得到第一特征序列。31、可选的，所述融合与分类层，包括预构建的联合表示框架、模态间注意力编码器、前反馈注意力编码器及双层全连接层分类器。32、为了解决上述问题，本发明还提供一种基于多模态信号的认知状态识别装置，所述装置包括：33、多模态信号图像获取模块，用于获取目标用户的初始脑电图及预设外周生理信号的初始外周图像集合，并根据预设的图像预处理策略，对所述初始脑电图及初始外周图像集合进行降噪清洗操作，得到脑电图及外周图像集合；34、特征编码模块，用于利用预训练的循环神经网络层，对所述脑电图进行特征提取操作，得到第一特征序列，及对所述外周图像集合进行特征提取操作，得到第二特征序列集合；35、特征映射模块，用于利用预训练的特征映射层中的第一特征映射网络，对所述第一特征序列进行基于各通道的自注意力权重配置，得到通道注意力增强特征序列，并对所述通道注意力增强特征序列进行基于时间-通道的二维特征映射操作，得到第一映射特征序列，及利用所述特征映射层中的第二特征映射网络，对所述第二特征序列集合进行基于时间步的多次线性投影注意力权重配置，得到时间注意力增强特征序列集合，并对所述时间注意力增强特征序列集合进行基于时间步的一维特征映射操作，得到第二映射特征序列集合；36、认知状态识别模块，用于利用预训练的融合与分类层，将所述第一映射特征序列及所述第二映射特征序列集合映射至目标空间，得到多模态融合特征序列集合，并对所述多模态融合特征序列集合进行全连接分类判断，得到所述目标用户的高低阶认知状态识别结果。37、为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：38、至少一个处理器；以及，39、与所述至少一个处理器通信连接的存储器；其中，40、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的基于多模态信号的认知状态识别方法。41、为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的基于多模态信号的认知状态识别方法。42、本发明实施例先通过第一特征映射网络将脑电图数据实现多通道注意力权重配置，并通过二维卷积操作获取基于时间与通道进行第一映射特征序列，再通过第二特征映射网络对脑电图以外的信号，例如心电图、血压及呼吸信号等进行时间步的注意力配置，并通过一维卷积操作进行映射，得到第二映射特征序列集合，通过多模态生理信号具备互补性从而降低单模态数据异常等因素造成的对识别结果负面影响；最后进行特征融合，解决不同模态信号间的差异性，最终通过全连接分类，得到高低阶认知状态识别结果，提高识别准确率。因此，本发明实施例提供的一种基于多模态信号的认知状态识别方法、装置、设备及存储介质，能够通过注意力机制表示多种生理信号之间的复杂协同关系的同时，缩小各模态数据的异质性差距，从而提高对用户的高低阶认知状态识别的准确率。