一种基于多源信号融合的家用心率测量方法与流

本发明属于心率测量领域，具体为一种基于多源信号融合的家用心率测量方法。背景技术：1、在健康领域，心率是需要被测量的一个重要指标，可以反映人体的生理和心理状况，其包含了丰富的健康状况和情绪活动信息。现在社会中，大部分人的身体状况处于亚健康状态，很多身体潜在的危险不能及时的发现，另一方面，家中老人经常一人在家，发生身体的突发情况时自身没有能力处理。智能家具心率监测系统可以有效地防范这种情况的发生，通过心率的监测，提前发现身体给出的危险信号，能够及时地解决身体健康问题。目前智能家居已经被广泛的应用，在智能家具中嵌入心率检测系统，在家中可以随时地监测身体的健康状况，能够有效的预防突发疾病的发生，及时地反馈身体的健康状况。技术实现思路1、为了更好的解决心率测量实时性和准确性的问题，本发明提供了一种基于多源信号融合的家用心率测量方法。在传感器采集ppg信号的时候由于含有运动、表情变化和灯光等干扰，在这种情况下很难准确地提取准确的心率。2、为了解决上述的难题，本发明所采用的技术方案是：采用多元数据集，将数据集分别送入神经网络中进行训练，再将模型中的特征层进行融合构建新的数据集，将特征数据集送进cnn神经网络中进行训练，输出心率值。采用多源数据集，可以提取到心率的不同特征，将这些特征融合再次进行神经网络的训练，可以增加准确率。3、为了到达上述目的，本发明所采用的技术方案是：4、一种基于多源信号融合的家用心率测量方法，包括如下步骤：采用家用摄像头，在室内环境下采集人体活动的人脸视频，并用yolo检测方法进行人脸定位并按帧获取包含人脸的图像。对获取到的人脸图像进行感兴趣区域roi选择，我们选取鼻子和额头的交叉处为roi区域。接着利用rgb通道分离和空间平均预处理技术，可以得到源信号，源信号公式为：5、6、其中，n是图像的总帧数；n是图像的帧数；x(n)是rgb三通道中一维源信号；xi，j(n)是像素点在某通道处的颜色强度值。h和w为图像的高度和宽度。7、得到rgb三通道信号后，采用固定点(fixed-point)算法得到三个独立的源信号s1、s2、s3。三个相互独立的源信号s(t)＝[s1(t),s2(t),s3(t)]t，rgb三通道得到的信号为观测信号，则：x(t)＝as(t)，其中，t是序列，a是3*3的非奇异混合矩阵。是源信号的最优估计，当得到w的解混矩阵后，带入公式中，得到源信号的最优估计。对得到的源信号和绿色通道的信号进行相关性分析，相关性最大的为含噪脉搏信号。8、优选地，在s1中，在客厅中放置沙发，在餐厅放置餐椅，且沙发与餐椅的直线距离设置为3m,在沙发上、餐椅上以及二者直线距离每隔0.5m的位置均设置传感器，客厅上还设有控制面板和电子血压计；9、摄像头的输出端与控制面板电性连接，控制面板的输出端与电子血压计电性连接。10、优选地，摄像头判断是否检测到在沙发和餐椅之间直线路径上的行走信号，若是，然后通过各个传感器将信号传递给控制面板，控制面板再将信号传递给电子血压计；11、若不是，则判断是否检测到在沙发和餐椅之间直线路径上的停止信号，若是，然后通过各个传感器将信号传递给控制面板，控制面板再将信号传递给电子血压计，若不是，则利用摄像头判断是否检测到在沙发和餐椅之间直线路径上的行走信号。12、优选地，在检测到停止信号时，此时利用脚接触其中一个传感器测得信号，在检测行走型号时，此时利用脚接触相邻的两个传感器分别测得两个信号。13、进一步地，将得到的含噪脉搏信号构建为一维数据集，并送入cnn卷积神经网络中进行训练。cnn模型的结构为，首先经过1个卷积层，再通过6组卷积层加池化层，最后再经过一个卷积层和4个全连接层，最后输出心率。再经过最后一个卷积层的时候我们将数据转换为一维向量。最后通过的4个全连接层时候，我们在经过第一个全连接层的降维后就提取出特征层。14、进一步地，我们通过传感器，在室内环境下，采集人体的ppg信号，构建ppg信号数据集，并将ppg信号数据集送入cnn卷积神经网络中进行训练，cnn模型的结构和含噪脉搏信号数据集训练模型结构一致，最后提取出特征层的数据。15、进一步地，将提取出来的含噪脉搏信号特征层和ppg信号模型的特征层融合起来，构建新的特征层数据集。并送入cnn卷积神经网络中进行训练。最终输出心率值。16、与现有技术相比，本发明所达到的有益效果：17、本发明通过ppg信号和含噪脉搏信号两种数据集，进行训练并且特征融合，在智能家具应用场景中可以更快，更加准确的测量出人体的心率，并且在家中，无论是在客厅的沙发上，还是楼梯走道中，还是在卧室中，面对复杂的动作场景，都可以很好的进行心率测量。采用多源信号的优点在于，两种数据集的采集形式不同，含噪脉搏信号是通过图像的方式采集，ppg信号是通过传感器进行采集，两种采集方式可以进行互补，使得测量更加准确。其次通过神经网络的训练，可以准确的提取信号中包含的心率特征，将特征进行融合再训练极大的提高了心率测量的准确度。技术特征：1.一种基于多源信号融合的家用心率测量方法，其特征在于，包括如下步骤：2.根据权利要求1所述的一种基于多源信号融合的家用心率测量方法，其特征在于，在客厅中放置沙发，在餐厅放置餐椅，且沙发与餐椅的直线距离设置为3m,在沙发上、餐椅上以及二者直线距离每隔0.5m的位置均设置传感器，客厅上还设有控制面板和电子血压计；3.根据权利要求2所述的一种基于多源信号融合的家用心率测量方法，其特征在于，摄像头判断是否检测到在沙发和餐椅之间直线路径上的行走信号，若是，然后通过各个传感器将信号传递给控制面板，控制面板再将信号传递给电子血压计；4.根据权利要求3所述的一种基于多源信号融合的家用心率测量方法，其特征在于，在检测到停止信号时，此时利用脚接触其中一个传感器测得信号，在检测行走型号时，此时利用脚接触相邻的两个传感器分别测得两个信号。5.根据权利要求1所述的一种基于多源信号融合的家用心率测量方法，其特征在于，用多元数据分别进行cnn卷积神经网络进行训练，再将模型的特征层进行融合构建特征层数据集，再次进行ccn卷积神经网络进行训练，最终输出心率值，通过获取ppg信号和含噪脉搏信号进行融合作为数据集，训练神经网络，然后再输出心率值。6.根据权利要求1所述的一种基于多源信号融合的家用心率测量方法，其特征在于，步骤s1中，采用家用摄像头，在室内环境下采集人体活动的人脸视频，并用yolo检测方法进行人脸定位并按帧获取包含人脸的图像，对获取到的人脸图像进行感兴趣区域roi选择，我们选取鼻子和额头的交叉处为roi区域，接着利用rgb通道分离和空间平均预处理技术，可以得到源信号，源信号公式为：7.根据权利要求1所述的一种基于多源信号融合的家用心率测量方法,其特征在于，步骤s2中，将得到的含噪脉搏信号构建为一维数据集，并送入cnn卷积神经网络中进行训练，cnn模型的结构为，首先经过1个卷积层，再通过6组卷积层加池化层，最后再经过一个卷积层和4个全连接层，最后输出心率，再经过最后一个卷积层的时候我们将数据转换为一维向量，最后通过的4个全连接层时候，我们在经过第一个全连接层的降维后就提取出特征层。8.根据权利要求1所述的一种基于多源信号融合的家用心率测量方法，其特征在于，步骤s3中，我们通过传感器，在室内环境下，采集人体的ppg信号，构建ppg信号数据集，并将ppg信号数据集送入cnn卷积神经网络中进行训练，cnn模型的结构和含噪脉搏信号数据集训练模型结构一致，最后提取出特征层的数据。9.根据权利要求1所述的一种基于多源信号融合的家用心率测量方法，其特征在于，步骤s4中，将提取出来的含噪脉搏信号特征层和ppg信号模型的特征层融合起来，构建新的特征层数据集，并送入cnn卷积神经网络中进行训练，最终输出心率值。技术总结本发明公开了一种基于多源信号融合的家用心率测量方法，包括如下步骤：S1、通过家用摄像头采集到相关人脸视频并进行定位得到人脸图像；S2、对人脸图像进行信号处理获得含噪脉搏信号并构建含噪脉搏信号的数据集，用CNN神经网络模型进行训练；S3、通过传感器采集PPG信号，并对PPG信号进行数据预处理，构建PPG信号数据集；用CNN神经网络模型进行训练；S4、将用PPG信号和人脸图像两个数据集训练的模型特征层分别提取出来并融合成一个新的数据集；S5、将融合的特征数据集输入到CNN神经网络中进行训练，并输出最终的心率值。本发明能实现心率的检测，具有检测速度快、检测精度高、抗干扰性好等优点。技术研发人员：储茂斌,罗伟,吕照民,管淼,刘书华受保护的技术使用者：浙江久安绿色智能家居有限公司技术研发日：技术公布日：2024/8/15