GRU-Bit变化检测方法及其在边坡安全探测感知中的

本发明涉及基于深度学习的gru-bit变化检测方法及其在边坡安全探测感知和预警中的应用，属于计算机视觉领域。背景技术：1、当前对于变化检测的研究主要应用于遥感领域，分为传统的差异图算法和深度学习方法。在传统的差异图算法中，主要包括差异图生成和差异图优化两个步骤，如差异算子法(比值算子、均值算子和log算子等)、主成分分析法(pca)和变化向量分析法(cva)等，因其结构简单，检测精度高，在sar成像中被广泛使用，但由于监控视角下的rgb图像颜色多样，信息复杂，现有差异图方法在不同差异图的生成中需要不断调整算子的阈值以求达到最佳的检测效果，部分自动调整算子阈值的传统方法没有对图像间建立上下文信息的联系，因此难以实现端到端的预测，并不适合监控视角下的动态监测。基于神经网络的深度学习变化检测算法利用监督学习的方式学习多样的变化特征，可以有效的实现端到端的预测，其对图像进行特征提取的编码器分为单流方法和双流方法，单流方法将不同时段的图像进行叠加，送入神经网络中进行差异图的生成，如u-net框架、u-net++框架和difunet++框架等；双流方法将双时态图像分别送到两个相同的编码器架构中，对提取的特征进行解码获得差异图，如基于特征金字塔的双重注意力孪生网络(dasnet)和以unet++为框架的snunet孪生网络等。当前深度学习变化检测的研究主要集中在遥感领域，进行图像与图像间变化的分析，但同样是缺乏时间序列的联系，因此不适于本发明涉及的边坡安全探测感知等应用场景下的动态视角实时监测，另外由于其变化检测算法模型参数量较大，难以满足监控实时传输的帧率，也对其在动态监测中的应用造成障碍。技术实现思路1、本发明的目的是提供基于深度学习的bit变化检测方法及其在边坡安全探测感知/预警中的应用，这种检测方法适应于基于监控视角下的动态变化检测，且能够满足监控实时传输的帧率。2、本发明的技术方案是：基于深度学习的gru-bit变化检测方法，采用bit_cd(bitemporal image transformer_change detection)对视频图像进行变化检测，其特征在于在transformer编码阶段前，通过gru捕捉q矩阵与k矩阵，使之建立时间序列上的联系。3、进一步地，通过gru捕捉q矩阵与k矩阵的方式为将q矩阵与k矩阵进行gru算子(gru)的学习，得到矩阵l，依据下式计算获得多头注意力：4、5、6、lt＝gru(q,k)t7、其中，8、h为多头注意力机制；9、q为自注意力机制的查询矩阵；10、k为自注意力机制的关键矩阵；11、v为自注意力机制的值矩阵；12、d为缩放因子。13、优选地，添加去噪模型，从视频中取相邻帧，先将原图送入去噪模型中去噪，得到去噪后的图像，送入bit_cd的卷积层作为卷积层输入。14、优选地，所述去噪模型采用resnet18网络结构。15、优选地，在resnet18网络结构的输出侧添加cbam注意力机制的cuafm模块，以增强去噪效果。16、本发明公开的任一种基于深度学习的gru-bit变化检测方法在边坡安全探测感知中的应用，依据边坡视频图像序列，通过该变化检测方法提取变化区域(如果有的话)，计算获得变化面积，根据变化面积判断边坡安全状况。17、进一步地，在边坡安全状况符合报警/预警条件时，进行报警/预警。18、本发明基于深度学习方法，在采用transformer结构的双流结构的基础上改进变化检测算法，考虑到transformer结构通过线性变换得到的q、k、v矩阵只能通过反向传播构建隐式联系的局限性，通过gru算法对q、k矩阵增加时间序列的描述，以提升视频帧与帧间变化的上下文信息的识别，有效解决了深度学习的变化检测算法对于视频序列检测效果差、检测速度慢、不适用于监控视角的问题。19、本发明基于监控视角下的动态变化检测模型,通过分析监控视频帧与帧之间的变化实现动态检测，有利于发现和及时排除安全隐患，可用于地形复杂、自然环境变化大的边坡，实现对自然环境下出现的落石、倒伏、崩塌进行视觉感知预警，亦可用于其他若干应用场景的动态检测。技术特征：1.基于深度学习的gru-bit变化检测方法，采用bit_cd对视频图像进行变化检测，其特征在于在transformer编码阶段前，通过gru捕捉q矩阵与k矩阵，使之建立时间序列上的联系。2.如权利要求1所述的gru-bit变化检测方法，其特征在于通过gru捕捉q矩阵与k矩阵的方式为将q矩阵与k矩阵进行gru算子的学习，得到矩阵l，依据下式计算获得多头注意力：3.如权利要求1或2所述的gru-bit变化检测方法，其特征在于添加去噪模型，从视频中取相邻帧，先将原图送入去噪模型中去噪，得到去噪后的图像，送入bit_cd的卷积层作为卷积层输入。4.如权利要求1-3中任一项所述的基于深度学习的gru-bit变化检测方法在边坡安全探测感知中的应用，其特征在于依据边坡视频图像序列，通过所述的基于深度学习的gru-bit变化检测方法提取变化区域，计算获得变化面积，根据变化面积判断边坡安全状况。5.如权利要求4所述的应用，其特征在于在边坡安全状况符合报警/预警条件时，进行报警/预警。技术总结本发明涉及GRU‑Bit变化检测方法及其在边坡安全探测感知中的应用，采用Bi t_CD进行变化检测，在Transformer编码阶段前，通过GRU捕捉Q矩阵与K矩阵，使之建立时间序列上的联系，应用于边坡安全探测感知时，依据边坡视频图像序列，通过该变化检测方法提取变化区域，计算获得变化面积，根据变化面积判断边坡安全状况。本发明基于监控视角下的动态变化检测模型,通过分析监控视频帧与帧之间的变化实现动态检测，有利于发现和及时排除安全隐患，可用于地形复杂、自然环境变化大的边坡，实现对自然环境下出现的落石、倒伏、崩塌进行视觉感知预警，亦可用于其他若干应用场景的动态检测。技术研发人员：杨胜仪,林非,肖昭辉,张玮,康载庄,蒋建民,刘刚,樊子昂受保护的技术使用者：福建华电福瑞能源发展有限公司池潭水力发电厂技术研发日：技术公布日：2024/8/16