一种基于自注意力变分自编码器的工业数据增强

本发明专利涉及一种工业数据增强方法，在工业生产及工业控制领域具有发挥着极为有意义的应用前景。背景技术：1、数字化改革如火如荼，在全世界范围内掀起了智能制造浪潮，正强力推进工业数字化制造技术持续发展。制造业存在着一个演变历程，最早由机器制造到电气化，再由自动化到数字化制造，新一轮的科技与产业革命在国际产业格局中重塑，制造业再次进入新的阶段——正式跨入智能制造时代，世界各大工业强国相继制定符合本国的智能制造发展战略。2、现阶段，过程工业的数字化转型已经成为数字化时代的焦点，数字化技术随之成为过程工业发展的动力源泉。针对数字化转型，在过程工业方面包括四个组件，即数据收集、数据整合、数据加工和工作流转换，数据贯穿于整个工业生产过程，复杂的工业过程需要数据驱动和决策，过程工业的过程控制和监控离不开数据的支撑。但由于工业生产过程所具有的复杂性和不确定性等诸多难题仍未解决，尤其是在数据方面的测量、建模、控制等是影响智能制造技术的核心问题。如：数字孪生工厂采用分散控制系统(dcs)等系统实现对生产过程的数据采集、控制和监控功能，可以记录生产过程中的高频率实时数据。然而，在实际工业生产过程中，复杂的工业流程产生了大量的过程数据，导致测量关键变量成为当前工业过程一大难题。尽管近些年硬件传感器技术发展得到了很大改善，但是工业环境恶劣、仪器维护成本高和数据分析存在严重的滞后性等因素，致使测量关键变量仍然无法满足实时变量的检测需求。3、在工业制造生产过程中，各种传感器不断地获取数据，实时监测生产过程，保障生产过程安全完成。针对工业传感器存在的先天缺点，工业间接测量技术被逐渐应用。面向工业领域，工业数据预测技术被认为是一种可以间接实现测量工业变量的重要方式，通常使用其解决难以直接测量或无法测量的过程变量，为智能化控制工业过程提供支持。与此同时，数据预测模型通过挖掘多工况、多维度条件下的大规模工业数据，不仅能够为数据驱动建模提供更有价值的信息，而且对传统的过程机理建模方法提出了挑战。4、工业数据预测是通过选择过程数据作为辅助变量建立模型来估计目标变量，提升工业过程变量的实时监控能力，使生产过程减少能耗、提高生产效率，助力生产企业实现生产提质增效的目标。然而，由于工业中的大部分工艺流程的复杂性和硬件传感器的普及性，使得这一预测方法具有较大的挑战性。一方面，工艺流程的复杂性对工业过程变量提出了更高的要求，工艺流程必须实时关注，传感器应该提供更为精准的测量结果；另一方面，硬件传感器在工业制造业方面受到广泛应用，导致预测技术不能更好的发展，所以在该技术的改进方面仍需加强，本章旨在构建一种基于深度学习算法的工业数据增强方法，融合了卷积网络、变分自编码器和自注意力机制，充分利用深度神经网络的特征提取能力，挖掘工业数据的潜在信息，建立一种高质量的数据增强模型。为了验证模型的可靠性，使用工业蒸汽量数据，说明基于sa-vae的工业数据增强方法的优势。5、因此，本发明提出了一种基于自注意力变分自编的工业数据增强方法(sa-vae)。sa-vae引入自注意力机制计算得了输入的数据的相关性权值矩阵，然后采用变分自编码器对数据样本进行重构，输出增强后的数据。最后，使用全连接网络构建工业数据预测模型。技术实现思路1、针对工业过程数据间存在强相关性的特点，提出了一种基于自注意力变分自编码器的工业数据增强方法。采用自注意力机制，捕捉数据之间的关联信息，构建数据间的强相关性权重矩阵，将自注意力机制嵌入变分自编码器网络，并采用全连接神经网络搭建工业预测模型。实验结果表明提出的sa-vae模型的效果明显优于其他对比模型。2、本发明主要包括五个部分：(1)确定模型的输入和输入。(2)数据集选取和数据预处理。(3)自注意力机制与变分自编码器融合建模。(4)构建基于自注意力变分自编码器的预测模型。(5)方法有效性验证。3、步骤1：选择建模数据集，明确本发明中出现的符号和概念，将工业数据预测方法公式化。针对工业数据间存在的强相关特点，提出基于自注意力变分自编码器的工业数据增强方法。本发明以某火电厂锅炉蒸汽量数据为例，将训练数据集表示为x，确定模型的输入输出，选择合适的训练数据集。输入数据使用工业过程中的采集到的时序数据，通过从训练集中采集m个样本的小批量数据集{x(1),x(2),x(3),…,x(m)}；输出数据为经训练模型之后生成的数据集，生成的大小为n的训练集4、步骤2：划分数据集和数据预处理。本发明将蒸汽量数据集70％的数据用于训练，10％的数据用于验证，其余20％的数据用于测试，并对所有数据集进行最大-最小归一化和pca算法预处理，通过训练集和测试集中的数据分布情况，找出训练集和测试集中数据分布不一致的特征变量，这类特征容易导致降低模型的泛化能力，需要删除此类特征变量。5、步骤3：划分数据集。本发明将时间粒度设置为5分钟，对于两类交通数据集，将70％的数据用于训练，10％的数据用于验证，其余20％的数据用于测试，并对整体数据集进行z-score规范化。6、步骤4：空间相关性和时间相关性信息。工业过程复杂，受多种时空相关性的影响。因此本发明从过程工业数据的不同角度描述数据增强网络，对空间相关性、时间相关性建模。7、步骤4.1：构建自注意力机制。自注意力机制的优势在于不会因为特征变量之间距离而影响特征信息提取的能力，能够直接计算特征之间的关联度。基于预定义的矩阵，本发明专注于一定距离间隔的传感器，并认为它们之间存在直接相关性，在一定程度上可用于相互表示。本发明的重点是采用自注意力计算注意力权重来获取特征间的相关值，具体通过输入数据x，分别与矩阵wq、wk、wv做点乘操作得到查询向量q、键向量k、价值向量v，则：8、q＝wqx9、k＝wkx10、v＝wvx11、通过查询向量与键向量做点乘运算得到对应的相关性，即为价值权重系数，然后使用softmax函数将其归一化，加权求和得到自注意力过程为：12、13、其中，attention表示注意力机制，dk表示矩阵k的维度。注意力机制采用卷积网络体现了固有的数据相关结构，提取了最原始的数据特征，在一定程度上表现出有效的预测结果。14、步骤4.2：构建变分自编码器模型。变分自编码器(variational auto-encoder，vae)由两部分组成，一部分是编码器，负责将输入向量x映射到低维输出隐藏向量z；另一部分是解码器，负责接收隐藏向量z，然后输出目标向量编码器和解码器分别用和θ网络参数化为函数和pθ(x|z)函数，则有：15、decoder(z)＝pθ(x|z)16、变分自编码器的核心思想即找到一个后验分布然后采用变分推断的方式学习样本规律，不断优化目标函数。同时vae需要找到两个后验分布，进一步提高vae提取深层特征的能力。17、18、即：19、20、其中，损失函数第一项是编码器的重构误差函数，logpθ(x|z)表示解码器的似然概率，p(z)代表隐变量z符合的先验分布，dkl表示输出分布与先验分布p(z)之间的kl散度。21、变分自编码网络模型本质是通过编码过程学习得到服从高斯分布的样本，然后解码还原成新的样本集。vae结构的输入数据x经过编码网络计算输出服从正态分布的隐变量z的均值μ与方差σ2，解码器网络的输入z采样自编码器计算得到的均值μ与方差σ2采样自由于采样操作是不可导性，使得网络模型不能进行梯度传播，导致无法采用梯度下降算法实现点到点式的训练过程。考虑到这一问题，提出了一种可使采样操作连续可导的重参数化技术。通过引入ε变量(ε变量采样自标准正态分布由z＝μ+σ⊙∈方式重采样得到隐藏向量z，保证了梯度传播的连续性，同时也使模型使用梯度下降算法计算误差并优化模型参数。22、步骤4.3：建模基于自注意力变分自编码器的数据增强方法。因此本发明提出了一种基于自注意力变分自编码器的工业数据增强方法。具体来说，凭借自注意力机制能够提取数据之间潜在的关系信息，将其与vae很好的融合在一起，通过自注意力获取数据之间的依赖关系，然后vae根据依赖关系改进数据的分布，从而增强了模型的训练样本，并且提升了编码器提取数据信息的能力。最后采用特征回归建模，在sa-vae模型中，获取的独立自注意力特征作为vae的输入，与vae的重构函数融合，再建立一个多层神经网络的回归器，实现数据增强与回归预测模型的性能叠加。23、模型引入注意力机制，对编码器的输入和输出隐藏变量进行加权求和处理，这样可以有效整合原始数据的特征信息和数据之间的相关值，编码器将接收解码器重构后的输出结果。模型训练时，原始样本先是通过自注意力机制更新优化自注意力层参数，进而捕获质量变量的内部相关性，编码器获得自注意力数据经过数据重构得到隐藏数据，再经过解码器进行解码，在这个过程中，模型均使用卷积神经网络构建，卷积的作用一方面可以减少自注意力层的计算量，另一方面可以处理局部领域中的信息。24、根据步骤4.1可得，自注意力的损失函数为：25、26、根据步骤4.2可以得到，变分自编码器的优化函数：27、28、将注意力引入到变量自编码器模型中，则sa-vae的损失函数定义为：29、30、步骤5：构建整体预测模型。在嵌入自注意力机制后，开始着手于构建sa-vae整体架构，接下来，构建基于堆叠卷积自编码器的回归预测模型(scae)。31、步骤5.1：构建卷积层。卷积神经网络的优势在于避免参数的过度依赖，采用权值共享和局部相关性特点，权值共享是建立在局部相关的基础上，使用多种滤波器做卷积运算得到多种特征映射，实质就是局部连接(感受野)中的卷积核对应的权重进行共享，对权值相乘累加获取特征，即卷积运算操作。卷积层由若干个卷积核构成，然后通过卷积操作将原始样本的部分特征进行增强，并可以消除或降低噪声。网络本质是为了学习输入与输出之间的映射关系，并添加激活函数应用于卷积结果获取新的特征映射，则卷积网络的映射关系可定义为：32、33、式中的分别表示第l层的第k个滤波器的权值和偏置，表示在第k个特征图中的第l层(i,j)位置的特征值，这里是权重共享参数，采用权重共享机制可降低模型的复杂度，提高网络的训练效率。cnn需要引入非线性激活函数f(·)，激活值定义为：34、35、步骤5.2：构建堆叠卷积自编码模型。本节采用卷积神经网络(convolutionalneural networks，cnn)构建卷积自编码器(cae)，代替原来的全连接神经网络，借助堆叠策略将卷积自编码器进行对得改进，提升模型获取非线性特征的能力。36、堆叠卷积自编码器(scae)的编码-解码网络由卷积神经网络实现，网络层包括输入层、卷积层、激活函数、池化层。在网络训练的过程中，卷积层和池化层交替设置；卷积核随机初始化，执行卷积操作提取输入特征的局部信息；池化层执行池化操作将数据中的相似特征合并，提高特征的鲁棒性，减少噪声对特征的影响。卷积层的优势主要在于：1)权值共享，卷积层的模型参数相对较少，在模型训练的过程中，数据的大部分信息进行共享，可以有效地防止scae模型产生大量参数，避免模型出现过拟合风险；2)局部感知能力，卷积核保持局部不变性，在特征输出过程中只针对特定的特征，不再考虑数据特征的具体位置，方便构造的卷积堆叠自编码器提取有效信息。37、scae的权重是共享的，单通道输入x，则第k个隐藏向量可以表示为：38、hk＝σ(wk*x+bk)39、其中，bk表示第k个偏置向量，σ表示激活函数，*表示二维卷积。在网络中每个隐藏向量使用一个偏置，这样可以通过滤波器专门处理全部的特征数据。编码器对输出向量进行重构，则：40、41、卷积自编码器在重构阶段，每个卷积通道都对应一个偏置c，h表示隐藏特征映射，表示多个维度上的权重，然后得到代价函数：42、43、scae网络通过反向传播进行参数梯度更新，则该卷积网络可以实现参数更新操作：44、45、式中δh，δy分别表示隐藏状态和重构状态，然后模型优化过程通过梯度下降法更新网络权重。46、为了进一步提高scae模型提取特征的能力，增强模型的鲁棒性，将多个自编码器进行堆叠，构成一个深层次网络结构，即堆叠卷积自编码网络，该网络由每一个解码层的输出作为编码层的输入，训练通过贪婪、分层的无监督训练方式逐层训练，而每一层的编码器和解码器都由浅层的神经网络实现，这样可以有效加强浅层神经网络的凸优化，避免网络陷入局部最优，通过优化损失函数，使用激活函数对模型的权重进行反向传播调参。47、步骤6：sa-vae数据增强模型的训练和优化。构建完整的数据增强模型后，需要对模型进行训练和优化，尽可能的使模型效果达到最佳。本发明针对工业数据增强的目标值以及预测模型回归预测值，选择了回归模型量化指标：均方根误差(root mean squarderror，rmse)作为生成模型的精度评价指标。为了更清晰表示回归模型中自变量对因变量的解释效果程度，r2成为关键评价指标，它可以很好的反映模型的拟合程度。48、本发明使用adam优化器对模型进行优化，选取rmse和r2作为评价指标，具体的评价指标公式如下：49、50、