一种基于改进图注意力网络的冷轧钢力学性能预

本发明涉及冷轧钢材力学性能预测，具体涉及一种基于改进图注意力网络的冷轧钢力学性能预测方法。背景技术：1、冷轧钢是一种表面光滑且具有优异力学性能的钢材，其被广泛应用于汽车、船舶、电器等制造领域。力学性能是轧制生产过程中反应冷轧钢质量的重要指标，也是生产过程中的重要控制参数。力学性能的测量通常在采样完成后通过破坏性实验获得，这一过程需要投入大量时间成本和资源成本。然而，冷轧钢轧制过程是一个典型的全流程性工艺过程，整个制造过程中上下游工序之间衔接紧密，力学性能与工艺参数和化学成分之间存在着复杂的关系，因此很难实现准确的力学性能预测。因此，建立基于化学成分和工艺参数的力学性能预测模型对于降低生产成本、提升生产效率以及改善产品质量具有重要意义。2、目前基于模型的轧钢力学性能预测方法主要有基于冶金机理模型的方法和基于数据驱动的方法。然而，在冷轧过程中，奥氏体相和铁素体相都会发生复杂的微观结构演变，因此很难建立精确的机理模型来解释轧制工艺、化学成分和力学性能之间的关系。相较于冶金机理模型，数据驱动的方法是基于实际生产的历史数据建立的，这种方法不依赖于现实构建的物理模型或理论假设，因此可以适用于不同类型的钢铁合金和冶炼工艺，并且在处理多样性和复杂性问题时更加灵活，成为了轧钢力学性能预测的有效方法。例如，基于多粒级联森林架构将轧钢的基本信息和多粒度采集的局部信息进行融合完成了轧钢的性能预测。yan等人应用msvr和粒子群算法建立了冷轧钢力学性能的多输出预测模型和冷轧产品的多目标质量控制方法。此外，随着深度学习方法在提取非线性表示方面的快速发展，也被应用到轧钢力学性能预测领域。考虑到钢铁生产过程中的时间序列相关性，基于两阶段注意力机制的两阶段时间序列模型通过引入输入注意力和时间注意力自适应的提取输入特征和时间特征，从而精确预测轧钢的力学性能。基于cnn的方法通过将实际生产数据转化为二维图像数据，实现了基于cnn的轧钢性能预测方法。3、尽管上述方法在轧钢性能预测中得到了广泛应用，但这些方法无法实现整个冷轧工业过程的准确建模，限制了上述方法在该领域的实际应用。图神经网络(gnn)凭借其强大的特征表示能力和排列不变性，在建模工业数据依赖关系方面提供了出色的解决途径。chen等人通过引入自适应邻接矩阵算法和时空图注意力模块精确建模过程数据的时变时空相关性，实现了烧结温度的长期预测。sun等人通过高斯混合模型的多模态聚类方法和动态归因图注意力网络实现了复杂工业流程关键指标的准确在线预测。4、然而，现有的图注意力网络难以建模变量间的复杂非线性因果关系，通过引入神经格兰杰因果关系算法(neural grangercausality,ngc)，捕捉变量之间的复杂非线性因果关系，以建立冷轧钢力学性能预测的图结构。为了进一步提高冷轧力学性能预测精度，通过在图注意力网络(graphattentionnetwork,gat)前加入节点嵌入层，该层使用节点嵌入方法将节点的路径信息融入到gat中。通过整合上述方法，提出了一种基于神经因果图和节点嵌入层的图注意力网络的冷轧钢力学性能预测方法(neural grangercausality andembeddinggraphattentionnetwork，ngc-egat)。技术实现思路1、本发明针对现有的图注意力网络难以有效建立变量之间存在的复杂的耦合关系和非线性因果关系的问题。同时，考虑到冷轧钢生产过程具有典型的全流程性工艺特性且图注意力网络难以提取中心节点与其高阶邻域之间的路径信息的问题。进而提出了一种基于改进图注意力网络的冷轧钢力学性能预测方法，利用神经格兰杰因果关系算法提取变量之间的潜在关系，构建了力学性能预测数据的基本图结构。其次，在图注意力网络之前加入了节点嵌入层，该层利用node2vec方法探索图中不同的路径，之后图注意力网络来同时捕捉节点间的路径信息和变量间的依赖关系，实现冷轧钢力学性能的高精度预测。2、一、相关知识3、1、格兰杰因果关系(gc)4、给定n维的时间序列x＝(x1,x2,...,xt)＝(x1,x2,...,xn),格兰杰因果关系(gc)的定义为：当i≠j时，并给定其它序列的前提下，将xj的历史值纳入预测xi的当前值，可以提高xi预测的准确性，那么就可以得出xj对xi存在gc。基于模型的gc分析通常使用向量自回归(var)模型，在时间t时，xt处的时间序列是该序列的k个历史值的线性组合，则有：5、6、其中，a(k)为n×n的系数矩阵，k＝1,2,...,k，εt为0均值高斯噪声。7、在var模型中，多元时间序列x的不同变量xj对xi不存在gc的充分条件是即在var模型中gc分析可以通过检验所有滞后期系数矩阵a(k)中的哪些值为0来确定。8、2、图注意力网络(gat)9、gat(petar,et al."graph attention networks."arxiv preprintarxiv:1710.10903(2017).)是一种新型的网络架构，它利用遮蔽自主意力层为邻域中不同节点分配了不同的权重，解决了图卷积(gcn)的不足之处。假设给定一组输入节点特征，其中n是节点数量，f是节点的特征数量。将输入特征经过遮蔽自主意力层，采用leakyrelu激活函数，并进行softmax归一化操作，得到注意力系数：10、11、其中，w是每个节点线性变化的参数化权重矩阵，‖表示向量的连接操作。在得到注意力系数αij之后，对特征向量进行加权求和，作为每个节点的最终输出特征：12、13、为了提高注意力机制学习的稳定性，使用多头注意力扩展了gat，允许模型学习多个不同的权重分布，有助于更好的捕获复杂图数据中的多种依赖关系，如图2展示了具有三个注意力头的gat结构示意图。14、二、ngc-egat15、1、ngc-egat整体架构16、如图1所示，ngc-egat主要包括两个模块：神经格兰杰因果图构造模块和融入节点嵌入层的图注意力网络。首先，针对现有图结构构造方法无法准确建立变量间的复杂关系，提出基于ngc算法的图结构构造方法。其次，提出一种融入节点嵌入层的图注意力网络(embeddinggraphattentionnetwork，egat)。egat通过在gat网络之前的加入节点嵌入层，提取节点的路径信息。然后，将路径信息和节点特征输入到gat网络中以更新节点表示。最终，使用两层的全连接层得到最终的预测结果。17、2、ngc-egat构建方法18、一种基于改进图注意力网络的冷轧钢力学性能预测方法，包括如下步骤：19、s1、数据预处理：所述的数据预处理包括数据选取、数据清洗、数据标准化；20、进一步地，步骤s1中数据选取的输入数据和输出数据，输入数据包括卷取温度、终轧温度、热轧板坯厚度、冷轧板坯厚度、平整机延伸率以及碳、硅、硫、锰、磷、铜、镍、铝、酸融铝含量，输出数据包括屈服强度、抗拉强度、延伸率。21、进一步地，步骤s1的数据清洗的方法为：删除数据中的重复值；如果出现数据缺失，为了保证数据的准确性删除数据中的缺失数据。22、进一步地，步骤s1的数据标准化处理选取最小-最大标准化，转化公式如下式(1)所示：23、24、通过公式(1)将原始输入值x转化为[0,1]区间的数值x′。25、s2、建立基于神经格兰杰因果关系算法的冷轧钢力学性能预测图：26、冷轧钢的力学性能通常受多种工艺参数和化学成分的影响，它们之间存在着错综复杂的相互关系。因此，本文受到(tank,alex,et al."neural granger causality."ieeetransactions on pattern analysis and machine intelligence 44.8(2021):4267-4279.)的启发，通过将长短期记忆网络(longshort-termmemory，lstm)与gc分析相结合，提出ngc学习算法，通过lstm进行gc分析,提取变量间的复杂非线性因果关系，并使用组lasso减少冗余边的引入，进而构建具有高效信息传递和正确稀疏度的图结构。27、具体来说，对于每个输入分量使用单独的lstm进行建模。对于时刻t的变量xti，其存在如下函数关系：28、xti＝gi(x>t1,...,x>tn)+εti                      (5)29、其中gi是一个非线性函数，用于将过去t-1个历史值映射到xi，x>ti是xi过去t-1个历史值，εt为0均值高斯噪声。30、lstm网络常被用于建模复杂的时间依赖关系，通过引入门控机制用于控制信息的传递，单元状态ct用于长期依赖信息的传递，隐藏状态ht用于短期依赖信息的传递，计算公式如下所示：31、ft＝σ(wfxt+ufht-1+bf)                    (6)32、it＝σ(wixt+uiht-1+bi)                     (7)33、ot＝σ(woxt+uoht-1+bo)                     (8)34、ct＝ftect-1+itetanh(wcxt+ucht-1)                (9)35、ht＝otetanh(ct)                       (10)36、ft,it,ot分别表示遗忘门、输入门、输出门，用于控制ct，ht的信息更新。其中遗忘门ft用来决定哪些信息应该从单元状态ct中被遗忘，输入门it决定哪些信息应该被添加到单元状态ct，输出门ot决定当前输入和单元状态的哪些信息应该被输入到下一个时间步的隐藏状态。lstm可以有效的捕捉数据间的非线性依赖关系，最终，时间t时的序列i经过lstm的非线性演变，其输出xti可由式(5)更新为如下所示：37、xti＝gi(x>t)+eti＝wiht+eti                    (11)38、其中wi是输出的权重矩阵。对于wi，假设其第j列所有的滞后值k都包含0，即wij＝0，则序列j不是序列i的格兰杰原因，则说明x(t-k)j不影响ht，从而不影响输出xti。由于冷轧钢数据是一个高维数据，为了在wi中选择最相关的因果关系以保证图的稀疏性，在wi的各列中使用组lasso对整组稀疏性加以约束来选择与序列i最具有gc的序列，组lasso是一种处理多组相关变量选择问题的方法，在组lasso中，变量被分为若干组，在进行特征选择时通过对整个变量组引入稀疏性约束，同时选择或排除整个特征组，而不仅仅是单个特征，从而在存在组内相关性的情况下能够更加准确地进行变量选择。这种方法在处理高维数据，能够更好地平衡变量选择和模型解释性。通过对式(11)使用组lasso转化为求解如下优化问题：39、40、其中wij是wi的第j列，λ是惩罚函数用来控制组间的稀疏性，通过组间约束项选择对xti有gc的变量xtj。lstm模型中gc分析可以转化为变量选择问题，即矩阵wij中的元素是否等于0。同时，通过引入组lasso的正则化项，对wi进行惩罚，从而在保证正确关联性的同时确保了稀疏性。41、给定n个变量的情况下，通过上述lstm模型计算变量间的granger因果关系以确定变量间的连通性，从而生成因果图结构。非加权有向图g＝(v,e,a)用于描述冷轧钢数据多变量之间的因果关系，其中是一组多变量节点集，e是一组边集，用来表示变量间的因果关系，邻接矩阵用来描述节点间的联系，a的元素由0，1组成，表示节点间是否存在因果关系。首先，假设给定序列对于序列xi,i＝1,...,n，根据式(12)可得到与其他关联序列xj,j＝1,2,...,n的组lasso因果矩阵wi′，若子向量wi′j≠0，则说明xi,xj存在gc，并将邻接矩阵a中的相应元素设为1，否则设为0，表示两个节点之间存在连通性。最后重复上述步骤，得到邻接矩阵a，得到最终的冷轧钢性能预测数据的图结构。42、s3、建立融入节点嵌入层的图注意力网络模型：43、gat的注意力机制允许模型在面对不同的情景下动态的调整对节点关系的关注程度，这使得模型能够更好的适应数据中的关系变化，从而提高模型在面对不同输入条件时的鲁棒性。然而，冷轧钢轧制过程作为典型的全流程性工艺，要求图的中心节点到其他各节点的有向路径信息能够反映了整个生产过程中各影响因素的因果关系。但是，gat在同一层内，往往只关注一阶相邻节点，用于聚合图的拓扑信息和更新中心节点的特征(yang,yiding,et al."spagan:shortest path graph attention network."arxiv preprintarxiv:2101.03464(2021).)。因此，为了综合考虑整个路径上的节点信息，以便在网络中学习节点的连续特征表示，在gat前加入了节点嵌入层，节点嵌入层使用node2vec(grover,aditya,and jure leskovec."node2vec:scalable feature learning for networks."proceedings of the22nd acm sigkdd international conference on knowledgediscovery and data mining.2016.)采用随机游走策略探索节点的不同邻域路径，以学习节点的低维特征空间映射，从而最大程度地保留节点的高阶邻域信息。同时，本文将node2vec学习到的路径信息用于gat的注意力分数计算中，使得gat在注意力分数计算和信息聚合的过程中同时考虑图节点的路径信息和数据特征，从而更有效的完成冷轧钢性能预测任务。44、1)节点嵌入层：对于给定的网络结构g＝(v,e,a)，使用node2vec进行节点嵌入，学习节点的连续特征表示，将节点映射到低维特征空间，从而学习网络拓扑中节点的路径信息。首先，给定当前节点v∈v，访问下一个节点x的概率为：45、46、其中，πvx是冷轧钢力学性能因果图中的节点x和v之间的非归一化转移概率，z是归一化常数。随后，令转移概率πvx＝αpq(t,x)·wvx，wvx＝1为非加权有向图边的权重，αpq(t,x)为：47、48、其中，dtx表示节点t和x的最短路径距离，node2vec通过引入p和q两个参数引导随机游走策略生成节点序列n，p和q用于平衡深度优先搜索(dfs)和广度优先搜索(bfs)，从而在学习过程中平衡对图的局部结构和全局结构的捕捉，更全面的学习节点的嵌入。49、最后，使用skip-gram模型训练生成的节点序列，skip-gram模型的目标是在给定中心节点时最大化上下文节点的条件概率。通过调整节点嵌入向量，使得在同一个上下文中出现的节点在嵌入空间中更加接近。训练完成后，每个节点都会有一个对应的嵌入向量，表示节点在学习过程中的位置。这些嵌入向量捕捉了节点之间的结构关系和相似性。对于节点vi存在如下的嵌入向量：50、51、其中，e表示的是节点的嵌入向量，用于将节点映射到低维度的特征空间中，d是嵌入维度。52、2)融入路径信息的gat层：考虑到gat仅仅只考虑一阶邻域，难以表征冷轧钢的全流程特性，因此，提出了一种融入路径信息的gat模型。首先，在进行注意力系数计算时利用嵌入模型node2vec学习到的路径信息特征，模型可以在注意力机制中同时考虑节点的原始特征和网络拓扑中节点的路径信息，为不同的节点分配不同的权重，从而实现冷轧钢的全流程性表示。公式(2)更新为如下：53、54、随后，利用计算的注意力系数来更新节点特征，在这一步为了充分利用节点特征及路径信息使用了多头注意力的方式来更新节点特征，多头注意力使用多个注意力计算，使得注意力在不同的子空间挖掘节点的信息，从而提高模型对不同尺度和层次的特征的感知能力，计算过程如下：55、56、其中，h表示多头注意力的头数，wh为权重矩阵。57、最后，更新后的节点特征向量h′被送入到一个两层的前馈层当中，得到最终的预测值：58、59、60、其中，w、b为权重矩阵和偏移量。61、s4、对融入节点嵌入层的图注意力网络模型进行训练；62、s5、采用训练好的融入节点嵌入层的图注意力网络模型进行冷轧钢力学性能预测。63、与现有技术相比，本发明的有益效果为：64、本发明提出的基于改进图注意力网络的冷轧钢力学性能预测方法，一方面，通过引入神经格兰杰因果关系算，捕捉任意两个工艺参数和化学成分之间的复杂变化，提取变量间的非线性因果关系，从而有效指导图节点的连通性以建立冷轧钢力学性能预测的图结构；65、另一方面，本发明考虑到冷轧钢生产过程具有典型的全流程性工艺特性和图注意力网络难以建立中心节点与其高阶邻域之间的路径信息的问题，设计了一种融入节点嵌入层的图注意力模型。该模型利用node2vec方法探索图中不同的路径，实现了高阶邻域路径信息的提取，并结合图注意力网络来同时捕捉节点间的路径信息和变量间的复杂依赖关系。