变压器是电力网络运行过程中最重要的设备之一，变压器如果产生故障，会给电力网络带来巨大的经济损失。变压器的定期维修和故障及时发现具有重要的意义。目前用于检测变压器是否正常运行的方法很多，其中应用最为广泛的是油中溶解气体分析法(Dissolved Gas Analysis, DGA)。该方法是利用对变压器绝缘油中的五种溶解气体(H₂、CH₄、C₂H₆、C₂H₄和C₂H₂)浓度进行分析，从而确定变压器的故障类型^[1]。

近些年研究者提出了基于机器学习变压器故障诊断方法，主要有基于模糊集理论^[2]，基于支持向量机^[3]，基于聚类分析法^[4]，基于神经网络法^[5-7]等。还有研究者提出基于进化理论的变压器故障诊断方法，主要有基于遗传方法^[8]，基于粒子群方法^[9]和基于免疫方法^[10]等。这些算法在故障诊断中均取得较好的效果。

2006年由Hinton等人^[11]，在Science杂志上提出深度信念网络(Deep Belief Network, DBN)模型，被称为神经网络的新生^[12]。深度信念网络从结构上来说是由多个受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)组成。Roux和Bengio^[13]从理论上证明了，如果隐层的单元数量足够大，RBM能够拟合任意类型的离散分布。近些年基于RBM的深度算法在图像识别^[14]，语音识别^[15]，文本识别^[16]等领域均取得了成功。然而应用RBM算法在变压器故障诊断领域的研究较为少见。本文基于深度结构的RBM算法与变压器油中DGA技术相结合进行变压器故障诊断。构造由两层RBM和一层BP所组成的深度信念网络DBN。利用RBM进行预训练并提取特征信息，利用BP计算误差并重构DBN。仿真结果表明该方法对变压器故障分类有较高的准确性。

1 变压器故障分类

电力变压器大多数都是用绝缘油实现绝缘和散热功能。电力变压器虽然经过密封和干燥处理，但是在运行过程中难免会混入少量空气。这些空气在热力和电力的作用下与绝缘油发生化学反应，产生少量CO、CO₂以及一些低分子烃类。

变压器在正常运行的情况下，绝缘油内部的分子结构比较稳定，不会出现化学键的断裂从而产生烃类气体。如果内部发生故障，那么故障点会释放出大量的热量。这些热量就会迫使故障点周围的绝缘油裂变，从而产生CH₄(甲烷)、C₂H₆(乙烷)、C₂H₄(乙烯)、C₂H₂(乙炔)、H₂(氢气)，以及CO(一氧化碳)、CO₂(二氧化碳)。某些情况下CO和CO₂并不是由设备故障造成的。因此CH₄、C₂H₆、C₂H₄、C₂H₂、H₂这五种气体就成为检测变压器故障的特征气体^[17]。绝缘油的烃分子在300~400 ℃的时候开始发生裂变反应。随着温度的不断增加，H₂和烃类气体的含量也会增加，裂变气体的热解顺序为：烷烃-烯炔-炔烃。变压器内部故障主要有机械、热、电三种模式。典型的变压器故障可以概括为局部放电、低能放电、高能放电、低温过热、高温过热这五类。当产生故障时，五种特征气体的含量呈现一些规律性，比如当局部放电时，如果放电密度较低时总烃类含量比较低，H₂含量通常会占到总量的90%以上。

当溶解气体超过正常值范围时候，可用表 1判断故障性质。在故障诊断的时候，特征气体的含量与故障类型有着十分密切的联系。因此用特征气体含量来判断变压器故障性质比较方便直观。

由于不同的故障所含有的特征气体的含量差别较大，一般来说通过对气体的相对含量的统计更加准确，更容易诊断故障类型。因此三比值法，即W(CH₄)/W(H₂)、W(C₂H₂)/W(C₂H₄)、W(C₂H₄)/W(C₂H₆)数据往往被用来进行故障分析。

2 模型设计

根据DBN的设计原理，网络结构设计采用两层RBM和一层BP的模式。可见层包含3个单元，用来存放输入的变压器故障三比值的数据。输出层T包含5个单元，用来存放三比值数据对应的变压器故障类型。在维数较低的情况下，神经网络每层的单元格数k可以利用kolmogorov定理计算

$ k = \left[{\sqrt {n + m} } \right] + a, $

(1)

其中：n是可视层单元个数；m为输出层单元个数；a为1~10的随机整数；[·]表示取整。利用式(1)和实际仿真确定第一个隐层H⁰含有5个单元，第二个隐层H¹含有7个单元。另外每层增加一个偏置项，用来存放阈值。可见层V和隐层H⁰从逻辑结构上组成第一层RBM，隐层H⁰和隐层H¹共同组成第二层的RBM，隐层H⁰看做是第二层RBM的输入。隐层H¹和输出层T在逻辑上组成第三层BP，隐层H¹看做是第三层BP的输入。网络结构图如图 2所示。

两层RBM网络状态{v, h⁰, h¹}的能量模型可以定义为

$ \begin{array}{l} E(v, {h^0}, {h^1}|\theta ) =-\sum\limits_{i = 1}^n {{a_i}{v_i}}-\sum\limits_{j = 1}^m {{b_j}} h_{_j}^{^0}-\sum\limits_{k = 1}^l {{c_k}} h_{_k}^{^1} - \\ \sum\limits_{i = 1}^n {\sum\limits_{j = 1}^m {{v_i}} } {W_{ij}}h_{_j}^{^0} - \sum\limits_{j = 1}^m {\sum\limits_{k = 1}^l {h_{_j}^{^0}} } {W_{jk}}h_{_k}^{^1}, \end{array} $

(2)

其中：v_i表示可见层第i个节点的值；h_j⁰表示第一个隐层第j个节点的值；h_k¹表示第二个隐层第k个节点的值。v_i, h_j⁰, h_k¹的状态取值{0, 1}；W_ij表示从v_i节点到h_j⁰的权重值；W_jk表示h_j⁰到h_k¹的权重值；a_i表示可见层的偏置；b_j表示第一个隐层的偏置；c_k表示第二个隐层的偏置。根据热力学相关原理，求得联合概率分布为

$ P\left( {v, {h^0}, {h^1}} \right) = \frac{{{\rm{exp}}\left( {-E\left( {v, {h^0}, {h^1}} \right)} \right)}}{{{\sum _{v, {h^0}, {h^1}}}{\rm{exp}}\left( {-E\left( {v, {h^0}, {h^1}} \right)} \right)}}。$

(3)

根据联合概率分布，计算求得条件概率分布为

$ P\left( {h_{_j}^{^0} = 1|v, {h^1}} \right) = \sigma \left( {{b_j} + \sum\limits_i {{v_i}} {W_{ij}} + \sum\limits_k {h_{_k}^{^1}} {W_{jk}}} \right), $

(4)

其中：$ \sigma \left( x \right) = \frac{1}{{1 + exp\left( {-x} \right)}} $函数。利用式(4)计算求得第一个隐层节点的激活概率。

由于在可见层单元之间没有直接的链接，并且只与隐层h⁰关联。因此可见单元之间符合独立条件分布，且条件项为h⁰。条件概率分布为

$ P\left( {{v_i} = 1|{h^0}} \right) = \sigma \left( {{a_i} + \sum\limits_j {{W_{ji}}} h_{_j}^{^0}} \right)。$

(5)

同理隐层h¹的条件概率分布为

$ P\left( {h_{_k}^{^1} = 1|{h^0}} \right) = \sigma \left( {{c_k} + \sum\limits_j {{W_{jk}}} h_{_j}^{^0}} \right)。$

(6)

通过最大化训练样本的极大似然对数函数来求解θ

$ {\theta ^*} = {\rm{arg}}\mathop {{\rm{max}}}\limits_\theta \left( \theta \right) = \arg \mathop {\max }\limits_\theta \sum\limits_{t = 1}^T {{\rm{ln}}} P\left( {{v^{\left( t \right)}}|\theta } \right)。$

(7)

对(θ)求偏导得到

$ \begin{array}{l} \frac{\partial }{{\partial \theta }} = \sum\limits_{{h^0}, {h^1}} {P\left( {{h^0}, {h^1}|v} \right)} \frac{{\partial \left( {-E\left( {v, {h^0}, {h^1}} \right)} \right)}}{{\partial \theta }} + \\ \sum\limits_{v, {h^0}, {h^1}} {P\left( {{h^0}, {h^1}, v} \right)} \frac{{\partial \left( {-E\left( {v, {h^0}, {h^1}} \right)} \right)}}{{\partial \theta }}。\end{array} $

(8)

由于进一步求导时P(h⁰, h¹, v|θ)分布难以获得，所以通过CD算法近似计算其分布。

CD算法就是利用Kullback-Leibler距离来计算概率分布的区别性。

$ KL\left( {q||p} \right) = \sum\limits_{x \in \mathit{\Omega }}^{} q \left( x \right){\rm{ln}}q\left( x \right)-\sum\limits_{x \in \mathit{\Omega }} {q\left( x \right)} {\rm{ln}}p\left( x \right)。$

(9)

利用式(9)计算采样概率分布的区别性

$ KL{\rm{ }}({p_0}||{p_\infty })-KL{\rm{ }}({p_n}||{p_\infty }), $

(10)

其中：p₀是初始状态的联合概率分布；p_n是经过n步MCMC采样以后的联合概率分布；p_∞是马氏链最末端的联合概率分布。CD算法就是不断的将p_n赋值给p₀，通过对参数的修正，让KL距离趋近与0。CD算法的精准度近似于MCMC方法^[18]，更新参数由下式计算

$ \begin{array}{l} \Delta {W_{ij}} = \varepsilon \left( {{{\left[{{v_i}h_{_j}^{^0}} \right]}_{data}} - {{\left[{{v_i}h_{_j}^{^0}} \right]}_{recon}}} \right), \\ \Delta {W_{jk}} = \varepsilon \left( {{{\left[{h_{_j}^{^0}h_{_k}^{^1}} \right]}_{data}} - {{\left[{h_{_j}^{^0}h_{_k}^{^1}} \right]}_{recon}}} \right), \\ \Delta {a_i} = \varepsilon \left( {{{\left[{{v_i}} \right]}_{data}} - {{\left[{{v_i}} \right]}_{recon}}} \right), \\ \Delta {b_j} = \varepsilon \left( {{{\left[{h_{_j}^{^0}} \right]}_{data}} - {{\left[{h_{_j}^{^0}} \right]}_{recon}}} \right), \\ \Delta {c_k} = \varepsilon \left( {{{\left[{h_{_k}^{^1}} \right]}_{data}} - {{\left[{h_{_k}^{^1}} \right]}_{recon}}} \right)。\end{array} $

(11)

其中：ε表示网络学习率；[·]_recon表示重构以后的概率分布。基于CD算法的RBM训练的主要步骤如下：

Step 1  初始化令ΔW_ij、ΔW_jk、Δa_i 、Δb_j、Δc_k的值为0，W_ij、W_jk、a_i、b_j和c_k随机较小的数。然后设置迭代次数E。

Step 2  将训练样本v赋值给的v⁰利用式(5)、式(6)计算h⁰、v¹、h¹。

Step 3  利用式(11)，计算ΔW_ij、ΔW_jk、Δa_i、Δb_j、Δc_k的值，并更新参数θ←θ+Δθ。

Step 4  如果迭代次数小于E，则重复Step 2, 否则结束。

3 训练与仿真

变压器油中特征气体的浓度数据，对分析变压器故障有着直接的指导意义。根据收集到的数据进行整理，训练数据分为两个部分，一部分为输入数据，即五种特征气体H₂、CH₄、C₂H₂、C₂H₆、C₂H₄的样本数据，利用三比值法^[19]计算出三个比值的数据，作为测试样本的输入数据。也就是说训练输入样本为三维矩阵。为了减小数据的奇异性，提高训练速。使用数据归一化公式，把训练输入样本的数据归一到[-1, 1]之间。

$ y = \frac{{({y_{{\rm{max}}}}-{y_{{\rm{min}}}})\left( {x-{x_{{\rm{min}}}}} \right)}}{{({x_{{\rm{max}}}}-{x_{{\rm{min}}}})}} + {y_{{\rm{min}}}}。$

(12)

其中：y表示归一化处理后的样本数据，令y_max=1，y_min=－1；x_max为样本中最大值，x_min为样本中的最小值。

训练数据的另外一部分为输出数据，即特征气体的样本数据对应的故障情况，将变压器的故障分为5类，低温过热(00001)、高温过热(00010)、局部放电(00100)、低能放电(01000)和高能放电(10000)。

在实际的训练过程中，除了对初始数据进行归一化外，额外添加部分高斯噪音(Gaussian Noise, GN)。即数据ξ~N(μ, σ²)，其中σ²表示随机变量的方差，μ表示随机变量的平均期望。本文中将高斯噪声添加到可视层中。从流形学习的角度分析，高维样本数据通常散布在低维流形上或者附近。流形学习尝试发现嵌入在高维数据空间中的低维流形结构。假设随机算子$p\left( {X|\tilde X} \right) $，尝试学习低纬度流形$ \tilde X $表示高纬度样本数据X。高斯噪声数据较真实样本数据距离流形结构有较远的一段距离。因此$p\left( {X|\tilde X} \right) $需要有一个较大的梯度变化，从而使得$\tilde X $尽快到达流形面。从这个角度考虑，RBM也是一种流形学习的模型。在可视层增加高斯噪声以后，为了尽快到达低维流形结构，梯度会产生较大变化。从而避免了局部过拟合情况的出现，误差曲线比不加高斯噪声的误差曲线收敛性更好。

训练网络的过程中，一些参数的设置是十分重要的。近来的一些研究表明^[20]，如果参数设置不当，会影响最终的实验结果。根据经验和在仿真过程中的一些调试，笔者对一些重要的参数做了如下设置。

学习率设置：学习速率的选取很重要，过大会导致系统不稳定，过小会导致训练周期过长、收敛慢，达不到要求的误差。一般倾向于选取较小的学习速率以保持系统稳定，通过观察误差下降曲线来判断。下降较快说明学习率比较合适，若有较大振荡则说明学习率偏大。由于网络规模大小的不同，学习率选择应当针对其进行调整。在本实验中，设置网络的学习率为0.05，此设置收敛速度快，误差曲线波动小。

动量项设置：为了避免受学习率设置影响，在参数更新的时候，增加动量项的设置，使得参数的变化并不完全由似然函数的梯度方向决定。避免了出现过度拟合的问题。在本试验中设置动量项为0.9。

本文以IEC TC 10 Database^[21]所提供的134组历史故障案例样本资料作为变压器故障的输入样本。使用K层交叉验证(K-fold)的方式对实验数据进行分类。实验数据分为K组，交叉验证过程重复K次，每次选取其中一个不同的部分作为测试数据，其余K-1组作为训练数据。实验设置K=9，即将数据分为9组。每次选取其中一组作为测试数据，其余8组作为训练数据，重复9次，确保每组数据都被当做测试数据。最终把测试结果取平均值即可得到整体正确率。图 3为经过BP训练的误差曲线图与经过RBM训练的误差曲线图，图中可以发现RBM的误差明显小于BP训练的误差，并且收敛速度更快。经过1 000轮回的训练后，误差能够达到10^-2左右。图4为带高斯噪声和不带高斯噪声的RBM的误差曲线图。如图可以看出，增加部分高斯噪声以后，曲线的收敛速度更快。在同样学习率的情况下，训练效果更优。

为了验证算法有效性，本文设计BP、K邻近(K-NearestNeighbor, K-NN)、支持向量机(Support Value Machine, SVM)和RBM几种算法的对比试验。表 2所示为K-NN算法的识别率，K=15时，正确率最高为90%。表 3所示为SVM在选择不同核函数(Kernel Function, KF)的情况下的正确率，当选择径向基函数(Radial Basis Function, RBF)作为核函数时，正确率最高为79.9%。

通过对134组训练数据进行了1 000轮回的训练后，表 4列举了BP和RBM的明细正确率。BP算法平均正确率为84.1%。RBM算法在低温过热分类中获得100%的正确率，在局部放电分类中获得最低83.3%的正确率，平均正确率为93.6%。

在已经训练好的网络基础上，本文对10组测试样本进行了检验。使用RBM网络训练结果与实际的故障结果进行比较如表 5所示。可以看出，使用RBM网络诊断的结果与变压器的实际故障具有较高的吻合度。

4 结语

本文研究了一种基于受限玻尔兹曼机模型的变压器故障诊断方法。方法首先根据变压器绝缘油中五种特征气体含量计算三比值数据。然后构造一个由两层RBM和一层BP所组成的DBN网络。利用RBM预训练样本数据，利用BP进行误差计算并判断故障类型。仿真结果验证该方法的有效性。