1 引言

在现代工业生产过程中，生产策略的不同导致实际生产过程存在着多个运行模态。由于每个模态的离散程度不同，数据复杂，使得过程监控越来越受到人们的重视^[1-3]。其中基于数据驱动的故障检测技术受到国内外学术界的广泛关注，以主元分析(principal component analysis, PCA)算法为代表的多元统计分析方法迅速发展，并衍生出多种新的故障检测方法^[4-5]。主元分析算法^[6]是一种对数据进行降维的方法，但在处理多模态过程时，由于其需要数据满足单一分布的基本假设无法满足，因此无法给出满意的监控效果^[7-10]。

近年来，为了解决多模态过程监控问题，许多学者从不同角度分析多模态工业过程，提出了多种故障诊断方法^[11-12]。为了解决具有非高斯、非线性的多模态间歇过程故障检测问题，HE等提出了基于k近邻(k-nearest neighbor, kNN)的故障检测方法^[13]。kNN算法对解决非线性和多模态问题是有效的，但当多模态样本方差差别较大时，检测效果不理想。为了建立单个模型来实现多模态过程的监控目的，华东理工大学的马贺贺等^[14]提出一种局部离群因子(local outlier factor，LOF)的方法进行故障检测。因为LOF适用于基于不同密度的数据集群，此时可以得出此对象的LOF值，以更确切地判断其是否为一个故障点，但此方法也有一定局限性，并不能适用于所有的情形。此外，它的计算也相对复杂，准确性不高。针对多工况生产过程中过程数据维数高，中心漂移和方差差异明显等特点，冯立伟等^[15]提出了基于主元分析和加权k近邻相结合(PCA and weighted k-nearest neighbor, PC-WkNN)的故障检测方法。在多模态过程故障诊断中为了使算法更加有效，通常需要对数据进行预处理，主要的数据预处理方法有z-score标准化方法。z-score方法可以标准化每一个数据样本，但当数据集中包含多个模态时，各模态均值与标准差和全局均值与标准差偏离较大，多模态数据仍然具有多模态特性。为了消除数据间的多模态特性，马贺贺等人^[16]提出局部近邻标准化(local neighborhood standardization, LNS)的数据预处理方法，利用每个样本局部近邻的均值和标准差标准化该样本，使数据标准化后尽可能地服从单峰高斯分布。但该方法近邻数k的选取对检测结果影响较大，而且该方法根据经验选取近邻数k时需要以各个模态过程知识为依托，具有一定的局限性。最近，为了解决多模态问题，郭等^[17]提出一种差分(difference, DIF)预处理算法。每个样本和其最近邻进行差分处理后消除了各个样本到原点之间的距离，使样本聚集在原点附近，所以该算法可以将数据的多模态结构转化为单模态结构。但是差分算法不能处理各模态方差差异明显的多模态过程。因此，本文提出一种新的基于局部相对概率密度kNN (kNN based on local relative probability density, LRPD-kNN)的多模态过程故障检测方法，其基本思想是运用局部相对概率密度对故障数据与正常数据空间距离关系上的差异进行预处理，消除多模态特性，在此基础上运用kNN进行故障检测。

2 基于局部相对概率密度kNN的多模态过程故障检测 2.1 kNN方法

kNN算法就是每个样本都可以用它最接近的k个邻居来代表。其思想是正常样本的轨迹与训练样本的轨迹相似，而故障样本的轨迹偏离训练样本的轨迹，故障样本与其最近邻样本的距离大于正常样本与其最近邻的距离。通过确定训练样本与其最近邻样本距离的分布可以定义具有一定置信水平的阈值。基于kNN的故障检测方法由两部分构成：建立模型和故障检测。

(1) 建立模型

1) 收集正常数据集为训练样本X(m×n)；取近邻数为k，计算每个样本与其k个近邻欧式距离的平方和为

$ D_i^2 = \sum\limits_{j = 1}^k {d_{ij}^2} $

(1)

其中是${d_{ij}^2}$为第i个样本与它的第j个近邻的欧式距离的平方。

2) 利用核密度估计计算统计量具有置信水平α的控制限(D_α²)。

(2) 故障检测

1) 从训练集合中找到样本x_new的k个近邻。

2) 新来样本x_new，利用式(1)计算新来样本与其k个近邻欧式距离的平方和D_x²。

3) 将D_x²与阈值D_α²进行比较。如果D_x² < D_α²，则样本x_new是正常样本；否则样本x_new是故障样本。

2.2 kNN处理方差差异明显的多模态数据存在的问题

多模态数据集通常具有两个特征，一是各个模态的数据中心不重合；二是数据的离散程度不同，即各个模态方差不同。当样本数据集只是数据中心不重合而方差差异很小时，kNN可以有效地进行故障检测，但是，当两个模态的方差差异较大时，两个模态样本的统计量D²会显著不同，此时的控制限D_α²由方差较大的模态决定。当较小方差所对应的模态发生微弱故障时，其统计量会被方差较大的模态淹没从而使得D² < D_α²，此时kNN中的统计量D²并不能反映出故障样本与正常样本的差异，因此kNN无法检测这类故障。

假设有两个不同模态的数据，其中每个模态有100个样本。每个样本有2个变量，在每个模态中是独立同分布的。在模态1中，两个变量x₁和x₂均服从[0, 1]的正态分布，在模态2中，变量 x₁和x₂均服从[18, 6]的正态分布。所有训练样本的散点图如图 1所示。圆圈代表第一模态训练样本，星号代表第二模态训练样本，方块代表属于第一模态的微小故障数据。

在kNN中近邻数设为1，对数值例子进行故障检测，结果如图 2所示，圆圈表示模态1中训练样本与其最近邻的距离，星号表示模态2中训练样本与其最近邻的距离，方块代表属于第一模态的微小故障与其最近邻的距离。从图 2可以看出，故障点f相对于模态1已经发生偏离，但由于模态2中样本离散程度较高，因此从近邻距离的平方和上无法区分故障点f与模态2的正常样本，因此kNN方法很难检测这类故障。

2.3 局部相对概率密度

为消除多模态数据各模态间方差差异，引入核密度估计(kernel density estimation，KDE)^[18-19]，核密度估计是一种用于估计概率密度函数的非参数方法。设x₁，x₂，...，x_n是服从独立同分布的随机变量，其服从的分布密度函数为f_h(x)，定义函数

$ {{\hat f}_{\rm{h}}}\left( x \right) = \frac{1}{{nh}}\sum\limits_{j = 1}^n {K\left\{ {\frac{{\mathit{\boldsymbol{x}} - {\mathit{\boldsymbol{x}}_i}}}{h}} \right\}} $

(2)

为密度函数f_h(x)的核密度估计值，其中K(•)为核函数，h为预先给定的正数，通常称为窗口宽度或光滑参数。采用高斯函数作为核函数，则上式整理为：

$ {{\hat f}_{\rm{h}}}\left( x \right) = \frac{1}{n}\frac{1}{{h\sqrt {2\pi } }}\sum\limits_{i = 1}^n {\exp \left\{ { - \frac{{{{\left( {\mathit{\boldsymbol{x}} - {\mathit{\boldsymbol{x}}_i}} \right)}^2}}}{{2{h^2}}}} \right\}} $

(3)

由式(3)可知，核密度估计f_h(x)的准确度不仅与核函数的选取有关，还与窗宽h密切相关，一般选择拇指法则来计算最佳窗宽h ^[20]为：

$ h = 1.06S{n^{ - 1/5}} $

(4)

其中S为样本标准差，n为样本总数。

工业过程中存在多个运行模态，每个模态的数据拥有不同的概率密度，特别是在各模态方差差异明显的情况下，会出现各模态之间概率密度相差较大的现象。为了解决这种现象，将kNN思想引入到核密度估计当中，建立局部概率密度(local probability density, LPD)估计函数如下：

$ {{\hat f}_k}\left( {{\mathit{\boldsymbol{x}}_i}} \right) = \frac{1}{{kh}}\sum\nolimits_{{\mathit{\boldsymbol{x}}_j} \in N\left( {{\mathit{\boldsymbol{x}}_i}} \right)} {K\left\{ {\frac{{{\mathit{\boldsymbol{x}}_i} - {\mathit{\boldsymbol{x}}_j}}}{h}} \right\}} = \frac{1}{k}\sum\nolimits_{{\mathit{\boldsymbol{x}}_j} \in N\left( {{\mathit{\boldsymbol{x}}_i}} \right)} {\frac{1}{{h\sqrt {2\pi } }}\exp \left[ { - \frac{{{{\left( {{\mathit{\boldsymbol{x}}_i} - {\mathit{\boldsymbol{x}}_j}} \right)}^2}}}{{2{h^2}}}} \right]} $

(5)

其中N(x_i)为样本x_i的k近邻域，i为采样时刻。

$ N\left( {{\mathit{\boldsymbol{x}}_i}} \right) = \left\{ {\mathit{\boldsymbol{x}}_i^1, \mathit{\boldsymbol{x}}_i^2, ..., \mathit{\boldsymbol{x}}_i^k} \right\} $

(6)

式(6)列出了邻域N(x_i)内所包含的所有样本，x^k_i表示x_i的第k个最近邻，近邻顺序是依据与x_i之间的欧式距离大小来排列的，即：

$ d\left( {{\mathit{\boldsymbol{x}}_i}, \mathit{\boldsymbol{x}}_i^1} \right) \le d\left( {{\mathit{\boldsymbol{x}}_i}, \mathit{\boldsymbol{x}}_i^2} \right) \le ... \le d\left( {{\mathit{\boldsymbol{x}}_i}, \mathit{\boldsymbol{x}}_i^k} \right) $

(7)

局部概率密度函数使得原始数据集由全体训练样本缩短到k个样本，通过对k个样本进行密度估计来提取数据的局部密度信息。在多模态过程中，局部概率密度比全局概率密度更加接近模态的真实值，但是方差的变化会导致窗宽h的变化，不同模态下的密度估计值主要源于h的变化，为消除h的影响，建立局部相对概率密度(local relative probability density，LRPD)估计函数^[21]如下：

$ {{\hat f}_{kr}}\left( {{x_i}} \right) = \frac{{{{\hat f}_k}\left( {{x_i}} \right)}}{{\sum\nolimits_{{\mathit{\boldsymbol{x}}_j} \in N\left( {{\mathit{\boldsymbol{x}}_i}} \right)} {{{\hat f}_k}} \left( {{x_j}} \right)}} $

(8)

根据式(8)计算每个样本局部相对概率密度的估计值，将h的主要影响抵消掉，从而解决由窗宽导致的影响问题。

2.4 基于局部相对概率密度kNN的多模态过程故障检测

采集正常工况下各个模态的数据，利用局部相对概率密度消除多模态数据的方差差异，对预处理后的数据建立kNN模型，根据局部相对概率密度估计值计算统计量和控制限。对于新来的测试数据，计算其与训练数据局部相对概率密度值，然后利用kNN进行多模态过程故障检测。基于LRPD-kNN方法的多模态过程故障检测流程图如图 3所示，主要分为建模过程与故障检测两部分。

(1) 建模过程

1) 对正常工况下的训练数据进行标准化处理；

2) 计算训练数据的局部相对概率密度估计值。根据式(1)计算统计量D²。

3) 利用核密度估计确定阈值D²。

(2) 故障检测

1) 对新来的测试数据进行标准化；

2) 寻找新来测试数据的k近邻；

3) 计算测试数据的局部相对概率密度估计值，然后计算统计量d；

4) 将统计量d与控制限D_α²进行比较。若统计量大于控制限，则该反应时刻的数据样本是故障的；否则是正常的。

3 仿真结果与分析 3.1 多模态数值例子

本节通过一个人工合成的多模态数值例子，验证基于局部相对概率密度的kNN算法对方差差异较大的多模态过程进行故障检测的有效性。在此数据中每个样本有两个变量：

$ \begin{array}{l} {x_1} = 0.5768{s_1} + 0.3766{s_2} + {e_1}\\ {x_2} = 0.7382s_1^2 + 0.0566{s_2} + {e_2} \end{array} $

(9)

其中，模态1：

$ \begin{array}{l} {s_1} = U\left( { - 10, - 7} \right)\\ {s_2} = N\left( {10, 0.01} \right) \end{array} $

模态2：

$ \begin{array}{l} {s_1} = U\left( {2, 5} \right)\\ {s_2} = N\left( { - 10, 1} \right) \end{array} $

其中e₁，e₂是服从[0，0.01]正态分布的噪声。按上述模型在两个模态中分别产生200个正常样本数据，在每个模态中随机选取100个样本作为训练数据，剩下的作为校验数据。产生6个异常数据作为故障样本。图 4是训练样本、校验样本、故障样本的数据分布散点图。从图 4可以看出，该数值例子是稀疏程度不同的多模态实例。“圆圈”代表训练数据，“星号”代表校验数据，“方块”代表故障数据。

对多模态的数值例子运用PCA、kNN、LOF和LRPD-kNN方法进行故障检测，检测结果如图 5所示。为了得到更好的检测结果，选取主元数和近邻数据如下：PCA的主元个数通过累计贡献率确定；在kNN中，近邻数k=23；在LOF中，近邻数为23；LRPD-kNN中，近邻数k=3。图中虚线代表 95%控制限，“圆圈”代表训练数据，“星号”代表校验数据，“方块”代表故障数据。从图 5可以看出，PCA算法的SPE统计量有5个故障样本未检测出来，10个样本出现误报；T²统计量有3个故障样本未检测出来，11个样本出现误报。kNN算法有3个故障样本未检测出来，8个样本出现误报。LOF算法有3个故障样本未检测出来，而且有22个样本出现误报。LRPD-kNN算法有1个故障样本未检测出来，1个样本出现误报。与PCA、kNN和LOF方法相比，LRPD-kNN的漏报和误报样本数目都最少，从而验证LRPD-kNN算法的有效性。

表 1是4种算法对数值例子的检测结果。由表 1可以看出，LRPD-kNN算法的检测效果要明显优于PCA和kNN。LOF算法虽然漏报率较低，但是误报率也明显较高，这是由于LOF易受离群样本的影响。综上所述，与其它3种算法对比，LRPD-kNN算法有最低的误报率和漏报率，验证了该算法的有效性和优越性。

3.2 半导体生产过程数据

半导体生产过程作为一个完善的工业过程仿真平台，在基于数据驱动的故障检测研究领域得到了广泛的应用。应用半导体工业实例— A1堆腐蚀过程^[22-23]比较不同故障检测方法的性能。半导体数据是来源于美国德州仪器公司的半导体生产过程实际数据，是一个典型的非线性、时变、多阶段和多模态的复杂间歇过程。该数据是由3个模态的107个正常批次和20个故障批次组成，其中1~34批次为第1模态，35~70批次为第2模态，71~107批次为第3模态。每个模态分别选取32个批次用于建模，剩下的正常批次作为校验批次用来验证模型的准确性，因此建模批次为96个，校验批次为11个，故障批次为20个。从21个测量变量中选取17个变量作为检测变量，如表 2所示。

每个批次是不等长的，持续时间在95~112 s变化。运用最短长度法获得等长批次。为了消除传感器中初始的波动影响，去除开始的5个样本，保留85个样本以适应最短的批次。将三维建模数据X(96×85×17)沿批次方向展开成二维矩阵X(96×1445)。对校验数据和故障数据也进行同样的处理。

对二维数据矩阵分别运用PCA、kNN、LOF和LRPD-kNN方法进行建模，并对11个校验批次和20个故障批次数据进行故障检测。PCA的主元个数由主元贡献率决定。在kNN中，近邻数k=3；在LOF中，近邻数为8；在LRPD-kNN，近邻数k=3。4种方法的检测结果如图 6所示，图中虚线代表 95%控制限，“圆圈”代表训练批次，“星号”代表校验批次，“方块”代表故障批次。由图 6可以看出PCA的SPE统计量有3个故障批次未检测出来，5个校验批次出现误报；T²统计量没有出现误报，而故障批次有15个未检测出来。kNN算法没有出现误报，但是有4个故障批次未检测出来。LOF没有出现误报，而故障批次有12个未检测出来。LRPD-kNN没有误报，并且没有出现漏报。与PCA、kNN和LOF算法相比，LRPD-kNN算法的检测效果最好，验证了基于局部相对概率密度kNN算法在多模态间歇过程故障检测中的有效性。

表 3是4种算法对半导体数据的检测结果对比。由表 3可以看出，PCA算法的T²检测指标没有误报，但其漏报率较高；SPE检测指标漏报率较低，但是其误报率较高，效果均不如LRPD-kNN算法。LRPD-kNN算法和kNN算法均没有误报，但是LRPD-kNN算法的漏报率要低于kNN算法。LOF算法有较低的误报率，但是未完全检测出全部的故障。综上所述，与其它3种算法对比，LRPD-kNN算法在没有误报的情况下，漏报率最低，说明该方法对于多模态数据的故障检测非常有效，验证了该算法的有效性和优越性。

4 结论

本文提出一种基于LRPD-kNN的多模态过程故障检测方法。该算法运用局部相对概率密度对数据进行预处理，消除多模态数据之间的方差差异，在此基础上运用kNN进行故障检测，从而提高故障检测率。将本文的方法应用到数值例子和实际的半导体工业数据中，仿真结果表明，与传统的故障检测算法相比，本文算法降低了误报率和漏报率，验证了该方法的有效性。

符号说明：