郑州大学学报(理学版)  2018, Vol. 50 Issue (2): 75-80  DOI: 10.13705/j.issn.1671-6841.2017094

引用本文  

王杰, 刘向晴. 彩色图像分割的FCM预分类核极限学习机方法[J]. 郑州大学学报(理学版), 2018, 50(2): 75-80.
WANG Jie, LIU Xiangqing. FCM Pre-classification Kernel Extreme Learning Machine Algorithm of Color Image Segmentation[J]. Journal of Zhengzhou University(Natural Science Edition), 2018, 50(2): 75-80.

基金项目

国家自然科学基金项目(61473266)

通信作者

作者简介

王杰(1959—),男,河南周口人,教授,主要从事模式识别与智能控制研究,E-mail:wj@zzu.edu.cn

文章历史

收稿日期:2017-04-25
彩色图像分割的FCM预分类核极限学习机方法
王杰 , 刘向晴     
郑州大学 电气工程学院 河南 郑州 450001
摘要:在研究聚类算法与极限学习机的基础上实现了一种具有模糊C均值聚类算法(FCM)预分类的核极限学习机(KELM)及其在彩色图像分割中的应用.该算法采用模糊C均值聚类算法预分类训练样本,再提取其图像特征作为特征属性对核极限学习机进行训练产生分类器,进而对彩色图像进行分割.经实验验证,该算法分割彩色图像在分割速度和精度上优于FCM预分类的BP人工神经网络以及FCM预分类的支持向量机,是一种高效的彩色图像分割算方法.
关键词图像分割    聚类算法    核极限学习机    
FCM Pre-classification Kernel Extreme Learning Machine Algorithm of Color Image Segmentation
WANG Jie , LIU Xiangqing     
School of Electrical Engineering, Zhengzhou University, Zhengzhou 450001, China
Abstract: Based on the study of clustering algorithm and extreme learning machine, a kernel extreme learning machine (KELM) with fuzzy C mean clustering algorithm (FCM) pre-classification and its application in color image segmentation were implemented. Firstly, FCM pre-classification training samples were adopted by the algorithm. Then, the image features were extracted from the color image as attributes of training samples of KELM. Finally, the color images were segmented by the trained classifier. It was demonstrated that the segmentation speed and accuracy of color image segmentation algorithm were better than that of FCM pre classification BP artificial neural network and FCM pre classification support vector machine. The algorithm was proved to be an efficient color image segmentation algorithm.
Key words: image segmentation    clustering algorithm    Kernel extreme learning machine    
0 概述

图像分割就是根据图像中有意义的特征把图像分成若干具有独特性质的区域,它是图像识别和计算机视觉至关重要的预处理,但是图像分割至今尚无通用的自身理论.传统的图像分割方法有阈值分割、边缘分割、区域分割、直方图法等,这些方法大都存在过度分割,分割速度低下的特点[1].近年来随着各种理论方法的发展交叉结合,出现了很多图像分割方法.文献[2]是利用改进的Mean-shift算法产生初始聚类中心,再采用KFCM聚类算法进行图像特征聚类来实现区域分割,但算法中牵涉多个参数,运算复杂,分割耗时严重.文献[3]采用模糊理论构造模糊集,再输入BP人工神经网络进行迭代运算,相对有效地降低了分割时间,但是在分割精度方面有待提高.文献[4]对彩色图像求其形态学梯度,然后对分水岭的过分割区域进行合并,但该算法只能应用于RGB彩色空间,使得应用存在一定的局限性,而且其存在分割效率不高的问题.文献[5]用稀疏性最小二乘支持向量机分割图像,分割的准确度取决于参数的选择,对复杂的彩色图像分割效果逊于支持向量机,但分割速度有所提升.文献[6]采用K均值聚类选取训练样本,再用粒子群优化参数获得优化的多核支持向量机来分割彩色图像,与单核支持向量机相比,分割精度有一定的提升,但效果并不明显,分割时间延长.因此研究寻找选择性能优良的算法对图像分割具有重要的意义.

极限学习机(extreme learning machine,ELM)由黄广斌教授[7]等提出,是一种单隐含层前馈神经网络模型.与BP人工神经网络相比,ELM具有更快的学习速度、更高的训练精度以及更简单的操作方式,从而被广泛地应用于分类、识别领域[8-9].2012年黄广斌教授[10]提出将核函数引入极限学习机,构成核极限学习机(KELM),核极限学习机具有更好的分类性能.

目前,将核极限学习机应用到彩色图像分割方面的文献很少,考虑到核极限学习机作为分类器在分类方面具有极大的优势[9],本文在探究FCM聚类算法与核极限学习机原理的基础上探讨实现了3种具有FCM预分类的核极限学习机及其在彩色图像分割中的应用,取得了很好的效果,具有一定的应用价值.

1 极限学习机

极限学习机是单隐含层神经网络,它是一种求解神经网络的算法,学习速度快,泛化能力强,具有良好的全局搜索能力.

极限学习机的算法可简单分为4步.

设定训练样本集合N={(xi, ti)|xiRn, tiRm},隐含层神经元的激活函数为g(x),隐含层节点数为L.

第1步:随机初始化输入层与隐含层之间的初始权重W和隐含层偏置值b.

第2步:计算出极限学习机隐含层的输出矩阵H.

第3步:计算出隐含层输出权值β.

第4步:求β最小范数最小二乘解为$ \hat \beta $.

可以得到

$ \hat \beta = {\mathit{\boldsymbol{H}}^{\rm{T}}}{(\frac{I}{C} + \mathit{\boldsymbol{H}}{\mathit{\boldsymbol{H}}^{\rm{T}}})^{-1}}T. $ (1)

从而解决了极限学习机的核心问题,得到输出权值β,极限学习机的输出方程就可以写为

$ \mathit{\boldsymbol{f}}\left( x \right) = h\left( x \right){\mathit{\boldsymbol{H}}^{\rm{T}}}{(\frac{I}{C} + \mathit{\boldsymbol{H}}{\mathit{\boldsymbol{H}}^{\rm{T}}})^{-1}}T. $ (2)

利用极限学习机解决二分类问题时,决策方程为

$ \mathit{\boldsymbol{f}}\left( x \right) = {\rm{sign}}(h\left( x \right){\mathit{\boldsymbol{H}}^{\rm{T}}}{(\frac{I}{C} + \mathit{\boldsymbol{H}}{\mathit{\boldsymbol{H}}^{\rm{T}}})^{-1}}T). $ (3)
2 核极限学习机

类似于支持向量机的核函数引入方法,满足Mercer定理的函数[11]都可以作为ELM的核函数,从而构成核极限学习机.因此我们可以在H未知的情况下,将h(x)HTHHT用相同的核函数K(u, v)代替,这样就可以得到

$ \mathit{\boldsymbol{f}}\left( x \right) = {\left[{\begin{array}{*{20}{c}} {K(x, {x_1})}\\ \vdots \\ {K(x, {x_N})} \end{array}} \right]^{\rm{T}}}{(\frac{I}{C} + {\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}_{{\rm{ELM}}}})^{ -1}}T, $ (4)

式中: ΩELM就是样本核函数的矩阵,可表示为

$ {\mathit{\boldsymbol{ \boldsymbol{\varOmega} }}_{{\rm{ELM}}}} = [K({x_i}, {x_j})], \left\{ \begin{array}{l} i = 1, 2, \cdots, N\\ j = 1, 2, \cdots, N \end{array} \right.. $ (5)

常见的核函数有LINE(线性)核函数、POLY(多项式)核函数、RBF(高斯)核函数.

3 FCM-KELM彩色图像分割算法

FCM-KELM对彩色图像进行分割即是具有FCM预分类的核极限学习机在彩色图像分割上的应用,分割算法可以分为3个步骤.

第1步:在本步骤中将详述FCM算法对彩色图像进行预分类训练样本的过程.FCM算法的全称是模糊C均值聚类算法,它是通过隶属度来确定聚类关系,不断迭代更新隶属度、聚类中心以及最小化目标函数来对数据进行分类.与FCM算法直接对像素点进行聚类不同,一些学者提出了中央像素与邻域窗口像素的局部灰度信息相似性度量Sij [12],之后又有学者提出了将核函数引入相似性度量之中以改进FCM算法,得到了局部灰度相似性度量之中包含有中央像素与邻域窗口中像素的空间距离SFGFCM算法[13].本文在研究SFGFCM算法基础上将中央像素点与邻域窗口中的欧氏距离以及它们的局部灰度信息相似性度量相结合求得新的相似性度量Rij,然后线性加权可求得中央像素点的灰度值Xi,它不但包含了中央像素点与邻域窗口的局部灰度信息,也包含了相应的空间距离.然后采用FCM算法对Xi进行聚类,这样得到的两类训练样本会更加准确.方法如下.

1) 设定聚类数目分为前景与背景两类,设定容许误差ε.

$ {c_j} = (\sum\limits_{i = 1}^D {\mu _{_{ij}}^{^m}{X_i}} )/(\sum\limits_{i = 1}^D {\mu _{_{ij}}^{^m}} ), j = 1, 2 \cdots N, $ (6)
$ {\mu _{ij}} = 1/(\sum\limits_{k = 1}^N {{{(\frac{{\left\| {{X_i}-{c_j}} \right\|}}{{\left\| {{X_i}-{c_k}} \right\|}})}^{\frac{2}{{m-1}}}}), } $ (7)
$ {X_i} = (\sum\limits_{j \in {N_i}} {{R_{ij}}{x_j}} )/(\sum\limits_{j \in {N_i}} {{R_{ij}}} ), $ (8)

式中: cj为第j类中心点的灰度值;μij是隶属度函数;Xi表示线性加权得到的中央像素点i的灰度值.

2) 本文采用像素点的四邻域窗口来求取位于窗口中央像素点的相似性度量Rij.

$ {G_{ij}} = {\rm{exp}}(-{D_e}\left( {i, j} \right)), $ (9)
$ {S_{ij}} = {\rm{exp}}(\frac{{-{N_R}{{\left\| {{x_i}-{x_j}} \right\|}^2}}}{{\sum\limits_{j \in {N_i}} {{{\left\| {{x_i}-{x_j}} \right\|}^2}} }}), $ (10)

其中:Gij表示中央像素点i的局部空间信息; De(i, j)表示中央像素点i与邻域像素的欧氏距离;Sij即是文献[12]表述的中央像素与邻域窗口像素的局部灰度信息相似性度量;xi是中央像素点i的灰度值;xj是中央像素点邻域窗口的灰度值;NR是四邻域窗口内像素点个数;Ni是中央像素i的四邻域窗口像素集.

$ {R_{ij}} = \left\{ \begin{array}{l} {G_{ij}} \times {S_{ij}}, \;\;\;i \ne j\\ \;\;\;\;0, \;\;\;\;\;\;\;\;\;\;i = j \end{array} \right.. $ (11)

3) 通过式(6)~(7)更新聚类中心c、隶属度函数矩阵μ,重复这一过程直到聚类中心与上一次聚类中心的灰度值之差小于容许误差,算法终止.

4) 根据隶属度大小不同,通过隶属度函数将图像的像素点归为两类训练样本后,每一类样本随机抽取个数为nk/t(k=1, 2, …, N)像素点作为第k类的训练样本,nk为第k(k=1, 2, …, N)类像素点的个数.按照上述步骤就完成了FCM对训练样本的自选取的过程,本文选取t=100.

第2步:从第1步中采用FCM算法得到两类训练样本后,选取训练样本的5种特征属性,本文选取比较基本的图像特征,包括颜色空间的R、G、B通道的像素值,亮度I,以及LBP纹理特征,将其作为输入向量来训练核极限学习机分类器,本文使用的核极限学习机有高斯核极限学习机(RBF-KELM)、线性核极限学习机(LINE-KELM)与多项式核极限学习机(POLY-KELM)3种.

第3步:通过以上两步得到具有FCM预分类的核极限学习机分类器,然后对原彩色图像进行分割.

综上所述,FCM-KELM彩色图像分割算法就是以下3步:第1步是FCM算法对随机选取的彩色图像进行聚类,得到两类训练样本;第2步提取训练样本的特征属性对核极限学习机进行训练得到相应的核极限学习机分类器;第3步是输入此彩色图像,利用训练好的核极限学习机分类器就可以对其进行分割,显示最终分割效果图.

4 实验测试与分析

本文采用具有FCM预分类的核极限学习机彩色图像分割算法(FCM-KELM),将它与FCM预分类的BP彩色图像分割算法(FCM-BP)以及FCM预分类的支持向量机彩色图像分割算法(FCM-SVM)做对比,并进行性能分析.其中采用了量化共轭梯度算法优化的BP网络,隐含层传递函数采用的是sigmod函数,支持向量机使用的是台湾大学林智仁教授开发的libsvm工具包,核函数选择的是高斯核函数.

实验在软件MATLAB R2014b中进行, 运行环境为Core i5,CPU 2.4 GHz,RAM 4 G,本文的彩色图像来源为互联网与伯克利图像数据库[14](Berkeley segmentation dataset),选取了其中40幅彩色图像进行了实验,其中每一幅彩色图像均实现了FCM预分类的BP、SVM、高斯核极限学习机、线性核极限学习机以及多项式核极限学习机5种分割效果图,然后对比分析.现就选择其中4幅具有复杂背景的彩色图像进行实验说明与分析,互联网上的彩色图像分辨率大小均为200×200,伯克利图像数据库的彩色图像分辨率为321×481或481×321.

首先作对比分析说明的是人工选取训练样本与采用FCM算法自选取训练样本训练线性核极限学习机的测试结果,图 1是实验测试效果图.图 1中的a1是互联网上的原始图像,实验要求FCM自选取样本点的数目与人工随机选取样本点数目一致.从图 1中可以看出,人工随机选取样本点后提取特征用线性核极限学习机训练得到的分类器对原始图像的分割效果时好时差.这是因为人工选取样本点.带有很大的不确定性,不同的选取带来的效果也就不一样,选取样本点比较恰当的时候,分割的效果就会好一点.比如a3这幅图,选取不当就会出现a2或a4比较差的效果图.因此本文采用FCM自动的选取训练样本并训练核极限学习机,得到的分割效果不但稳定而且精度较高(如图a5).采用FCM自动选取训练样本不但避免了人工选取的费时费力,而且也避免出现人工分割所带来的适应性较低.

图 1 不同选取方式的LINE-KELM分割效果图 Figure 1 Different selection of LINE-KELM segmentation effect diagram

图 2中的a1、b1、c1、d1均是原始图像,其中a1、b1为互联网上的彩色图像,c1、d1来源于伯克利图像数据库.a2、b2、c2、d2均是FCM-BP对原图的分割效果图,从这几幅图像来看,BP神经网络并不能对具有复杂背景的彩色图像进行有效分割,每一幅分割的彩色图像效果图杂质点过多,目标轮廓分割不准确.a3、b3、c3、d3均是FCM-SVM对原图的分割效果图.可以看出,FCM-SVM基本完成了对复杂彩色图像的分割,但是对分割的准确度仍然不够高.比如a3分割图虽然对蝴蝶基本完成了分割,但蝴蝶细长的腿并没有分割出来.对分割的细节处理不够好,b3图中内部出现误判,c3、d3分割的图像在图形边角处出现误判.a4、b4、c4、d4均是FCM-RBF-KELM(高斯核参数σ=5)对原图的分割效果图.与FCM-BP和FCM-SVM相比,分割精度较好,在细节处理方面更为准确.a5、b5、c5、d5均是FCM-LINE-KELM对原图的分割效果图,在分割的准确度上比高斯核的效果更好一点.a6、b6、c6、d6均是FCM-POLY-KELM(多项式核参数d=1)对原图的分割效果图,分割效果是最优的.

图 2 BP、SVM以及不同核函数的KELM分割效果图 Figure 2 BP, SVM and KELM with different kernel function segmentation diagram

图 3显示的是伯克利图像数据库列出的原图以及对应的人工分割图.通过对图 2中c1原图、c2原图的FCM预分类的BP、SVM以及不同核函数的KELM分割效果图上的每个像素点,与图 3中的人工分割图c1、人工分割图c2量化对比来计算分割精度.表 1所显示的是FCM-KELM与FCM-BP、FCM-SVM在分割精度与分割时间上的对比.从表中的数据可以看出,FCM-KELM在分割精度与分割时间上表现优秀,这与前面求证的核极限学习机的原理有关,核极限学习机的可调参数较少,便于快速训练与分类.

图 3 伯克利数据库列出的原图以及对应的人工分割图 Figure 3 The original image listed in the Berkeley database and the corresponding artificial segmentation

表 1 分割精度与分割时间对比 Table 1 Comparison of segmentation accuracy and segmentation time

相比FCM-BP、FCM-SVM而言,利用FCM-KELM对彩色图像分割的效果也非常符合人们的预期.对比FCM-RBF-KELM、FCM-LINE-KELM以及FCM-POLY-KELM,可以看出线性核与多项式核的分割效果比高斯核更好一点,这与高斯核的局部核函数学习能力比较强,而多项式核的全局核函数泛化能力比较强有一定的关系.上述的实验结果表明,本文探讨实现的3种具有FCM预分类的核极限学习机能够对彩色图像进行高效精确地分割,具一定的应用价值.

5 结语

本文探讨实现了3种具有FCM预分类的核极限学习机及其在彩色图像分割中的应用.FCM预分类保证了自动选取训练样本,避免了人工选取训练样本的缺陷性,训练得到的核极限学习机能够对目标进行快速分类,是一种优秀的分类器.FCM预分类的核极限学习机能够对彩色图像自动进行快速有效分割,分割准确率较高,泛化性能较好,是一种优秀的彩色图像分割算法.就从分割的精度上考虑,该算法还有一定的提升空间,可以从训练样本的特征提取及算法优化两方面考虑:本文仅选取5种特征属性训练得到的核极限学习机分类器分割,效果已经非常显著,如果再多选取其他特征属性,比如纹理特征的对比度、能量等,相信核极限学习机的分割效果会更加优秀;从多核学习的算法上考虑,构造高斯核与多项式核线性组合的多核极限学习机,进行训练与分割,采用智能算法对一些参数进行优化,分割精度上也会有一定的提升.

参考文献
[1]
许新征, 丁世飞, 史忠植, 等. 图像分割的新理论和新方法[J]. 电子学报, 2010, 38(S1): 76-82. (0)
[2]
汪彦, 杨格兰, 何建新. 基于改进KFCM聚类的图像分割算法[J]. 控制工程, 2016, 23(11): 1857-1860. (0)
[3]
周鹏飞, 张月琴. 基于模糊BP神经网络的图像分割方法研究[J]. 计算机工程与设计, 2014, 35(7): 2423-2426. (0)
[4]
徐天芝, 张贵仓, 贾园. 基于形态学梯度的分水岭彩色图像分割[J]. 计算机工程与应用, 2016, 52(11): 200-203. DOI:10.3778/j.issn.1002-8331.1510-0075 (0)
[5]
WANG X Y, NING Y L, HE X P. Image segmentation based on least squares support vector machines[J]. Applied mechanics & materials, 2014(644/650): 4314-4318. (0)
[6]
吴迪, 戴芳, 郭文艳, 等. 基于K均值聚类和粒子群优化的多核SVM图像分割[J]. 计算机系统应用, 2016, 25(4): 191-196. (0)
[7]
HUANG G B, ZHU Q Y, SIEW C. Extreme learning machine: theory and applications[J]. Neurocomputing, 2006, 70(1/3): 489-501. (0)
[8]
ZONG W, HUANG G B. Face recognition based on extreme learning machine[J]. Neurocomputing, 2011, 74(16): 2541-2551. DOI:10.1016/j.neucom.2010.12.041 (0)
[9]
CHEN C, LI W, SU H, LIU K. Spectral-spatial classification of hyperspectral image based on kernel extreme learning machine[J]. Remote sensing, 2014, 6(6): 5795-5814. DOI:10.3390/rs6065795 (0)
[10]
HUANG G B, ZHOU H, DING X, et al. Extreme learning machine for regression and multiclass classification[J]. IEEE transactions on systems man & cybernetics part B cybernetics, 2012, 42(2): 513-529. (0)
[11]
王杰, 郭晨龙. 小波核极限学习机分类器[J]. 微电子学与计算机, 2013, 30(10): 73-76. (0)
[12]
CAI W, CHEN S, ZHANG D. Fast and robust fuzzy c-means clustering algorithms incorporating local information for image segmentation[J]. Pattern recognition, 2007, 40(3): 825-838. DOI:10.1016/j.patcog.2006.07.011 (0)
[13]
王军玲, 王士同, 包芳, 等. 基于空间距离的快速模糊C均值聚类算法[J]. 计算机工程与应用, 2015, 51(1): 177-183. (0)
[14]
FOWLKES C C, MARTIN D R, MALIK J, et al. Local figure-ground cues are valid for natural images[J]. Journal of vision, 2007, 7(8): 1-9. (0)