2. 河南科技学院 数学科学学院 河南 新乡 453003;
3. 郑州大学 学报编辑部 河南 郑州 450001
2. School of Mathematical Science, Henan Institute of Science and Technology, Xinxiang 453003, China;
3. Journal Editorial Department, Zhengzhou University, Zhengzhou 450001, China
汽车牌照识别系统是智能交通系统(intelligent traffic system,ITS)的核心技术之一[1],在规范交通管理及减少交通事故等方面具有重要的现实意义,其中车牌定位是该技术的关键步骤之一.常见的基于图像处理的车牌定位技术有如下几类:第一类是基于颜色信息的车牌定位[2-3],这类算法根据车牌颜色特征构造车牌定位模型,其优点是不需要将彩色图像转换为灰度图像,减少了定位时间,然而大多对光照条件敏感,限制了定位可靠性.第二类发展较好的是基于图像边缘信息的算法[4-6],由于大多数情形下车牌是矩形的,并且有较为固定的长宽比,可以利用边缘信息在图像中找到相应的矩形,这类算法既简单又高效.然而当车辆图像中有复杂背景时,会导致边缘轮廓复杂且不连续,由此导致这类算法无法提供理想的结果.第三类是基于纹理信息的车牌定位[7-8],车牌的纹理信息主要表现为车牌边缘的分布、车牌形状和车牌尺寸等.然而当在纹理分析过程中遇到类似于板状纹理特征的干扰时,如排气门和保险杠,其定位率大大降低.鉴于以上算法的优缺点,近年来,有研究者通过将多个算法有机结合来提高车牌定位的质量.例如文献[5]结合边缘检测和数学形态学方法对车牌进行检测,从而提高车牌定位的准确率.本文在文献[8-9]的启发下,引入一种快速图像分解方法,结合边缘检测、形态学滤波及基于Radon变换的倾斜矫正方法,设计新的车牌定位算法,并将其应用到DM6437 DSP硬件平台上,设计了一种基于图像分解和DM6437 DSP的嵌入式车牌定位系统.实验结果表明,这种新的车牌定位系统能有效去除车辆图像背景中的无用信息,并对车牌的倾斜问题进行检测和矫正,有很高的鲁棒性及定位准确率.
1 算法原理本文车牌定位的算法原理主要包括5个步骤:图像灰度化、图像分解、边缘检测、形态学滤波以及倾斜度矫正.
1.1 图像灰度化一般由数码相机或摄像设备拍摄的汽车图像为RGB彩色图像.大多数情况下私人汽车车牌为蓝色背景刻白色字符.此外也有白色背景上刻黑色字符,或黄色背景上刻黑色字符等.然而对车牌定位而言,颜色的变化并不重要,但颜色信息对不均匀的光照又非常敏感.故在此将RGB颜色图像转换为灰度图像,通用的RGB图像的灰度化公式为f(x, y)=0.30×R(x, y)+0.59×G(x, y)+0.11×B(x, y), 其中:R(x, y)、G(x, y)及B(x, y)分别表示像素点(x, y)处红、绿、蓝3种成分的强度值;f(x, y)是(x, y)点灰度化后的强度值.
1.2 图像分解文献[9]首次提出利用图像结构纹理分解改进车牌定位算法.其依据为图像的结构部分,主要包括轮廓和大的边缘,而纹理部分主要包括一些细节和背景,对车牌检测贡献极小,故汽车的车牌信息主要包括在其结构部分.因此文献[9]引入VO模型[10]对汽车图像进行结构纹理分解,并应用微分方程数值解法中的离散差分格式对模型进行求解.然而差分方法计算效率较低,计算精度也有待改进.本文引入一种基于优化算法的图像分解对其进行改进.首先考虑OSV分解模型[11]
$ \mathop {\min }\limits_{u \in BV(\Omega )} \left\| u \right\|{_{BV(\Omega )}} + \lambda \left\| {f - u} \right\|_{{H^{ - 1}}}^2, $ | (1) |
其中:f为灰度化的车辆图像;u为需提取的结构部分;f-u为纹理部分;λ是可调参数;目标函数中第一项‖u‖BV(Ω)=
1) 更新u:un+1=proxγ‖·‖TV(vn).
2) 更新v:vn+1=vn+α(proxγ‖·‖H-12(2un+1-vn)-vn).算法中的符号u*=proxγφ(v),称为函数φ在点v的迫近算子,定义为proxγφ(v)=
这里涉及两个函数的迫近算子,其中计算proxγ‖·‖TV对应了以γ为参数的Chambolle半隐式梯度投影算法,而proxγ‖·‖H-12对应了计算Fourier域的低通滤波[11].由文献[14]可知上述算法是收敛的,文献[12-13]中的实验结果验证了本算法比离散的差分格式快速且有效.
1.3 边缘检测通常的车牌是矩形区域,并与其他区域有不同的颜色或灰色强度.因此,可以采用边缘信息检测车牌区域.然而,当车辆图像在复杂环境下获取时,其边缘强度图像中会出现许多不连续的边,对此,本文利用汽车图像的结构部分改进边缘检测.由于结构部分主要包括几何轮廓和平滑区域,其边缘不会有太多的细节和弱边,故将检测原始图像的边缘替换为检测结构图像的边缘,如此可以突出强边,并覆盖了弱边.本文采用Roberts算子检测结构图像中的边缘,用其检测车牌的位置.
1.4 形态学滤波并提取车牌引入数学形态学滤波方法提取车牌主要包括两部分操作:首先通过形态学方法获取候选车牌区域,利用开运算消除相对孤立和分散的点,应用闭运算形成连通区域并去除小的连通区域,再对这些区域做膨胀运算以填充小的孔或洞;第二部分操作通过先验知识筛选正确的车牌.在此过程中,需要提取每个候选区域的信息,并根据车牌的先验知识进行筛选,一般合格车牌的高度与宽度比不超过三分之一,根据这个标准可以得到精确的车牌区域.
1.5 水平方向倾斜度检测和矫正由于各种原因,在车辆图像采集过程中不可避免地产生倾斜现象.这可能会影响车牌识别系统整体的准确性和可靠性.本文主要考虑水平方向倾斜问题的处理,利用Radon变换和旋转变换对车牌倾斜问题进行检测和校正[15-16].图像的Radon变换是指将图像沿着一个角度或方向进行投影,其投影的强度通过计算线积分得到.函数f(x, y)沿着某个角度θ的Radon变换强度的计算公式为
$ {R_\theta }\left( {x'} \right) = \int_{ - \infty }^{ + \infty } {f(x'{\rm{cos}}\;\theta - y'{\rm{sin}}\theta, x'{\rm{sin}}\theta + y'{\rm{cos}}\;\theta ){\rm{d}}\mathit{y'}}, $ |
其中
![]() |
图 1 基于Radon变换的车牌倾斜矫正 Fig. 1 Radon transform based tilt correction for license plate |
本文中车牌定位系统通过TI公司的DM6437芯片搭建.该系统主要包括图像采集、图像处理和结果显示3个子系统.采集到的车辆图像首先由图像采集子系统的TVP5146 A/D转换芯片转换为数字图像信号并存储于DDR2中,然后由图像处理子系统的DM6437访问DDR2完成数据处理,最后利用DM6437内置的视频处理子系统(video process sub-system, VPSS)的视频输出编码模块将定位结果输出至结果显示子系统的LCD显示器[17-18].
VPSS分视频处理前端和视频处理后端两个部分,前者为图像传感器、视频解码器等外部成像设备提供了输入接口,后者为LCD显示器等显示设备提供了输出接口.
2.1 视频处理前端(video processing front end, VPFE)VPFE的硬件结构如图 2所示,它可以对摄像头采集的车辆图像进行一系列的预处理.VPFE由CCD控制器、图像预览处理管道等模块组成.摄像头采集的车牌图像信号送入专用的视频解码芯片TVP5146,经过视频解码芯片的模数转换、亮度处理、色度处理、复合信号处理等相应的处理后送出8位的数字图像信号,并将其传给DSP的CCDC,CCDC将处理后的图像数据存入DDR2缓冲区中来供DSP进行后续的算法处理.
![]() |
图 2 视频处理前端 Fig. 2 Video processing front end |
VPBE硬件结构如图 3所示.VPBE由OSD屏幕显示模块和VENC图像编码模块组成.它完成的主要工作是从DDR2缓冲区中读取算法处理后的车牌图像数据,经过调整后输出到显示设备上进行结果显示.
![]() |
图 3 视频处理后端 Fig. 3 Video processing back end |
车牌定位的实现过程如图 4所示,其中图 4(a)为车辆图像,图 4(b)~4(f)依次为灰度化、结构图、边缘强度图、形态滤波图以及提取的正确车牌.
![]() |
图 4 车牌定位过程 Fig. 4 License plate location process |
为进一步测试系统工作的性能,选取了在不同背景、不同光照以及不同角度下的200张车牌图像进行实验.将本文算法与文献[5, 9, 19]中方法进行比较,其中文献[5]首次将边缘检测方法和形态学滤波方法结合,文献[9]引入了基于差分格式的图像分解,文献[19]综合考虑了复杂背景、光照及倾斜等复杂情形下的车牌检测,它们的测试结果为:文献[5, 9, 19]与本文方法成功定位个数分别是185、187、193和195;定位准确率分别是92.5%、93.5%、96.5%和97.5%;平均用时分别是2.05 s、1.15 s、0.95 s及0.90 s.
实验过程中,特别对比了本文方法与上述几种方法对背景复杂的车辆图像的定位效果.由定位结果可知,文献[5]检测出了错误的车牌,文献[9]可检测正确的车牌但未进行水平矫正,文献[19]虽然能完成车牌的检测和矫正,但用时较长.相比之下,本文方法能够在最短的时间内检测出正确的车牌并做水平矫正.
4 结语本文结合图像分解方法和TI公司的DM6437 DSP,设计了一种新的基于图像分解的嵌入式车牌定位系统.该系统可以有效地去除车牌图像中的小尺度细节及周期性变化等干扰信息,并快速精准地提取出车牌区域.测试结果表明,本文所设计的车牌定位系统有很好的稳定性和很高的准确率,有较高的实际应用价值.
[1] |
GOU C, WANG K, YAO Y, et al. Vehicle license plate recognition based on extremal regions and restricted boltzmann machines[J]. IEEE transactions on intelligent transportation systems, 2016, 17(4): 1096-1107. DOI:10.1109/TITS.2015.2496545 ( ![]() |
[2] |
ASHTARI A H, NORDIN M J, FATHY M. An iranian license plate recognition system based on color features[J]. IEEE transactions on intelligent transportation systems, 2014, 15(4): 1690-1705. DOI:10.1109/TITS.2014.2304515 ( ![]() |
[3] |
郑成勇. 一种RGB颜色空间中的车牌定位新方法[J]. 中国图象图形学报, 2010, 15(11): 1623-1628. ( ![]() |
[4] |
WANG A L, LIU X S, HAN Y H, et al. License plate location algorithm based on edge detection and morphology[C]//2012 7th International Forum on Strategic Technology. Korea, 2012: 1-4. https://ieeexplore.ieee.org/document/6357669/
( ![]() |
[5] |
HONGPING H, YANPING B. A kind of license plate location based on mathematical morphology and edge detection[C]//Electronic and Mechanical Engineering and Information Technology (EMEIT). Harbin, 2011, 5: 2291-2294. https://www.mendeley.com/catalogue/kind-license-plate-location-based-mathematical-morphology-edge-detection/
( ![]() |
[6] |
郭新, 徐明, 张众. 基于谱聚类的边缘检测算法[J]. 郑州大学学报(理学版), 2018, 50(3): 83-86. ( ![]() |
[7] |
DEB K, CHAE H U, JO K H. Vehicle license plate detection method based on sliding concentric windows and histogram[J]. Journal of computers, 2009, 4(8): 771-777. ( ![]() |
[8] |
丁亚男. 基于图像分解的车牌定位算法[J]. 电子科技, 2014, 27(1): 42-44. ( ![]() |
[9] |
丁亚男.基于图像结构纹理分解的车牌定位方法研究[D].西安: 西安电子科技大学, 2014. http://cdmd.cnki.com.cn/Article/CDMD-10701-1014328160.htm
( ![]() |
[10] |
VESE L A, OSHER S J. Image denoising and decomposition with total variation minimization and oscillatory functions[J]. Journal of mathematical imaging and vision, 2004, 20(1/2): 7-18. DOI:10.1023/B:JMIV.0000011316.54027.6a ( ![]() |
[11] |
OSHER S, SOLÉ A, VESE L. Image decomposition and restoration using total variation minimization and the H[J]. Multiscale modeling and simulation, 2003, 1(3): 349-370. DOI:10.1137/S1540345902416247 ( ![]() |
[12] |
BUADES A, LE T M, MOREL J M, et al. Fast cartoon+texture image filters[J]. IEEE transactions on image processing, 2010, 19(8): 1978-1986. DOI:10.1109/TIP.2010.2046605 ( ![]() |
[13] |
ZHAO C P, FENG X C, WANG W W, et al. A cartoon-texture decomposition based multiplicative noise removal method[J]. Mathematical problems in engineering, 2016, 5130346. DOI:10.1155/2016/5130346 ( ![]() |
[14] |
COMBETTES P L, PESQUET J C. Proximal splitting methods in signal processing[M]. New York: Springer, 2011.
( ![]() |
[15] |
贾晓丹, 李文举, 王海姣. 一种新的基于Radon变换的车牌倾斜校正方法[J]. 计算机工程与应用, 2008, 44(3): 245-248. DOI:10.3778/j.issn.1002-8331.2008.03.077 ( ![]() |
[16] |
吴丽丽, 余春艳. 基于Sobel算子和Radon变换的车牌倾斜校正方法[J]. 计算机应用, 2013, 33(s1): 220-222. ( ![]() |
[17] |
余福荣, 罗海波, 胡宇, 等. 基于DSP处理系统的多路数据传输方法与实现[J]. 电子技术应用, 2014, 4(4): 25-28. ( ![]() |
[18] |
施白雪, 陈芬, 张陈梅, 等. 基于TI DM6437的视频图像增强算法实现[J]. 微型机与应用, 2014(7): 44-47. DOI:10.3969/j.issn.1674-7720.2014.07.015 ( ![]() |
[19] |
AZAM S, ISLAM M M. Automatic license plate detection in hazardous condition[J]. Journal of visual communication and image representation, 2016, 36: 172-186. DOI:10.1016/j.jvcir.2016.01.015 ( ![]() |