齐鲁工业大学学报   2020, Vol. 34 Issue (1): 53-57
0
机器视觉与点胶技术结合研究现状[PDF全文]
马海龙, 李庆华, 魏涛, 王喆     
齐鲁工业大学(山东省科学院)电气工程与自动化学院,济南 250353
摘要:视觉点胶技术作为点胶行业的热点研究方向,近年来在国内学者的努力下,我国的点胶技术发展突飞猛进,本文为了方便国内后来学者的研究,对目前该领域取得的部分成果进行综述,在其电子、汽车以及其他应用行业对近几年国内的学者研究进行一一介绍,并得到其研究技术的应用特点;另外对视觉点胶的核心技术,点胶对象识别算法核心思想进行汇总,对后者算法的研究提供导向;最后综合自己的研究过程以及其他文献,对该系统的发展方向进行展望。
关键词机器视觉    点胶机    特征识别    模板匹配    
Research Status of the Technology Combining Machine Vision and Dispensing
MA Hai-long, LI Qing-hua, WEI Tao, WANG Zhe     
School of Electrical Engineering and Automation, Qilu University of Technology(Shandong Academy of Sciences), Jinan 250353, China
Abstract: As a hot research direction of the dispensing industry, visual dispensing technology has made rapid progress in the development of dispensing technology in China in recent years.In order to facilitate the research of later scholars in China, this paper summarizes some of the achievements in this field, and introduces the domestic scholars' research in recent years in the electronics, automotive and other application industries, and obtains the application characteristics of its research technology.In addition, the core technology of visual dispensing, the core idea of dispensing object recognition algorithm is summarized, and the research of the latter algorithm is provided.Finally, I will integrate my own research process and other literatures to look into the development direction of the system.
Key words: machine vision    dispenser    feature recognition    template matching    

点胶机作为封装领域的主要器械之一, 其技术发展程度越来越高。从最初的人工示教单一工件点胶, 到多工件多轨迹点胶, 再到视觉定位多工件自动点胶。视觉技术的应用, 使得点胶机向智能化、多功能化发展, 当然这离不开国内外众多专家学者的研究。由于我国点胶机发展起步较晚, 加上国外技术封锁, 导致国内的点胶机大部分来源于进口, 从而点胶机的进口费、成本费和维护费较高。为了解决这一难题, 国内众多学者纷纷投入到点胶技术的研发热潮中, 并在该领域取得了部分成果, 尤其在视觉技术与点胶机的结合应用方面有了很大的进步。为了方便国内后来学者的研究, 本文将从机器视觉与点胶技术结合的应用行业、点胶对象识别方法两个方面进行介绍, 总结出该技术国内各学者的研究现状与成果, 并分析出该行业的热点研究问题与未来走向。

1 应用行业 1.1 电子行业

目前在国外, 视觉点胶产品的应用对象有40%~50%集中在电子加工领域与半导体行业。该领域的点胶设备发展相当成熟, 并且形成了较大的产业链条。目前点胶机技术最成熟、应用市场最大的是美国的EFD, 日本的武藏在亚洲市场也处于领先地位。在电子行业, 点胶分为单液点胶和双液点胶。双液灌封的代表性企业有HEDRICH[1]、NAKA[2]、LCC[3]和韩国的世宗[4]。其中HEDRICH生产的点胶设备适用于大型的电子器件, 尤其适合在需要大量真空浇注的流水线上使用;NAKA和LCC生产的点胶设备则适用于中小型电子器件, 并且容易集中在生产线或者其他设备上使用;韩国的世宗则是针对微型电子器件和电路板封装进行设备研发, 其特点是结构简单, 常常配合机器臂使用, 用于教学研发。

改革开放政策吸引了众多国外电子企业入驻中国, 大量的电子组装厂应运而生。电子器件封装技术应用甚广, 而点胶设备大多依赖进口, 导致其使用和维护成本较高, 国内小型企业用户只能望洋兴叹。因此, 国内众多学者和企业纷纷加入点胶机的研发领域中, 并在点胶机的自动化程度上取得了阶段性研发成果。广东、长江三角洲以及台湾等地的点胶厂家为了提高点胶机的自动化程度, 效仿国外智能点胶机研发思路, 在视觉技术与点胶机的结合方向上进行努力, 并取得了一定成果[5]。同时, 高校研究人员则根据社会需求研发出了各种各样的新型视觉点胶设备。

河南理工大学的王文华[6]结合FC-D30系列电路板进行视觉点胶系统搭建, 从光源选择、相机选型到图像特征算法设计, 再到伺服系统进行仿真等等, 对点胶机视觉伺服系统的关键技术进行了研究。最终构建了一套能够对电路板点胶位置进行识别的机器视觉点胶平台。该系统对视觉伺服点胶系统的搭建有一定的借鉴意义, 例如系统搭建的主框架、硬件设备的选型、识别算法的设计以及伺服系统的仿真。但是该系统离真正产品还有一定的距离, 不可控因素较多;另外, 该系统针对单一产品设计, 因此在应用领域有一定的局限性。上海大学的程方等[7]研究了基于机器视觉的点胶机定位系统, 对定位系统的工作原理和视觉定位系统的实现进行了简单介绍, 利用三轴运动平台搭建系统, 对芯片识别定位采用矩形拟合的方式进行位置选择。该系统对于搭建三轴运行视觉点胶平台有一定的参考价值, 但该系统无伺服模块, 点胶效率有相当大的提高空间。武汉工程大学的黄紫青[8]对芯片点胶系统的双目视觉相机标定进行了具体介绍, 对于双目视觉点胶系统搭建有较高参考意义;另外, 在芯片视觉定位算法方面, 研究者在分析了传统算法特点的基础之上提出了一种能够提高定位精度的改进算法, 该算法克服了传统算法的缺陷, 对点胶系统整体性能有一定的提升作用。

无论是国内高校还是企业, 不难发现其研究过程只针对单一工件进行算法设计及系统搭建。因此, 在电子行业, 为了避免每应用于一个新的点胶对象就开发出一套点胶算法, 可以将现有的点胶算法进行集成, 做成模块化进行整合, 针对不同的点胶识别算法进行分类, 以此来缩短开发周期和研发时间。另外, 国内的视觉硬件设备与点胶机结合研发尚处于初级阶段, 系统的整体优化程度不高, 因此可以在将视觉硬件与点胶机结合的同时, 将视觉伺服控制系统等设备嵌入到点胶机内部。

1.2 汽车行业

随着汽车的普及和汽车工业的快速发展, 汽车生产的诸多环节均需要使用机器人来代替人工操作。风挡玻璃封胶、灯具封胶、缸体封胶、传感器封胶等, 均需用到机器视觉与点胶机结合技术。

合肥工业大学的任玉峰[9]利用相机搭建了基于双目视觉汽车风挡玻璃点胶安装系统, 对于大型点胶对象系统搭建具有一定的借鉴意义;另外值得注意的是, 该点胶系统是基于工业机器人实现的, 在伺服控制方面做了大量数学建模和运动控制分析方面的工作, 可以作为以机械臂为运动控制器的视觉点胶系统的仿真控制参考。北方工业大学的李天伟等[10]设计的风挡玻璃点胶系统集成了多种点胶算法, 可针对各种式样的风挡玻璃自动生成点胶轨迹;另外, 该系统的点胶质量提升至较高水准, 故有一定的实用价值。

对于发动机缸体涂胶, 电子科技大学的廖勇[11]设计并开发了针对福特发动机缸体涂胶的视觉点胶系统, 对从硬件搭建到软件控制都进行了系统介绍;另外, 该系统还嵌入涂胶质量检测模块, 可以对涂胶效果进行实时反馈。大连工业大学的刘彤晏[12]开发了一组自动涂胶生产流水线, 嵌入多种涂胶相关设备, 主要针对发动机缸体进行视觉涂胶密封设计;此系统可以运用到实际现场中, 并且有较高的灵活性。

综合国内各高校的研究成果可知, 在汽车行业中视觉点胶技术尚处于待发展阶段。虽然汽车的种类越来越多, 但其部件的拼装技术基本固定, 因此在点胶技术中开发出所有部件的视觉点胶模块是可以实现的。在研发方向上, 视觉点胶机器人是本行业的研究热点, 尤其是机器人末端夹具控制器的开发。与电子行业一样, 视觉点胶嵌入式技术有待进一步的完善。

1.3 其他行业

自从机器视觉技术引入中国以来, 对于机器视觉的应用尝试从未间断, 视觉点胶机器方面的研发也不仅仅局限于热门领域。

合肥工业大学的袁冬[13]就计算机视觉技术应用于LED点胶机中的若干问题进行了探讨和研究, 在缺陷检测与定位检测模块进行算法描述与改进, 在此基础之上对LED点胶机视觉系统搭建进行了应用。广东工业大学的张宽[14]针对企业对陶瓷产品点胶的实际需求, 基于点胶技术的现状, 研究了视觉检测技术在陶瓷点胶系统中的应用, 研发出一套实用性很强的视觉点胶系统。该系统通过分析点胶对象的特点, 将点胶对象进行了分类, 并在软件编写方面进行了模块化设计;但该系统只针对大型点胶对象, 有一定的局限性。江苏大学的殷苏民[15]在视觉点胶检测系统设计中, 主要对图像处理算法做了研究, 以涂胶后的电池作为研究对象对图像处理算法进行详细介绍;该系统对其他行业中的设备缺口检测有一定的借鉴意义。

目前国内视觉点胶技术处于应用研发阶段, 对该技术的整体产品开发尚未形成规范, 没有形成系统的产品开发脉络, 因此各个行业的视觉点胶技术亟需形成规范和技术保护。

2 点胶路径提取

点胶路径提取是视觉点胶技术的核心环节, 视觉定位算法是点胶路径生成的基础, 因此视觉定位算法的正确性直接决定点胶的质量。视觉定位方法主要有两种:一种是识别特定标志位, 另一种是通过模板匹配来寻找点胶对象。

2.1 标志位识别

根据图像本身的自然属性和人们进行图像处理的应用需求, 图像特征可分为自然特征和人工特征两大类[16]。自然特征是指图像固有的特征, 例如图像的几何、时相与光谱特征;而人工特征是指人为认定的图像特征, 比如纹理、灰度、线和角点特征等。人们在长期的图像处理和分析实践中还总结出了一系列描述图像自然属性的统计特征, 包括灰度直方图、矩特征[17]

南昌大学的漆志亮[18]研究和分析了视觉定位, 并提出了基于M-Sift特征的目标检测定位方法和基于图像金字塔的快速视觉定位方法, 同时将视觉定位算法应用于点胶机软件系统开发上。上海大学的程方通过矩形拟合来提取待点胶芯片的中心坐标。江苏大学的朱广韬[19]通过直线特征提取的方式对点胶零部件进行进行点胶定位;针对Hough直线检测和最小二乘法的直线特征拟合后的检测结果进行比较, 得到适合其工件的检测方式。

2.2 模板匹配

在机器视觉识别的过程中, 往往需要确定图像中的一个目标物在这幅图中的位置信息, 进而识别这一目标对象。通过图像表示目标对象的模式, 再用这一模板图像表示目标对象, 对模板图像与原图像中每个位置进行相似度量, 将平移、旋转搜索到的与模板图像相似度最高的点确定为匹配对象, 这个过程即为模板匹配。要想得到好的匹配效果, 构建某种有效的度量算法对采集的图像与模板进行相似判断是关键。在实际机器视觉系统应用中, 对模板匹配精确度、速度、准确率问题提出了很高的要求, 所以设计出符合系统要求的图像匹配技术是机器视觉应用领域的迫切需求。

模板匹配可以阐述为观察计算待测的目标图像中某个特殊的图案在这个图像中的位置, 并通过计算原理即相似度来获取其特殊图案的确切位置[19]。目前, 在图像的定位问题中, 经常被应用的模板匹配算法是绝对差法和序贯性相似法。绝对差法一直被作为一种传统且最为基础的模板匹配方法而得到广泛应用, 其中心思想是通过相似度的计算来寻找模板匹配的最佳匹配点。这种方法主要应用于实现一些简单图形的匹配, 对于没有图像变化的图形的定位有很好的效果。而序贯性相似法是在绝对差法的基础上, 通过对实际情况的分析, 经过一些改进得到的, 它能得到更快速的匹配结果。

长春工业大学的刘敏[20]采用传统的模板匹配算法-序贯性相似法来完成对图像的定位, 其定位精度得到验证。华南理工大学的刘币币[21]针对模板图像特征, 设计了采用广义霍夫变换初步定位及随机抽样一致算法精确定位的模板匹配算法, 并为更好地衔接两者, 编写了高效的边缘点筛选算法。华侨大学的郑建斌[22]在SSDA度量方法中通过设置合理的阂值, 计算累计差值, 减少在非匹配点的计算, 利用图像金字塔分层策略, 达到了实时性的匹配速度要求。

3 总结与展望

目前, 国内科研机构及公司都热衷于开发相应的点胶对象识别算法研究, 暂时能够满足国内生产加工的需求。而微型封装技术由于对点胶精度要求较高, 且应用环境复杂, 其发展速度较为缓慢。预计机器视觉结合点胶技术会朝着微型化发展, 系统嵌入性会向着整体化进步, 点胶机与视觉结合的识别算法的发展方向是模块化。

参考文献
[1]
http://www.hedrich.com(德国海德里希公司)
[2]
http://www.whnlc.com(威海仲氏液控精密机械有限公司)
[3]
http://www.lcc.com(美国Lcc公司)
[4]
http://www.saejong.com.cn(韩国世宗白动化机械有限公司)
[5]
张青青.微小器件精密点胶控制与设备研制[D].大连: 大连理工大学, 2017. http://cdmd.cnki.com.cn/Article/CDMD-10141-1017822961.htm
[6]
王文华.点胶机视觉伺服系统关键技术研究[D].焦作: 河南理工大学, 2014. http://cdmd.cnki.com.cn/Article/CDMD-10460-1015903121.htm
[7]
程方, 张曦, 张金松. 基于机器视觉的点胶机定位系统[J]. 机械设计与制造, 2013(3): 101-104. DOI:10.3969/j.issn.1001-3997.2013.03.031
[8]
黄紫青.芯片点胶系统的视觉检测关键技术研究[D].武汉: 武汉工程大学, 2015. http://cdmd.cnki.com.cn/Article/CDMD-10490-1015667609.htm
[9]
任玉峰.基于双目视觉的风挡玻璃智能涂装系统研究[D].合肥: 合肥工业大学, 2009. http://www.cnki.com.cn/Article/CJFDTotal-ZHJC201001003.htm
[10]
李天伟, 刘仁学. 汽车风挡玻璃机器人自动涂胶系统的设计[J]. 南京工程学院学报(自然科学版), 2006(4): 58-62. DOI:10.3969/j.issn.1672-2558.2006.04.011
[11]
廖勇.基于机器视觉的发动机缸体涂胶检测模块的设计与实现[D].成都: 电子科技大学, 2015. http://cdmd.cnki.com.cn/Article/CDMD-10614-1015704768.htm
[12]
刘彤晏. 缸体自动涂胶机的实现[J]. 制造业自动化, 2011, 33(04): 163-165, 174. DOI:10.3969/j.issn.1009-0134.2011.2.54
[13]
袁冬.计算机视觉技术在LED点胶机中的应用[D].合肥: 合肥工业大学, 2015. http://cdmd.cnki.com.cn/Article/CDMD-10359-1015666229.htm
[14]
张宽.基于视觉的陶瓷点胶系统研究[D].广州: 广东工业大学, 2018. http://cdmd.cnki.com.cn/Article/CDMD-11845-1018866579.htm
[15]
殷苏民, 胡乃龙. 一种基于机器视觉的电池涂胶缺陷检测方法[J]. 机械制造, 2017, 55(1): 85-87. DOI:10.3969/j.issn.1000-4998.2017.01.025
[16]
刘飞.基于图像处理的印刷质量自动检测算法研究[D].武汉: 华中科技大学, 2006.
[17]
王小梅.图像特征提取与匹配算法研究及其在印刷品图像检测中的应用[D].南京: 南京理工大学, 2008.
[18]
漆志亮.基于机器视觉的点胶机工件定位研究[D].南昌: 南昌大学, 2018. http://cdmd.cnki.com.cn/Article/CDMD-10403-1018148197.htm
[19]
朱广韬.基于机器视觉的双头点胶机的设计[D].镇江: 江苏大学, 2016. http://cdmd.cnki.com.cn/Article/CDMD-10299-1016904775.htm
[20]
刘敏.汽车传感器电路板涂胶质量视觉检测系统研究[D].长春: 长春工业大学, 2015. http://cdmd.cnki.com.cn/Article/CDMD-10190-1015425970.htm
[21]
刘币币.基于机器视觉定位的自动点胶控制系统的研究与开发[D].广州: 华南理工大学, 2016. http://cdmd.cnki.com.cn/Article/CDMD-10561-1016770072.htm
[22]
郑剑斌.基于机器视觉点胶机伺服系统的研究与设计[D].泉州: 华侨大学, 2018. http://cdmd.cnki.com.cn/Article/CDMD-10385-1018719171.htm