基于激光结构光的视觉传感器广泛应用于焊接领域, 尤其在焊接坡口检测、焊缝跟踪等方面^[1-2]。目前, 基于单线激光结构光的视觉传感器应用最为广泛, 其优势在于结构简单、图像处理难度较低、实时性较好, 但从所拍摄图像中可获取的特征点个数较少, 因此存在检测信息不全面等问题^[3-4]。基于多线激光结构光的视觉传感器, 虽然可以从所拍摄图像中获取更多检测信息, 但也增加了传感器标定和图像处理的难度, 目前应用并不广泛, 多应用于需要提取信息较多且对实时性要求不高的场合^[5-6]。

采用图像处理方法, 从所拍摄图像中高效、准确地提取出焊接坡口(焊缝)的中心位置及特征点坐标值, 是基于激光结构光的视觉传感器的核心环节^[7], 是实现焊接坡口检测和焊缝跟踪的前提和基础。图像处理过程主要包含3个阶段：图像预处理、激光中心线提取和焊接坡口(焊缝)特征点识别^[8]。其中, 图像预处理是整个图像处理过程的关键步骤, 预处理的效果直接影响激光中心线和焊接坡口(焊缝)特征点的识别和提取精度。多年的相关研究工作已经发展有多种较为成熟的图像处理算法。然而, 如何将这些算法进行改进、合理组合和应用, 形成一套完备的图像处理流程, 并成功应用于不同领域和场合的图像处理, 值得重点关注。

本文在简要介绍所提出的基于组合激光结构光的新型视觉传感器的光路结构设计、检测原理和算法的基础上, 针对所拍摄的焊接坡口(焊缝)图像的特殊性, 通过对不同图像处理算法的改进和合理组合, 对图像处理流程进行了优化。采用所提出的新型视觉传感器、推导出的检测算法、改进的图像处理算法和优化的图像处理流程, 进行了多种V形焊接坡口的图像拍摄和特征参数检测试验, 结果表明：检测值与坡口实际值相比, 误差不超过±4%, 检测算法、图像处理算法和流程有较强的适应性。

1 视觉传感器原理及检测算法

本文所提出的新型视觉传感器主要由电荷耦合器件(charge coupled device, CCD)相机、十字线和一字线激光发射器构成(见图 1)。CCD相机的光学中轴线与两激光器的中轴线共平面(简称A平面), 两激光器平行放置且轴线间距固定(图中的D₂), 并与CCD相机的轴线呈一定夹角(图中的α)。一字线激光器发射的激光平面与A平面垂直, 十字线激光器发射出十字交叉且垂直的双激光平面, 其中一个激光平面与A平面垂直且与一字线激光器发射的激光平面平行、间距为固定值D₂, 另一个激光平面位于A平面之内, 且与一字线激光器发射的激光平面垂直。在传感器装配时, 需要对激光平面的平行度、垂直度、间距及其与相机轴线的夹角进行校准或标定, 以保证检测精度。

试验选用的CCD相机为200万像素且具有可编程控制功能的大恒MER-200-GM数字摄像机, 镜头为VST的VS-0620VM广角镜头, 焦距为6 mm。CCD相机的最大分辨率为1 628×1 236像素, 像素尺寸为4.4 μm×4.4 μm, 最大分辨率下的拍摄帧频为20 fps。一字线激光发射器为Powell棱镜结构的200 mW高强度激光器, 十字线激光发射器的功率为100 mW, 两激光器的波长均为650 nm。

视觉传感器与焊枪装配时, CCD相机的光学中轴线与焊枪的中轴线平行(需要校准和保证)。图 1为焊枪垂直于工件表面, 焊枪、CCD相机和两激光器轴线所在A平面在工件上的投影线与焊接坡口中心线重合时, 进行坡口特征参数检测的原理示意图。两激光器发射出的激光平面照射到工件表面(包括焊接坡口内), CCD相机可以拍摄到组合激光在工件上投射线的图像。由于激光投射线从工件表面向V形坡口内延伸时, 在坡口的边缘和底部会发生弯折, 形成图中的6个特征点。对拍摄的图像进行处理, 就是为了识别这6个特征点在图像中的坐标值, 进而求得焊接坡口的特征参数。

根据成像原理和光学三角测量法, 可以推导出焊接坡口的特征参数(坡口深度h, 坡口宽度b₁和b₂, 坡口角度ω₁和ω₂)与传感器固有参数及图像中的特征点坐标值的关系式, 也就是检测算法^[9-11]。

$ \begin{array}{*{20}{c}} {h = \frac{{{D_2}f}}{{\cos \alpha }}\left( {\frac{1}{{{{x'}_6} - {{x'}_5}}} - \frac{1}{{{{x'}_2} - {{x'}_1}}}} \right) = }\\ {\frac{{{D_2}f}}{{\cos \alpha }}\left( {\frac{1}{{{{x'}_6} - {{x'}_5}}} - \frac{1}{{{{x'}_4} - {{x'}_3}}}} \right),} \end{array} $

(1)

$ {b_1} = - \frac{{{D_2}}}{{\cos \alpha }} \cdot \frac{{{{y'}_3}}}{{{{x'}_4} - {{x'}_3}}} = - \frac{{{D_2}}}{{\cos \alpha }} \cdot \frac{{{{y'}_4}}}{{{{x'}_4} - {{x'}_3}}}, $

(2)

$ {b_2} = \frac{{{D_2}}}{{\cos \alpha }} \cdot \frac{{{{y'}_1}}}{{{{x'}_2} - {{x'}_1}}} = \frac{{{D_2}}}{{\cos \alpha }} \cdot \frac{{{{y'}_2}}}{{{{x'}_2} - {{x'}_1}}}. $

(3)

$ \begin{array}{*{20}{c}} {{\omega _1} = {{\tan }^{ - 1}}\left( {\frac{{{b_1}}}{h}} \right) = }\\ {{{\tan }^{ - 1}}\left[ {\frac{{ - \frac{{{{y'}_3}}}{f}}}{{\frac{{{{x'}_4} - {{x'}_3}}}{{{{x'}_6} - {{x'}_5}}} - 1}}} \right] = {{\tan }^{ - 1}}\left[ {\frac{{ - \frac{{{{y'}_4}}}{f}}}{{\frac{{{{x'}_4} - {{x'}_3}}}{{{{x'}_6} - {{x'}_5}}} - 1}}} \right],} \end{array} $

(4)

$ \begin{array}{*{20}{c}} {{\omega _2} = {{\tan }^{ - 1}}\left( {\frac{{{b_2}}}{h}} \right) = }\\ {{{\tan }^{ - 1}}\left[ {\frac{{\frac{{{{y'}_1}}}{f}}}{{\frac{{{{x'}_2} - {{x'}_1}}}{{{{x'}_6} - {{x'}_5}}} - 1}}} \right] = {{\tan }^{ - 1}}\left[ {\frac{{\frac{{{{y'}_2}}}{f}}}{{\frac{{{{x'}_2} - {{x'}_1}}}{{{{x'}_6} - {{x'}_5}}} - 1}}} \right].} \end{array} $

(5)

其中：D₂为平行放置的两激光器轴线之间的距离, f为CCD相机的焦距, α为激光器轴线与CCD相机轴线间的夹角。在传感器设计、加工和装配之后, 它们均为固定参数。(x′_i, y′_i)(i=1, 2, …, 6)为特征点1~6在像平面内的坐标值, 由对CCD相机拍摄的图像进行处理后获得。

由式(1)—(5)可以看出, 焊接坡口特征参数的检测只与所设计的视觉传感器的固有参数D₂、f和α有关(f为CCD相机的固有参数, D₂和α由视觉传感器的结构设计、加工和装配保证)。可见, 所提出的视觉传感器的光路结构设计使传感器仅依靠自身内部的固有或确定参数即可实现对焊接坡口特征参数的检测。

空间对象的三维参数视觉检测和传感, 一般采用双目视觉。采用单目视觉时, 则需要从不同角度拍摄空间对象的图像, 然后通过坐标变换计算传感器的外参数, 对传感器进行标定, 进而实现对空间对象的三维参数检测和传感。本文所提出的基于组合激光结构光的视觉传感器, 除了一字线激光发射器外, 增加了一个十字线激光发射器, 独特的双激光器光路结构设计, 使得CCD相机的1次图像拍摄相当于以∞的速度(时间间隔为0)在不同的固定位置对空间对象(如焊接坡口)进行了2次拍摄, 从而巧妙地避开了传统单目视觉传感器应用前所必须进行的外参数标定工作, 形成了自标定。由于不需要进行传感器外参数的标定, 从而也就不需要在传感器(焊枪)的空间位置和姿态发生变化时对传感器进行反复标定；进而, 在使用过程中遇到焊枪高度或位姿发生变化时, 传感器也能继续进行有效检测。与传统的基于单线激光结构光的单目视觉传感器相比, 本文所提出的视觉传感器显著提升了传感系统的自适应性, 同时也有效地解决了单目视觉传感器在进行空间信息检测时的深度方向信息丢失问题^[9]。

2 图像处理流程与特征点识别

对于式(1)—(5)给出的检测算法, 为了获得焊接坡口的特征参数和焊枪高度, 在已知D₂、f和α之后, 尚需对所拍摄的图像进行处理, 获得特征点1~6在像平面内的坐标值x′₁, x′₂, …, x′₆和y′₁, y′₂, …, y′₆。

视觉传感器采用十字线和一字线激光结构光组合的方式, 虽然可以通过图像处理获取更为丰富的特征点信息, 但也增加了图像处理的难度, 且图像处理的精度直接影响焊接坡口特征参数的检测精度, 因此需要合理选择图像处理算法, 既兼顾精度又具备良好的实时性。本文以V形焊接坡口为例, 采用图 2的流程来进行图像处理。

2.1 图像预处理 2.1.1 动态ROI提取

CCD相机所拍摄的图像是256灰度级、1 628× 1 236像素的灰度图像。由于包含激光线及特征点的有价值信息仅集中在整幅图像的中心区域, 如果对整幅图像进行处理, 不仅运算量和时间消耗大, 难以满足实时性要求, 还会引入过多不必要的噪声干扰, 增加图像处理的难度。因此, 对图像进行动态感兴趣区(region of interest, ROI)提取十分必要, 不仅可以减少图像处理的运算量, 提升图像处理的实时性, 还可以有效去除多余噪声, 获得更加清晰的图像。

理论上, ROI的区域越小, 图像处理的速度越快, 但可能存在关键特征信息丢失的风险；而ROI区域过大, 则会导致运算量降低有限, 失去ROI提取的意义, 而且ROI区域选取还会直接影响图像的后续处理过程^[12-13], 因此, 选择适合的ROI区域是图像预处理的关键。

考虑到激光线在所拍摄图像中的明显分布特征, 即包括1条水平激光线和2条竖直激光线, 对图像进行水平扫描投影和竖直扫描投影, 按照扫描方向进行像素的灰度值加和, 求取灰度值加和结果的极大值点, 从而可获得这3条激光线的位置所在。以水平方向的激光线为基准, 在其上、下分别给出200个像素的量宽, 以2条竖直激光线为基准, 并考虑到激光线是从右侧射入、在图像上产生向左的弯折, 因此分别给出左侧激光线向左250个像素的量宽, 右侧激光线向右150个像素的量宽, 从而确定出ROI区域的位置, 实现对ROI区域的动态提取。图 3为动态ROI区域提取图。

2.1.2 顶帽变换

图 4所示为所拍摄图像ROI区域的三维可视化图。观察发现：图像中的激光线亮度分布不均匀, 且焊接坡口底部及其两侧的激光线亮度不足。如果直接进行二值化处理, 可能会造成图像中关键特征信息的丢失, 为此, 对图像进行顶帽变换, 以使图像中的激光线亮度变得均匀。顶帽变换原理为

$ h = f - {\rm{open}}\left( f \right). $

(6)

其中：h为顶帽变换后的图像, f为原图像, open(f)为对原图像进行开运算后的图像。

开运算open(f)的处理效果是放大原图像f的局部低亮度区域。因此, 从原图像f中减去开运算后的图像open(f), 得到的效果图像h会突出原图像f中较为明亮的区域, 是一种很好的图像对比度拉伸方法, 并且还会一定程度上改善原图像f中灰度分布不均匀的问题, 消除背景对激光线提取的干扰^[14]。顶帽变换后的图像三维可视化图如图 5所示。

由图 5可以清楚地看出, 虽然图像经顶帽变换后的整体亮度降低, 但是激光线的亮度变得更加均匀, 并且可以很好地和图像背景区分开。经顶帽变换后的ROI区域图像如图 6a所示。

2.1.3 自适应二值化处理与中值滤波

对图像进行二值化处理一般采用Ostu法, 通过计算整幅图像的直方图特性, 实现全局阈值T的自动选取, 如果图像中某像素的灰度值小于T, 则将该像素的灰度值设置为0, 否则设置为最大值255, 其灰度阈值变换的表达式为^[15]

$ f\left( x \right) = \left\{ {\begin{array}{*{20}{c}} {0,}&{x < T;}\\ {255}&{x > T.} \end{array}} \right. $

(7)

顶帽变换消除了背景对图像的影响, 但是由于焊接坡口内的部分激光线的像素点灰度值小于全局阈值T, 直接进行二值化的效果并不理想, 仍然会造成部分关键特征信息的丢失, 如图 6b所示。

为了解决采用Ostu法进行图像二值化产生的关键特征信息丢失问题, 进一步采用自适应二值化方法对图像进行处理。自适应二值化是针对灰度不均匀的图像所设计的二值化方法, 该方法根据图像不同区域的亮度分布来改变阈值, 通过计算某个像素点的邻域到中心点距离的Gauss方程得到权值, 进而保证图像中各个像素点的阈值会随着周围邻域块的变化而变化^[16-17]。运用该方法得到的二值化图像如图 6c所示。该图像中, 激光线的周围仍存在少量噪声点, 可以通过3×3模板的中值滤波去除^[18], 中值滤波后的二值化图像如图 6d所示。

自适应二值化和中值滤波后的图像三维可视化图如图 7所示, 可以清晰地看出, 这样的处理方式很好地将激光线和背景区分开来。

2.2 中心线提取

为了提取经过上述预处理后的图像中的激光中心线, 首先对图像中的激光线进行边缘识别。图像边缘是图像最基本的特征之一, 边缘点是图像中与周围像素点的灰度存在阶跃变化的像素点, 存在灰度值导数较大或极大值。边缘检测算法即是基于寻找灰度值导数极大值的思想进行边缘识别。常用的基于一阶导数的边缘检测算子，包括Roberts算子、Sobel算子、Prewitt算子等；基于二阶导数的边缘检测算子主要是Laplacian of Gaussian边缘检测算子。

首先使用基于一阶导数的3种边缘检测算子进行边缘识别。通过观察识别后的图像发现, Roberts算子利用局部差分算子寻找边缘, 对边缘的定位精度较高, 但同时也容易丢失部分边缘点(见图 8a)。Sobel算子和Prewitt算子都考虑了邻域信息, 对图像先进行加权平滑处理, 再做微分运算, 对边缘识别更加完整, 但同时检测结果中会出现虚假边缘, 容易出现多像素宽度^[19](见图 8b和8c)。

基于上述现象, 进一步采用基于二阶导数的Laplacian of Gaussian算子进行边缘识别。

$ \begin{array}{*{20}{c}} {{\nabla ^2}G\left( {x,y} \right) = }\\ { - \frac{1}{{{\rm{ \mathsf{ π} }}{\sigma ^4}}}\left[ {1 - \frac{{{x^2} + {y^2}}}{{2{\sigma ^2}}}} \right]\exp \left( { - \frac{{{x^2} + {y^2}}}{{2{\sigma ^2}}}} \right).} \end{array} $

(8)

式(8)称为Laplacian of Gaussian算子, 简称LOG算子。LOG算子克服了Laplacian算子抗噪声能力较差的不足, 同时也避免了双边缘的出现, 可较好地提取出图像边缘^[20-21]。边缘识别后的图像如图 8d所示。

在成功获取图像的单像素边缘后, 对提取的激光线边缘进行求中点的方法, 得到激光线的中心线所在位置的离散点, 采用最小二乘法对图 9中的7组激光线的中心线的离散点进行直线拟合, 即可完成激光线的中心线的提取过程^[22]。激光中心线的提取效果如图 9所示。

2.3 特征点识别

在获得图 9所示的7条激光中心线的直线方程后, 通过方程联立求交点的方法, 可实现对图像中6个特征点坐标值的提取, 提取效果如图 10所示。

假设x′₁ ~x′₆, y′₁ ~y′₆分别为特征点1~6在像平面内的坐标值。联立的方程对可表示为：

$ \left\{ \begin{array}{l} {{y'}_1} = {k_2}{{x'}_1} + {b_2},\\ {{y'}_1} = {k_4}{{x'}_1} + {b_4}; \end{array} \right.\left\{ \begin{array}{l} {{y'}_2} = {k_3}{{x'}_2} + {b_3},\\ {{y'}_2} = {k_6}{{x'}_2} + {b_6}; \end{array} \right. $

(9)

$ \left\{ \begin{array}{l} {{y'}_3} = {k_2}{{x'}_3} + {b_2},\\ {{y'}_3} = {k_5}{{x'}_3} + {b_5}; \end{array} \right.\left\{ \begin{array}{l} {{y'}_4} = {k_3}{{x'}_4} + {b_3},\\ {{y'}_4} = {k_7}{{x'}_4} + {b_7}; \end{array} \right. $

(10)

$ \left\{ \begin{array}{l} {{y'}_5} = {k_1}{{x'}_5} + {b_1},\\ {{y'}_5} = {k_4}{{x'}_5} + {b_4},\\ {{y'}_5} = {k_5}{{x'}_5} + {b_5}; \end{array} \right.\left\{ \begin{array}{l} {{y'}_6} = {k_1}{{x'}_6} + {b_1},\\ {{y'}_6} = {k_6}{{x'}_6} + {b_6},\\ {{y'}_6} = {k_7}{{x'}_6} + {b_7}. \end{array} \right. $

(11)

在采用方程组(11)联立求取5、6两个特征点的坐标值时, 可能会遇到拟合获得的直线1、4、5和(或)直线1、6、7没有公共交点的情况(此时会出现3个交点)。根据前述试验条件, 激光线1(图中横向直线)位于坡口底部, 而直线4和5(或直线6和7)来自于同一条激光投射线, 特征点5(或6)是该条激光投射线在坡口底部的弯折点, 因此5、6两个特征点均位于坡口底部, 理论上, 可以默认5、6两个特征点均在激光线1上(也就是坡口底部)。以特征点5的坐标值获取为例, 实际计算时, 可以将直线1、5和直线1、4联立求取的2组特征点坐标值取平均值(也就是求它们中点)的方式获得特征点5的坐标值。

3 检测系统与验证试验

在光学平板上搭建基于组合激光结构光的视觉传感器检测系统, 如图 11所示。

为了验证所提出的视觉传感器的适用性和相关检测、图像处理算法的有效性, 以V型焊接坡口为例, 设计加工了厚度分别为15和25 mm的2组试件, 分为对称和非对称坡口进行检测试验。

检测试验过程为：采用CCD相机拍摄包含投射激光线的焊接坡口图像, 在PC机上利用Visual Studio平台, 运用上述经过改进和优化的图像处理算法组合对图像进行处理, 获得图像上特征点1~6的坐标值, 然后由式(1)—(6)计算求取焊接坡口的特征参数(其中f=6 mm, D₂=20 mm, α=30°), 3次检测值取平均后的结果如表 1所示。多次试验的检测结果值相对稳定, 图像处理流程适应性较强。与坡口的实际测量值相比, 检测误差均在±4%以内。

检测精度受CCD相机内参数、镜头畸变、激光平面间距、平行度和垂直度及其与相机夹角等参数影响, 如要获取更高的检测精度, 可通过对传感器的内参数进行更精确的校准和标定实现。

4 结论

1) 基于组合激光结构光的新型视觉传感器, 由于一字线和十字线激光发射器发射的激光平面平行和垂直, 平行激光平面的间距及其与CCD相机光学中轴线的倾角固定, 相当于在传感器内部设置了标定基准, 可实现传感器的外参数自标定。这种空间结构的光路设计方式避免了传感器在安装至焊枪后需要针对焊枪高度或位姿变化时的反复标定, 在使用过程中即使存在焊枪高度或位姿变化, 也能进行有效检测, 显著提升了传感器的适应性。

2) 针对图像预处理、激光中心线提取和焊接坡口(焊缝)特征点识别, 给出了改进的图像处理算法、优化的图像处理流程和算法组合。基于水平投影和竖直投影的动态ROI提取方式不仅可有效提升图像处理的运算速度, 并且ROI区域会随着激光线位置的变化而自动调整, 显著改善了图像处理系统的稳定性和适应性；顶帽变换与自适应二值化的组合处理方式改善了焊接坡口图像中激光线的灰度分布不均匀问题, 可以准确地将激光线从复杂的背景图像中提取出来, 避免了直接采用Ostu法进行二值化处理所造成的关键特征信息缺失问题；中值滤波有效地去除了激光线周边的噪声；LOG算子克服了Laplacian算子抗噪声能力差的不足, 同时也避免了激光线双边缘的出现。

3) 对具有不同特征尺寸的V形焊接坡口进行了检测试验, 验证了所提出的视觉传感器及其检测算法、改进的图像处理算法及优化的图像处理流程的有效性和适应性, 可精确地获取拍摄图像中的特征点坐标值, 进而直接计算获得焊接坡口宽度、深度和角度等。检测误差在±4%以内, 可以满足电弧焊接的焊缝跟踪需要。