自动化和智能化水平直接影响焊接生产制造效率及产品质量和寿命等，是焊接领域亟需发展的重要方向^[1-2]。视觉传感是实现焊接自动化和智能化的关键技术，基于透视投影原理的线结构光视觉传感较之其他类型的视觉传感技术具有操作简便、检测精度高及系统成本低等综合优势，应用广泛^[3]。

线结构光视觉传感实现有效检测的基础是建立相应数学检测模型，而相机和结构光平面参数等视觉传感器内参的标定是实现高精度检测的前提^[4]。

相机的标定主要有基于径向约束的Tsai两步标定法和基于平面靶标的张正友标定法^[5], 后者灵活、方便，获得了广泛应用。关于结构光平面的标定，早期主要采用基于三维靶标的标定方法^[6]，均依赖于高精度三维靶标或运动装置，从而使其应用受到了很大限制。在此基础上，学者们提出了基于二维平面靶标的标定方法。韩建栋等^[7]提出了一种基于三点透视模型的快速标定方法，采用自由移动的平面靶标，实现了平均误差约为0.72%的现场标定。刘震等^[8]提出了一种根据平面靶标上光条在相机坐标系下的Plucker矩阵的标定方法，通过对多个位置的平面靶标上光条的空间直线Plucker矩阵求取，实现光平面方程的求解。

近年来，王金桥等^[9]提出了一种线结构光扫描传感器的结构参数一体化标定方法，通过引入辅助激光线形成交点，完成了对线结构光平面的精确标定。邹媛媛等^[10]采用支持向量机和自主设计的条纹平板靶标，实现了对三线结构光视觉传感器的直接标定。然而，这些平面标定方法需要采用特殊设计的靶标、辅助设备或相对复杂的标定模型，才能实现光平面的标定，降低了标定的适用性和便捷性。

标定精度的提高对标定过程的光条中心线提取算法提出了更高要求。灰度重心法^[11]虽然简单且易于实现，但对图像噪声较为敏感。Steger方法^[12]作为广泛使用的中心线提取算法，在激光线与背景区分明显时具有良好的中心线提取效果，但对特征值阈值选取的依赖性强，且实时性较差，可用于光平面标定过程的光条中心线提取，但难以满足在线检测过程的光条中心线提取实时性需求。

本文在阐述独特设计的基于组合激光结构光的视觉传感器基本构成和工作原理、建立其视觉检测数学模型的基础上，提出了仅采用普通棋盘格、一次采集标定图像，实现相机内参(f_x、f_y、u₀、v₀、k₁、k₂)和2个激光发射器投射的结构光平面方程参数(相机坐标系下的2个光平面方程参数A₁、B₁、C₁、D₁与A₂、B₂、C₂、D₂)标定的视觉传感器内参一体化标定方法，解决了原有分步标定方法^[13]对2个激光发射器安装精度要求高、2个投射激光平面存在不平行误差以及分步标定易产生累积误差等问题，提高了线结构光视觉传感器内参标定的效率和准确性，为该视觉传感器的工业化应用奠定了良好基础。

1 基于组合激光结构光的视觉传感器

为实现焊接坡口尺寸参数、焊枪相对于待焊点(焊接坡口)的空间位姿参数等的非接触检测，本文设计了独特的基于组合激光结构光的视觉传感器，主要由单目相机和2个一字线激光发射器组成，如图 1所示。传感器结构采用具有测量误差和结构尺寸较小等优点^[14]的斜射-直接收形式。激光发射器中轴线与相机中轴线间夹角的设计值为30°，此时传感器的检测值与实际值接近^[15]。安装时，传感器固联于焊枪前进(焊接方向)侧，且焊枪中轴线、相机光轴以及2个一字线激光发射器的中轴线共面，此平面垂直于相机靶面的宽度方向。

相机选用型号为MER2-503-23GM的大恒图像公司CMOS相机，采用帧曝光，帧率为23.5 fps，分辨率为2 448×2 048像素，靶面尺寸为2/3″，像元尺寸为3.45 μm×3.45 μm; 镜头选用焦距为12 mm的Computar定焦镜头M1228-MPW3，最小工作距离为100 mm，最大兼容靶面尺寸为2/3″。

由于熔化极气体保护电弧焊的弧光强度在620~700 nm波长范围最弱，选择激光发射器的波长为660 nm、透镜为玻璃透镜，其发射的一字线激光在长度方向符合Gauss分布，有利于保证坡口内激光线条的亮度; 镜头前安装(660±8) nm的窄带滤光片，以有效滤除弧光干扰和保障激光的高比率透过。

2 视觉传感器工作原理及其数学检测模型 2.1 工作原理

基于组合激光结构光的视觉传感器的2个一字线激光发射器向被测物发射2个理论上平行且连续的具有一定厚度的光平面，在被测物表面形成2条被调制的激光线。被调制的激光线在相机中的成像具有一定宽度，提取成像激光线的中心线可准确获得激光线上点在图像坐标系的坐标。

根据视觉传感器的内参和调制激光线上点的二维图像坐标，通过视觉传感器的数学检测模型，便可确定被测物表面上的投影激光线上的对应点在相机坐标系的三维坐标。通过单幅图像求得的投射在焊接坡口上的2条调制激光线上特征点的三维坐标，便可实现焊接坡口尺寸参数、焊枪相对于待焊点(焊接坡口)空间位姿参数的求取。当然，视觉传感器随焊枪以一定速率沿焊接坡口走向运动时，线结构光平面会扫描整个坡口表面，此时便可获得被测表面三维点云数据，实现表面轮廓的三维重建。

为了将相机拍摄获得的二维图像数据通过透视投影模型转换为三维空间中的数据，建立了4个直角坐标系，如图 2所示。其中：O-xy为二维图像坐标系(以相机光轴O_CZ_C与图像平面的交点O为原点)，o-uv为二维像素坐标系，用于表征图像平面中的二维坐标; O_C-X_CY_CZ_C为三维相机坐标系(O_C为相机的光心(焦点)，O_CZ_C为相机的光轴)，O_W-X_WY_WZ_W为三维世界坐标系(O_CO为相机的焦距)，用于表征不同三维物理空间下的空间点坐标; P为被测物表面上的投影激光线上的采样点，p为采样点P在图像平面上的透视成像点。

2.2 数学模型

图 2中，采样点P的坐标从世界坐标系向相机坐标系的转换为刚体位姿变换(包括旋转和平移)，此变换矩阵称为相机的外参矩阵，表示如下^[16]：

$ \left[\begin{array}{c} X_{\mathrm{C}} \\ Y_{\mathrm{C}} \\ Z_{\mathrm{C}} \\ 1 \end{array}\right]=\left[\begin{array}{cc} \boldsymbol{R}_{\mathrm{c}} & \boldsymbol{T} \\ \bf{0} & 1 \end{array}\right]\left[\begin{array}{c} X_{\mathrm{W}} \\ Y_{\mathrm{W}} \\ Z_{\mathrm{W}} \\ 1 \end{array}\right] . $

(1)

其中：R_c为3×3的旋转矩阵，表征相机坐标系在世界坐标系中的姿态; T为3×1的平移矢量，表征相机坐标系在世界坐标系中的位置。

由透视投影原理，采样点P在相机坐标系的坐标与像点p在图像坐标系的坐标的矩阵关系为^[16]

$ Z_{\mathrm{C}}\left[\begin{array}{l} x \\ y \\ 1 \end{array}\right]=\left[\begin{array}{llll} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & 1 & 0 \end{array}\right]\left[\begin{array}{c} X_{\mathrm{C}} \\ Y_{\mathrm{C}} \\ Z_{\mathrm{C}} \\ 1 \end{array}\right]. $

(2)

在图像平面上，像元沿x、y方向的像素宽度分别为Δx、Δy(mm/pixel)，u₀、v₀(pixel)为图像坐标系原点在像素坐标系的位置，则像点p的图像坐标(x, y)与其像素坐标(u, v)的矩阵关系为^[16]

$ \left[\begin{array}{l} u \\ v \\ 1 \end{array}\right]=\left[\begin{array}{ccc} \frac{1}{\Delta x} & 0 & u_{0} \\ 0 & \frac{1}{\Delta y} & v_{0} \\ 0 & 0 & 1 \end{array}\right]\left[\begin{array}{l} x \\ y \\ 1 \end{array}\right]. $

(3)

在不考虑成像畸变的情况下，采样点P、像点p以及相机的光心O_C满足在一条直线上的几何共线约束。根据以上转换矩阵，可得出采样点P从三维世界坐标到成像点p的二维像素坐标的转换关系为

$ \begin{gathered} Z_{\mathrm{C}}\left[\begin{array}{c} u \\ v \\ 1 \end{array}\right]=\left[\begin{array}{cccc} f_{x} & 0 & u_{0} & 0 \\ 0 & f_{y} & v_{0} & 0 \\ 0 & 0 & 1 & 0 \end{array}\right]\left[\begin{array}{cc} \boldsymbol{R}_{\mathrm{c}} & \boldsymbol{T} \\ \bf{0} & 1 \end{array}\right]\left[\begin{array}{c} X_{\mathrm{W}} \\ Y_{\mathrm{w}} \\ Z_{\mathrm{W}} \\ 1 \end{array}\right]= \\ \boldsymbol{M} \cdot \boldsymbol{N}\left[\begin{array}{c} X_{\mathrm{W}} \\ Y_{\mathrm{w}} \\ Z_{\mathrm{w}} \\ 1 \end{array}\right] . \end{gathered} $

(4)

其中：f_x=f/Δx和f_y=f/Δy分别表示相机在x方向和y方向上的无量纲尺度因子。

以上的像点p的图像坐标和像素坐标均未考虑相机镜头畸变。然而，镜头总会存在径向畸变和切向畸变。一般忽略较小的切向畸变，只考虑径向畸变。常用的相机去径向畸变数学模型是Brown模型，用图像主点周围的Taylor级数展开式来描述，通常使用前2项即可，径向畸变校正表示如下^[13]：

$ \left[\begin{array}{l} x_{\mathrm{c}} \\ y_{\mathrm{c}} \end{array}\right]=\left(1+k_{1} r^{2}+k_{2} r^{4}\right)\left[\begin{array}{l} x \\ y \end{array}\right]. $

(5)

其中：k₁、k₂表示相机的径向畸变系数，r表示畸变点距离图像主点的归一化距离，x_c和y_c表示径向畸变校正后的图像坐标。

k₁、k₂与f_x、f_y、u₀、v₀并称为相机系统的内参，可采用张正友标定法^[5]进行标定。然而，在将像点p的像素坐标(u, v)向采样点P的相机坐标(X_C, Y_C, Z_C)转换时，式(2)和(3)提供的约束条件不完全，导致无法由已知的像素坐标(u, v)求解得到相应的相机坐标(X_C, Y_C, Z_C)。进一步，由于采样点P在激光发射器投射的结构光平面上，将相机坐标系中的结构光平面方程作为补充条件，便可实现求解。结构光平面方程在相机坐标系的一般表达形式为

$ A X_{\mathrm{C}}+B Y_{\mathrm{C}}+C Z_{\mathrm{C}}+D=0. $

(6)

其中：A、B、C和D为光平面方程的系数项。

将上述各式联立，即为具备完备约束条件的基于组合激光结构光的视觉传感器的数学检测模型，如式(7)所示。通过该式，可由图像平面中的像点p的像素坐标(u, v)，求解其相应采样点P在相机坐标系O_C-X_CY_CZ_C中的三维坐标(X_C, Y_C, Z_C)。

$ \left\{\begin{array}{c} Z_{\mathrm{C}}\left[\begin{array}{c} u \\ v \\ 1 \end{array}\right]=\left[\begin{array}{cccc} f_{x} & 0 & u_{0} & 0 \\ 0 & f_{y} & v_{0} & 0 \\ 0 & 0 & 1 & 0 \end{array}\right]\left[\begin{array}{c} X_{\mathrm{C}} \\ Y_{\mathrm{C}} \\ Z_{\mathrm{C}} \\ 1 \end{array}\right], \\ A_{1} X_{\mathrm{C}}+B_{1} Y_{\mathrm{C}}+C_{1} Z_{\mathrm{C}}+D_{1}=0 \\ \text { 或 } A_{2} X_{\mathrm{C}}+B_{2} Y_{\mathrm{C}}+C_{2} Z_{\mathrm{C}}+D_{2}=0 . \end{array}\right. $

(7)

其中：f_x、f_y、u₀、v₀为相机系统的内参; A₁、B₁、C₁、D₁和A₂、B₂、C₂、D₂分别为激光器1和2发射的结构光平面在相机坐标系的平面方程参数。

3 视觉传感器的标定过程与步骤

理论上，本文设计的基于组合激光结构光的视觉传感器中的2个一字线激光发射器的激光投射平面是平行的，但由于激光发射器透镜的制造安装及其固定件的制造装配均存在误差，使得2个激光投射平面并不是严格平行的，需要标定校正。

视觉传感器内参的标定包括相机内参(f_x、f_y、u₀、v₀、k₁、k₂)标定和相机坐标系下2个结构光平面方程参数(A₁、B₁、C₁、D₁和A₂、B₂、C₂、D₂)标定。标定过程为：①标定图像采集; ②采用张正友标定法标定获得相机的内外参; ③利用相机标定过程中获得的外参矩阵，求取投射在标定板上的激光中心线上点在相机坐标系的三维坐标; ④相机和激光器的空间位置是固定的，对多个不同位置的标定板上的激光中心线上点进行平面拟合，获得相机坐标系下的激光发射器投射的结构光平面方程。

3.1 标定图像采集

标定图像的采集过程为：①保持标定板位姿不变，采用不同曝光时间，分别采集2个激光发射器向标定板投射激光线前后的标定板和激光线图像，如图 3所示; ②变换标定板位姿，按步骤①依次采集20组不同位姿的标定板和激光线图像。

所采用平面棋盘格标定板的方格数目为12×9，尺寸为6 mm×6 mm，精度为1 μm。图像采集时要保证标定板在相机的视野里完全呈现且清晰成像，采集获得的20组图像中的图 3b用于相机标定，图 3c用于2个激光器的结构光平面方程参数标定。

3.2 相机标定

相机的标定就是求取其内参f_x、f_y、u₀、v₀、k₁、k₂和标定板相对于相机的外参R_c、T。在图 3b中相机标定图像采集过程中，相机的内参不会随标定板位姿的改变而发生变化，但标定板相对于相机的外参会随着标定板位姿的改变和相机拍摄角度的不同而发生变化。由于采用20~30幅图像进行相机标定的相对误差收敛且较小，故选用20幅不同位姿的标定板图像作为相机标定的原始图像。

基于2.2节中张正友相机平面标定原理，采用MATLAB中的相机标定模块进行相机的内参标定，标定步骤为：①依次将采集获得的20幅标定板图像读入内存; ②在标定板上建立世界坐标系，依次进行每幅标定板图像角点坐标的提取; ③根据角点的坐标转换关系进行计算，求解得到相机的内参数f_x、f_y、u₀、v₀、k₁、k₂，如表 1所示。

3.3 结构光平面方程参数标定

结构光平面方程参数的标定过程主要分为3个环节：采用骨架细化与Hough直线检测法提取图像中的激光中心线, 标定板上激光中心线上的点在相机坐标系的三维坐标求取和结构光平面方程参数拟合。以激光发射器1为例，介绍其投射的激光结构光平面方程参数的标定过程。

1) 激光中心线提取。

针对图 3c进行激光中心线的提取，激光中心线直线方程的求取流程如图 4所示。

(1) 图像预处理。

中值滤波 为剔除图像中的噪声，保证后续激光中心线提取质量，采用中值滤波对激光线图像进行滤波处理，该方法能较好地在保持图像的细节不发生较大失真的基础上消除噪声干扰。

图像分割 为了实现激光中心线的准确提取，本文采用全局阈值分割法中的最大类间方差法进行图像分割，进而将激光线作为目标提取出来。

图像形态学处理 由于图像分割后的激光线内部可能会出现孔洞、杂点以及板外余光等情况，这些干扰可采用图像形态学运算进一步去除。

经上述图像预处理过程后，便获得了可用于特征提取的激光线图像。

(2) 图像特征提取。

激光线动态ROI分割 在激光线特征提取前，根据激光线图像的水平和垂直灰度投影值，对预处理后的激光线图像进行动态感兴趣区域(region of interest, ROI)分割，将图像中的两激光线分割到2个小区域图像中。对分割后的2个激光线图像分别进行图像特征提取，可有效提升传感器标定算法的效率。

激光中心线提取(骨架细化法) 常见的中心线提取算法主要包括：边缘检测法、方向模板法、灰度重心法、骨架细化法及Steger法等，综合考虑图像处理的实时性、检测精度及抗干扰能力等要求，本文选用骨架细化法中的Zhang-Suen细化算法^[17]。

对区域分割后的两激光线图像分别采用此算法进行细化，骨架细化后的图像可能存在交叉和不连续等缺陷，通过交叉点去除和不连续像素点之间的插值等缺陷修复操作，可得到连续的单像素激光中心线图像，如图 5a所示(为使图像中的激光线更清晰地显示，将图 5中的二值化图像中的激光线(目标)修改为深色，而将图像背景调整为浅灰色)。

激光中心线拟合(Hough直线检测)  对骨架细化后的激光中心线图像，采用概率Hough变换方法进行直线检测，以获得图像中的每一条直线。在实际检测时，会有多个线段端点检测结果，将各线段端点的多个ρ和θ极坐标值取平均，作为激光线中心线方程的最终检测结果。图 5b为采用Hough直线检测获得的激光线中心线图像。

2) 激光中心线上点的三维空间坐标求取。

在求得图像中的激光中心线拟合直线之后，为提高标定效率以及标定结果的准确性，在激光线图像的成像坐标范围内，在拟合直线上等间隔取100个采样点。将这些点的像素坐标根据其ROI区域所在位置转换为完整激光线图像下的像素坐标，再将20幅图像中的拟合直线上的点，根据相机标定求得的外参Rc、T，求解对应标定板上的激光中心线上点在相机坐标系下的三维坐标。具体过程为：

在式(4)中，u、v为已知量，为激光中心线拟合直线上点的像素坐标; M·N为已知量，为内外参矩阵的乘积，为3×4矩阵; Z_W为标定板上激光中心线在世界坐标系下的Z坐标，由于标定板平面为世界坐标系的X_WO_WY_W平面，故Z_W的值为0。

于是，式(4)中只有Z_C、X_W和Y_W 3个未知量，且此式为非奇异线性方程组，故存在唯一解。再结合式(1)便可求得其对应的相机坐标系下的三维坐标(X_C，Y_C，Z_C)。

3) 结构光平面方程参数拟合。

由于投射在不同位姿标定板上的激光线1都在激光发射器1的结构光平面上，根据20幅激光线图像中激光中心线1的拟合直线，可求得标定板上激光中心线上的点在相机坐标系中的三维空间坐标，用于进行结构光平面1的平面方程参数拟合。

本文采用奇异值分解法，求拟合结构光平面1方程的参数A₁、B₁、C₁和D₁。为计算方便，采用约束条件A₁²+B₁²+C₁²=1，目标为该拟合平面到所有离散点的距离之和最小。建立此目标下的最小化目标函数，对目标函数的系数矩阵做奇异值分解，最小奇异值对应的特征向量就是拟合平面的法向量(A₁, B₁, C₁)，进而可求得平面方程的常数，表示如下：

$ D_{1}=-\left(A_{1} X_{\mathrm{ave}}+B_{1} Y_{\mathrm{ave}}+C_{1} Z_{\mathrm{ave}}\right). $

(8)

其中：X_ave、Y_ave、Z_ave分别代表参与平面拟合的三维点在相机坐标系的空间坐标平均值。

同理，也可求得结构光平面2的方程参数。2个激光发射器的拟合结构光平面如图 6所示。

2个结构光平面方程的拟合参数见表 2。拟合结构光平面1的三维空间坐标点和拟合结构光平面2的三维空间坐标点至其拟合平面的平均距离分别为0.029 2 mm和0.013 8 mm，可见，拟合的结构光平面方程参数具有较高精度。

经过上述3个环节后，便实现了2个激光发射器的结构光平面方程参数标定，结合表 1标定给出的相机内参，视觉传感器的内参便全部标定求得。

4 试验验证与检测结果与分析

为了验证上述视觉传感器内参一体化标定方法的有效性、结果的准确性和该视觉传感器的检测能力，本文以平面工件焊接坡口尺寸参数检测为例，应用该视觉传感器开展了基于单幅图像的平面工件焊接坡口尺寸检测验证试验，如图 7所示。

试验时，将视觉传感器固定，在保证完整清晰成像的前提下，平面工件焊接坡口以任意姿态放置于视觉传感器成像视野中。同时，将2条一字线激光结构光投射至焊接坡口及其邻域，相机采集经焊接坡口调制变形的激光线图像。首先对采集获得的激光线图像进行图像预处理，再采用前述骨架细化与Hough直线检测法提取调制激光线的中心线，相邻2条直线的交点即为平面工件焊接坡口尺寸检测所需的图像特征点，如图 8所示。

采用式(7)给出的视觉传感器检测数学模型，可以求得6个图像特征点对应平面工件焊接坡口表面激光线上的点在相机坐标系中的三维坐标。根据特征点的三维坐标，便可计算平面工件焊接坡口的坡口深度h以及半坡宽b₁、b₂，即为检测值。

保持试验条件不变，变换平面工件焊接坡口的位置，连续10次的重复性检测结果如表 3所示。

以平面工件焊接坡口尺寸参数检测值与实测值的绝对误差均值和标准差作为传感器内参标定结果的评估依据。由表 3试验数据可得：10次重复试验测得的焊接坡口深度h和半坡宽b₁、b2的检测平均值分别为：13.051、5.967和6.025 mm，检测结果的绝对误差均值分别为0.035、0.022和0.027 mm，标准差分别为0.040、0.026和0.035 mm。可见，视觉传感器的内参标定结果可以保证平面工件焊接坡口尺寸参数具有良好的检测精度和重复性，可满足电弧焊接对焊接坡口尺寸参数的检测需求。

5 结论

本文针对所独特设计的基于组合激光结构光的视觉传感器，在构建其检测数学模型的基础上，提出了相机内参(f_x、f_y、u₀、v₀、k₁、k₂)和相机坐标系下2个光平面方程参数(A₁、B₁、C₁、D₁与A₂、B₂、C₂、D₂)的视觉传感器内参一体化标定方法。

所提出的视觉传感器内参一体化标定方法仅使用普通棋盘格标定板，通过相机内参标定、骨架细化法与Hough直线检测提取图像中的激光线中心线、标定板上的激光线中心线上点在相机坐标系中的三维坐标求取和激光结构光平面方程参数拟合，实现了传感器内参的精确标定，解决了2个激光器投射结构光平面存在不平行误差及原有传感器分步标定方法易产生累积误差等问题，为该视觉传感器的工业化应用奠定了良好基础。

从平面工件焊接坡口尺寸参数的检测结果可以看出，该视觉传感器的绝对检测误差和重复误差皆不超过0.04 mm，表明所提出的视觉传感器内参一体化标定方法获得的内参标定结果可以保证视觉传感器具有良好的检测精度和重复性，可满足电弧焊接对坡口尺寸参数的检测需求。