基于规则的激光条纹提取方法通常包括一系列图像预处理步骤，例如预定义滤波器降噪[19-20]、形态学滤波降噪[21]、感兴趣区域提取[22-23]等。例如，Li等[19]采用对比度增强算法来提升激光条纹与背景的区分度，并采用中值滤波降噪和二值化处理，通过细化变换和斜率分析得到激光中心线。Wu等[24]对比了Gauss、中值和Wiener 3种噪声滤波器，发现中值滤波器对焊接图像的降噪效果最佳。Zou等[25]采用形态学滤波降噪方法初始化坐标值，并使用Gauss核提取特征点。He等[26]提出一种基于显著性检测的视觉注意力模型来勾勒焊缝轮廓，结合多项式拟合和求导来提取特征点。尽管这些传统的基于规则的方法计算效率较高，但它们对不同类型的噪声极为敏感，并且需要针对特定环境进行精细调整。因此，为适应不同场景，必须调整许多算法参数，这限制了传统方法在各种焊接条件下的通用性和鲁棒性。
基于深度学习的激光条纹提取基本上是通过训练神经网络模型直接根据二维图像预测焊缝的三维形状及特征点信息[27-30]。神经网络模型能够有效捕捉激光条纹的形状特征，从嘈杂的背景中分离目标区域[31-35]。例如，Chen等[35]提出了一种双分支语义分割网络，旨在增强激光提取的抗反射能力。随着神经网络注意力机制在各个领域取得了较好的效果，很多学者也将注意力机制应用到激光条纹提取技术中[36-38]。例如，Chen等[37]提出了一种用于激光条纹提取的轻量级分割框架，采用了卷积神经网络和Transformer高效混合架构。He等[38]提出了一种改进的带注意力特征融合的分割网络，以增强激光条纹分割效果。虽然神经网络在激光条纹提取中取得一些进展，但是这些方法都没有考虑到激光图像序列帧间的关联信息，且都是基于二维图像进行特征点检测，因此在稳定性和鲁棒性上存在可改进的空间。
为了充分挖掘激光图像序列帧间的关联信息，本文提出了一种基于三维模型与时序滤波的线结构光焊缝三维形状识别跟踪算法，能够有效滤除无关噪声的干扰、准确重建焊缝三维形貌、鲁棒提取焊缝拐点信息，从而实现准确高效的焊缝重建与焊接引导，推动焊接自动化和智能化的发展。
1 本文方法
本文针对焊接过程中普遍存在的弧光、飞溅等复杂环境，提出焊缝三维重建与拐点识别方法。
1.1 问题介绍
本文针对高噪声、弧光、飞溅等复杂环境下的焊缝图像进行研究，旨在去除无关背景噪声、提取激光条纹区域，并精确识别出焊缝拐点。
1.2 整体方法介绍
本文提出的焊缝三维重建与拐点识别算法流程如图 2所示。对连续输入的焊缝激光条纹图像序列，分3个模块进行处理，分别是去噪滤波、激光条纹分割、三维拐点提取。1) 去噪滤波预处理。由于焊接过程中的飞溅噪声往往是瞬时性的，相邻图像帧之间飞溅噪声的位置变化较大，因此本文利用基于Gauss背景建模的时序滤波方法对激光图像进行滤波。2) 激光条纹分割。由于去噪滤波预处理不能去除全部噪声，并且会导致部分条纹间断的产生，因此本文提出了一种基于不确定性原理与自注意力机制的条纹区域分割网络来提取激光条纹。3) 三维拐点提取。为充分利用三维空间信息来减小拐点识别误差，本文利用线结构光原理进行焊缝三维重建，并将激光点投影到三维空间进行视角归一化，从而完成拐点提取，为焊接机器人提供焊接引导。
1.3 基于Gauss背景建模的时序滤波算法
基于Gauss背景建模的时序滤波算法对原始激光条纹图像加入时间维度的信息，通过比较视频的帧间信息进行噪声去除。该算法的流程如图 3所示。
首先，对视频序列的初始帧进行采样以构建背景模型，然后通过逐像素分析的方法对后续视频帧进行处理，将每个像素分类为前景或背景。在像素判断和像素处理模块中，采用Gauss函数对像素值进行建模，构建背景模型，然后再对新输入的信息进行降噪处理。将与均值μ的距离大于给定阈值的像素判定为前景；如果与均值μ的距离小于等于给定阈值，则判定为背景。假设单个像素(坐标为(x, y))的像素值i满足式(1)的Gauss概率分布函数，且默认各像素保持独立同分布。
其中：σ表示该像素的标准差，μ表示该像素的均值。在此设定下，t时刻的背景模板为
其中：r为背景刷新率，这里设定为0.1；Mt(x, y)为t时刻的背景模板；Pt(x, y)为t时刻按照p(i)分布进行判别后得到的预筛选结果。像素值i与均值μ的距离d为
对于给定阈值T1，当d>T1时，该像素为前景；当d≤T1时，该像素为背景。
1.4 基于不确定性与自注意力机制的条纹区域分割模型
为了提高激光条纹中心提取的精度，减少激光条纹周围背景噪声的干扰，本文在激光条纹中心提取之前进行激光区域提取，采用了基于不确定性与自注意力机制的激光条纹区域提取模型，将激光条纹区域提取问题形式化为一个图像分割任务，其核心目标是从复杂背景中精确分割出激光条纹区域。该模型的总体框架如图 4所示。
该模型分为两个阶段：第1阶段使用U-Net[39]架构，融合自注意力机制获取特征子图的全局注意力，预测粗略分割掩膜；第2阶段利用CriticNet网络，将粗略分割掩膜、不确定性图和提取的特征融合，并预测细化分割掩膜。模型以端到端的方式进行训练，在训练过程中，引入认知不确定性机制，即任意样本将在输入时进行随机增强，然后在第1阶段用Monte Carlo(MC) Dropout进行T轮前向传播，预测粗略分割掩膜，并计算不确定性特征图。不确定性机制和非局部自注意力机制有助于减少噪声并保持激光条纹的连续性。不确定性特征图的计算过程如下：
其中：ptc(x, y)代表第t轮传播过程中图像像素(x, y)属于类别c的预测概率；μc为概率均值；σc为概率标准差；u(x, y)为像素(x, y)的不确定性；kσ为权重系数，取0.1。
得到激光条纹区域掩膜之后，利用灰度质心法进行激光中心线的提取，得到激光中心线点集，用于三维拐点提取。
1.5 基于三维模型的焊缝拐点提取算法
在得到基本滤除噪声的激光条纹掩膜图像后，通过标定转换对激光条纹进行三维重建，引入时序滤波技术实时修正拐点位置、更新焊缝三维模型，实现对激光条纹拐点的精确提取。具体分为以下步骤：
1) 系统标定。对相机的内部参数和线阵激光器与相机之间的外部参数进行联合校准，获得成像模型的几何信息。标定过程主要分为两步：基于张氏相机标定方法[40]的相机内部参数标定和基于最小二乘法的激光平面方程标定。获得相机内部参数和激光平面方程参数后，系统可以通过像素-相机坐标系映射，用线平面交叉法将二维图像中任意激光中心点像素的像素坐标转换为世界坐标系下的三维坐标。2) 三维空间投影。为了利用三维信息优化拐点提取，在三维空间中寻找激光条纹的最优观测视角，即垂直于激光平面的视角。将滤波后的图像利用旋转变换投影到平行于激光平面的方向上，即旋转相机视角至垂直于激光平面，从而得到具有三维空间一致性的二维图像。
3) 三维拐点提取，包括三维建模与时序滤波2个步骤。根据焊缝的三维模型，建立焊缝表面分层结构，根据不同高度与方位划分为不同的区域。左板面、右板面、左坡口、右坡口，这4个区域是影响拐点提取准确性的重要部分，本文利用这4个区域引导拐点提取，并进一步修正三维模型，实现闭环反馈。考虑到坡口形状多样性，本文通过三维坡口形貌先验信息，分段引导Hough直线拟合与亮点筛选。对于不满足直线假设的场景，本文结合条纹斜率信息与三维先验信息对Hough变换的结果进行修正，从而得到优化后的拐点提取结果。
由于焊缝拐点提取是一个时序上相对连续的任务，即相邻两帧之间拐点在图像中的位置不会发生突变。因此，本文通过时间序列分析，对激光条纹图像序列进行滤波处理，以减少检测误差并提高算法鲁棒性。算法流程伪代码如图 5所示。
(1) 构建时间序列。将预处理后的激光条纹图像序列按照时间顺序排列，构建时间序列；对于每一帧图像，提取激光条纹的像素坐标序列进行初步的拐点提取，形成拐点坐标的粗略一维时间序列数据。
(2) 滤波处理。采用滑动均值滤波对构建的拐点时间序列数据进行滤波处理。针对t时刻的拐点坐标，计算t－Δt至t时刻间的拐点坐标均值，如果t时刻拐点坐标距离前序时刻拐点坐标均值误差大于阈值T2，则将t时刻的拐点坐标更改为前序Δt时刻的拐点坐标均值，
式(7)中：Cornerp(t)代表根据t时刻图像预测的拐点坐标，Cornerμ(t－Δt, t)代表t－Δt至t时刻间的拐点坐标均值，Corner(t)代表最终拐点坐标。
(3) 三维模型反馈。在得到修正的拐点坐标后，对当前截面焊缝三维模型进行实时更新，在下一时刻的拐点提取步骤中，引入更新后的焊缝三维模型辅助Hough直线拟合，从而精确地进行拐点提取。拐点提取示例如图 6所示。
2 实验数据与设置
本章对实验所用的爬行机器人及激光传感器、数据集、评价指标等进行介绍。
2.1 实验设备及数据集
测试数据集包括3种典型挑战性焊接场景下共14段实时焊接视频，包括不均匀表面、反光干扰以及飞溅噪声3种场景，共21 800帧图像。部分数据集样本如图 8所示。
2.2 评价指标
本文采用平均交并比(mean intersection over union, mIoU)和召回率(Recall)评价基于Gauss背景建模的时序滤波算法和激光条纹区域分割算法的性能，采用成功率评估拐点提取方法的性能。
其中：C代表分割任务种类数(本任务中种类数为2，即条纹与背景)，Recall代表所有正样本中被预测为正样本的比例。TP表示实际正类预测为正类的数量，TN表示实际负类预测为负类的数量，FP表示实际负类预测为正类的数量，FN表示实际正类预测为负类的数量，N1为成功提取到拐点的图像数量，N2为图像总数量。
2.3 实验设置
在训练激光条纹区域分割模型时，采用2个NVIDIA GeForce RTX 3090 GPU进行训练。为了提高训练与推理效率，本文将不确定性训练的T轮前向传播利用CUDA进行并行操作。不确定性训练的迭代轮数T设定为8。
3 实验结果与分析
本章首先针对Gauss背景建模滤波与深度学习条纹分割算法分别进行对比实验，验证去噪与分割算法的准确性；然后针对三维重建与拐点提取进行细分实验，并与传统方法进行对比，验证三维建模与时序滤波的有效性；最后对本文所提方法进行消融实验，分别剥离去噪模块、条纹分割模块、三维重建模块，以分析每个模块对本文所提方法的贡献。
3.1 Gauss背景建模时序滤波实验
为验证基于Gauss背景建模的时序滤波模块在焊接图像去噪中的有效性，本文在强飞溅噪声的焊接视频数据中进行对比测试，实验中设置背景建模所需要的帧数为10。表 1中分别展示了4个样本的原图、形态学滤波去噪、帧间差分去噪、Gauss背景建模去噪的结果。可以看到，形态学滤波基于图像的像素以及纹理信息进行去噪，没有利用到时序信息，因此去噪效果不理想；帧间差分方法考虑了相邻帧的时序信息，但是部分噪声在相邻帧间仍然存在；相比而言，本文采取的Gauss背景建模方法充分考虑了时序相关性，因此去噪表现更为优秀。
表 1 去噪对比实验结果展示 |
| 样本1 | 样本2 | 样本3 | 样本4 | |
| 原图 |  |  |  |  |
| 形态学滤波去噪 |  |  |  |  |
| 帧间差分去噪 |  |  |  |  |
| Gauss背景建模去噪 |  |  |  |  |
3.2 基于神经网络的条纹分割实验
本文训练了神经网络分割模型来进一步去除背景噪声。首先在3 136张真实焊接场景激光条纹图像数据集上进行预训练，然后在实时焊接视频中抽取出100帧进行微调。在微调阶段，本文冻结第1阶段的参数，只对第2阶段的CriticNet进行训练，并调小学习率参数，从而实现更好的迁移性与训练效率。激光条纹分割实验结果如表 2所示。与SegFormer-B0方法相比，本文所提的激光条纹分割方法的召回率提升了约5.5%，平均交并比提升了约1.1%，但是所用分割模型的参数量仅为0.67×106，本研究在模型参数量上进行了大幅度优化。
表 2 3种分割方法的分割性能实验结果 |
| 方法 | mIoU/% | Recall/% | 参数量/106 |
| U-Net | 81.6 | 82.3 | 2.16 |
| SegFormer-B0[41] | 82.4 | 82.6 | 4.08 |
| 本文分割方法 | 83.5 | 88.1 | 0.67 |
本文方法的分割效果展示见表 3。可以观察到，分割网络能够有效滤除无关背景噪声，提取条纹区域，并且对于条纹弱曝光、间断部分也能进行合理推断。
表 3 本文方法的分割性能实验结果展示 |
| 输入/输出 | 样本1 | 样本2 |
| 输入 |  |  |
| 输出 |  |  |
为了对Gauss背景建模去噪模块的性能进行验证，本文对比了不同滤波方式对于分割结果的影响。表 4展示了不同去噪分割模块性能的实验结果。Gauss背景建模时序滤波相比于单帧形态学滤波，去噪效果提升显著，这是由于建立了时序相关性；而相比于只考虑两帧差异的帧间差分滤波方式，Gauss背景建模时序滤波记忆能力更强，因此去噪效果更好。
表 4 不同去噪模块分割性能实验结果 |
| 去噪方法 | mIoU/% | Recall/% |
| 形态学滤波 | 81.9 | 82.5 |
| 帧间差分 | 83.1 | 86.2 |
| Gauss背景建模 | 83.5 | 88.1 |
3.3 三维重建实验
拐点三维坐标的精度由二维图像预测精度以及三维系统重建精度联合构成。本文对所提方法的三维重建精度进行了验证，利用3.1和3.2节中的方法提取激光条纹中心，结合系统标定结果以及三维建模，对焊缝激光线条纹在三维空间中进行处理。
对于形状、尺寸固定的标准件进行三维测量、拐点提取与形貌重建，得到的结果如图 9所示。图中width为识别出的两个拐点的距离。
标准件实验结果显示，二维转三维的重建误差均控制在0.1 mm以内。给定标准件坡口长度真值lGT，最大相对误差可以表示为
其中lp代表坡口长度的测量值。实验测得的最大相对误差不超过0.2%，如表 5所示，可见本文方法的三维重建误差较低。
表 5 三维重建误差 |
| 样本编号 | 最大误差/mm | 最大相对误差δ/% |
| 1 | 0.06 | 0.15 |
| 2 | 0.03 | 0.08 |
| 3 | 0.07 | 0.18 |
| 4 | 0.02 | 0.05 |
3.4 拐点提取对比实验
为验证本文方法在复杂挑战性环境下的拐点提取效果，将该方法与工业界所广泛应用的基于灰度极值提取条纹中心线并提取斜率突变处的点作为拐点的方法进行对比实验，本文将用于对比的方法称为基线方法。所用的数据主要包括飞溅噪声、表面反射噪声以及不均匀表面3种场景。对于每种场景，均有若干条不同焊缝形貌的视频供对比实验。为方便对比，对视频进行抽帧处理，针对复杂图像进行实验结果对比。根据图像几何信息判断焊缝拐点是否成功提取，即算法提取拐点坐标是否位于焊缝的真实拐点处(即激光条纹线斜率突变处)。
实验在Intel i7-6700 CPU主机上进行，采用单个NVIDIA GeForce 3090 GPU进行分割网络的推理。Gauss背景建模滤波单帧平均耗时为65 ms，分割条纹区域单帧平均耗时为22 ms，三维投影与拐点提取单帧平均耗时为25 ms，总计单帧运行时间平均在112 ms。根据提取成功的帧数占总帧数的比例，得到统计结果如表 6所示。
表 6 拐点提取对比实验结果 |
| 噪声场景 | 样本编号 | 总帧数 | 基线方法/% | 本文方法/% |
| 不均匀表面 | 1 | 2 000 | 70 | 90 |
| 2 | 2 000 | 30 | 80 | |
| 3 | 4 000 | 50 | 50 | |
| 表面反射噪声 | 1 | 2 000 | >95 | >95 |
| 2 | 800 | 90 | 95 | |
| 3 | 1 000 | 40 | 45 | |
| 飞溅噪声 | 1 | 4 000 | 80 | 80 |
| 2 | 2 000 | 90 | 95 | |
| 3 | 2 000 | 90 | 95 | |
| 4 | 2 000 | 70 | 80 | |
| 总计 | 10个样本 | 21 800 | ~15 000可行帧 | ~17 000可行帧 |
本文方法相比于基线方法，提取成功帧数从约15 000帧提升至约17 000帧，提升了13.3%。其中提升最为显著的是不均匀表面场景，主要原因在于本文方法采用了三维空间映射与均一化投影的方式，保证了激光条纹提取算法的视角最优性，从而减弱了表面不均匀对于二维图像带来的影响。对于飞溅噪声，本文所提的条纹去噪算法也进一步优化了噪声抑制效果，从而提高了拐点提取的准确率。
表 7 拐点提取结果对比展示 |
| 样本 | 基线方法提取结果 | 本文方法提取结果 |
| 样本1：盖面阶段激光条纹过平缓图像 |  |  |
| 样本2：盖面阶段激光条纹过平缓图像 |  |  |
| 样本3：飞溅噪声图像 |  |  |
| 样本4: 激光条纹过弱图像 |  |  |
3.5 拐点提取消融实验
本文分别对Gauss背景建模去噪滤波(用模块①表示)、激光条纹区域分割(用模块②表示)、三维模型投影和时序滤波(用模块③表示)模块进行了消融实验。采用提取成功的帧数占总帧数的比例，即成功率，作为评价指标。表 8展示了各个模块的消融实验结果。
表 8 整体框架消融实验结果 |
| 方案 | 成功率/% |
| 基线 | 69 |
| 模块① | 71 |
| 模块①+② | 75 |
| 本文方法(①+②+③) | 78 |
针对去噪滤波部分，Gauss背景建模滤波模块能够有效去除无关噪声，拐点提取成功率比基线方法提升2%；进一步地，基于深度学习的激光条纹区域分割模块在数据分布域内效果卓越，能够滤除剩余干扰噪声、合理推断条纹形貌，拐点提取成功率进一步提升约4%；而三维建模投影与时序滤波模块将二维空间中难以解决的噪声与重建问题投影到三维空间中，并结合时序信息进行优化，从而提高了焊缝跟踪的准确性，成功率进一步提升约3%。
4 总结
本文针对焊接环境中常见的高噪声干扰问题，提出了一种焊缝三维重建与拐点识别方法。该方法包含基于Gauss背景建模的时序滤波、基于不确定性的激光条纹区域分割、基于三维模型与时序滤波的拐点提取3个步骤。该方法能有效滤除无关噪声、准确重建焊缝的三维形貌，并鲁棒地提取焊缝拐点信息，从而实现焊缝的准确高效重建与焊接引导。在真实焊接场景的数据集上进行测试，结果表明：拐点提取成功率提升了13.3%，三维重建的误差在0.1 mm以内。可见，本文提出的方法可以实现抗噪声干扰的准确拐点提取。
