机械工程

基于激光视觉传感的多层多道自动化排道技术

  • 冯消冰 , 1 ,
  • 郑军 2 ,
  • 刘爱平 1
展开
  • 1. 北京博清科技有限公司, 北京 100176
  • 2. 清华大学 机械工程系, 北京 100084

冯消冰(1981-), 男, 正高级工程师。E-mail:

收稿日期: 2024-08-20

  网络出版日期: 2025-07-24

版权

版权所有,未经授权,不得转载。

Multilayer and multipass automatic lane arrangement technology based on visual sensing

  • Xiaobing FENG , 1 ,
  • Jun ZHENG 2 ,
  • Aiping LIU 1
Expand
  • 1. Beijing Botsing Technology Co., Ltd., Beijing 100176, China
  • 2. Department of Mechanical Engineering, Tsinghua University, Beijing 100084, China

Received date: 2024-08-20

  Online published: 2025-07-24

Copyright

All rights reserved. Unauthorized reproduction is prohibited.

摘要

该文通过研究大型结构件中厚板的自动化焊接,开发了基于激光视觉传感的多层多道自动化排道技术及其调整系统。在复杂的焊接工况下实现对焊缝的精确识别和特征提取,为机器人自动化跟踪控制提供基础,在保证焊接质量的前提下,分析了不同位置和板厚的焊接工艺参数,建立试板类型、板厚、工艺参数和焊道熔敷量之间的关联,实现了对中厚板多层道数和熔敷量的规划。结合视觉传感识别焊缝信息,自动规划每一道焊接路径,确定每一位置每一时刻不同焊道的最佳位置、姿态和摆宽等信息。根据规划的每一道熔敷量自适应调整工艺参数,并根据视觉跟踪识别熔敷点位置信息调整焊枪的位置和姿态。充分考虑焊接变形、坡口变化及焊接过程的高低起伏影响,实时调整焊接排道信息及焊接参数等,实现大型结构件高效、稳定的焊接生产,提高生产效率和产品质量,推动制造业的智能化发展。

本文引用格式

冯消冰 , 郑军 , 刘爱平 . 基于激光视觉传感的多层多道自动化排道技术[J]. 清华大学学报(自然科学版), 2025 , 65(8) : 1596 -1608 . DOI: 10.16511/j.cnki.qhdxxb.2025.27.010

Abstract

Objective: This research centers on the automated welding of medium and thick plates within large structural components. It is mainly focused on the in-depth exploration of the multilayer and multipass automated layout technology based on laser vision sensing. The aim is to solve a variety of crucial problems that occur during the welding process of medium and thick plates in large structural parts. By enhancing the welding quality and efficiency, it promotes the intelligent development of welding technology. Through a series of theoretical analyses, algorithm research and development, as well as experimental verifications, a multilayer and multipass automated layout technology based on laser vision sensing, along with its corresponding adjustment system, has been successfully developed. Methods: Under intricate and challenging welding conditions, the precise identification and feature extraction of weld seams were achieved, which laid a solid foundation for the automated tracking control of robots. A highly efficient solution based on a deep learning model was developed, and the end-to-end laser centerline extraction was successfully realized. This algorithm, while ensuring stable adaptation to a large number of working conditions, has a lightweight parameter scale and a relatively fast computing speed. Moreover, both its accuracy and efficiency can meet the engineering requirements, and it can accurately locate the key feature points in the laser weld images of different stages of multilayer and multipass welding of medium and thick plates. By obtaining the images of adjacent weld passes at the same position and using the laser centerline or the inflection point at the top of the groove as the matching feature to perform relevant operations, the weld pass morphology and features were extracted and served as the basis for the multilayer and multipass layout planning. Meanwhile, considering its self-correlation with the changes in welding process parameters, the real-time prediction of welding process parameters was achieved, thereby providing a basis for the rational selection of parameters at different positions of the welding path. Through an extensive analysis of welding parameters across various positions and plate thicknesses, strong correlative relationships among test plate types, plate thicknesses, process parameters, and weld bead deposition amounts were established. This enabled the effective planning of the number of welding layers and deposition quantities for medium and thick plates, providing a clear guideline for subsequent welding operations. Results: By incorporating visual sensing to identify weld seam information, the proposed technology facilitates the automatic planning of welding paths for each pass. Moreover, it determines crucial details such as the optimal position, attitude, and oscillation width of different weld beads at specific positions and times. Based on the deposition amount of each planned pass, process parameters are adaptively adjusted. Simultaneously, by combining position information and visual tracking, the position and orientation of the welding torch are adjusted accordingly, ensuring that the welding torch remains in the ideal state throughout welding. The system accounts for various influencing factors, including welding deformation, groove shape changes, and fluctuations during welding operations. Welding layout information and parameters are continuously refined and dynamically adjusted in real time. Conclusions: This adaptive mechanism ensures stable and efficient welding operations on large structural components, considerably enhancing production efficiency and product quality. Ultimately, this research plays a vital role in promoting the intelligent development of the manufacturing industry.

在现代工业制造中,大型结构件(例如中厚板)的焊接是构建重大工程设备不可或缺的工序,目前广泛应用于船舶制造、核电工程、油气化工、能源电力、建筑钢构和轨道交通等高端制造领域。该工序对焊接的稳定性和可靠性有着极高的要求[1],而对多层多道焊逐层逐道进行焊接,可以有效控制热输入[2],避免热输入量过大造成的焊接变形和产生残余应力,有助于保证焊接结构的稳固性并延长使用寿命。
在实际应用中,多层多道自动化排道技术还面临着一些挑战。由于机械加工、装配、热变形等因素的影响,焊接精度和质量有时难以保证,多层多道自动化排道技术[3]仍存在多项难点需要突破。现有技术尽管能实现焊前层道数的规划,但在应对实际焊接过程中的动态变化时存在诸多不足。例如,理论排道规划后的层道信息难以适应焊接变形,未充分考虑坡口变化和高度起伏带来的影响,或者同一层不同道间的调整规则缺失,这些均会增加排道难度并影响最终的焊缝成型效果。此外,现有方法通常基于预扫描和示教方式,未能有效应对焊接热变形的影响并提升焊接效率的需求。同时,采用底部中心作为排道模型坐标原点的做法[4],会在第一
道焊接后及排道调整过程中导致原点消失,致使排道模型及相应策略的不稳定性,进一步增加了多层多道自动化排道的复杂性。因此,为了充分发挥多层多道自动化排道技术在中厚板焊接中的应用潜力,必须突破现有的技术瓶颈,发展出更为灵活、适应性强的多层多道自动化排道技术及其调整系统。
本文利用激光焊缝跟踪技术实时获取精确的焊缝形状信息,据此建立较为详细的坡口模型;同时结合工艺参数和熔敷成型参数的范围进行多层多道排道规划;建立焊道模型与工艺参数之间的关联关系,并考虑焊接变形的影响,从而实现了多层多道排道规划及参数、焊枪位姿的自动调整。该多层多道自动化排道技术及其调整系统在高强钢气保焊的实验室验证及工程项目中展现了良好的效果,保证了焊缝成型的高质量,避免了盖面跟踪不稳定和盖面余高不合理的情况,进一步提高焊接质量和效率。

1 焊缝视觉识别技术

焊缝视觉识别技术通过传感器和图像处理检测和识别焊缝的位置、几何形状和特征信息,引导焊接机器人、焊枪沿着焊缝路径实现焊接作业。该技术减少了人工干预和手动调整的时间,是实现机器人自动化和智能化焊接的关键基础。

1.1 激光视觉传感器

用于焊缝识别的视觉传感技术分为被动光视觉与主动光视觉。目前,在焊缝跟踪引导方面,激光视觉传感器是常用的主动光视觉实现工具。如图 1a所示, 将激光视觉传感器安装在机器人上,通过投影激光条纹感知焊缝, 通过识别激光条纹图像获取焊缝的轮廓和位置, 实现对焊缝位置和工艺参数的自动控制。图 1b为一款通用的激光传感器产品。
图 1 激光视觉传感器

1.2 焊缝信息提取

1.2.1 激光中心线提取

在激光焊缝跟踪领域,激光中心线坐标位置的精确提取对于保证焊接质量和效率至关重要。面对焊接过程中的各种挑战,如飞溅噪声、强反光、环境光干扰以及激光线微弱等问题[5],传统的图像处理方法(如边缘检测和Hough变换)往往需要人工干预调整参数,不仅耗时耗力且鲁棒性不足,难以适应复杂多变的焊接工况。为解决这些问题,本文研发了更加高效、鲁棒性更强的方法。利用深度学习模型自动学习激光线的特征,实现端到端的激光中心线提取。从大量数据中学习到复杂环境下的激光线特征,提高算法的鲁棒性和准确性[6]
本算法采用铲车神经网络以及自定义的损失函数对模型进行训练。铲车神经网络如图 2所示。由图可知,浅色部分为正常卷积或反卷积层,深色部分为池化层,中间模块采用融合(concat)策略。铲车结构网络在高度方向上,模型结构不断压缩,从初始的与图像同高度(288像素)降至最终输出时的高度为1(1维数组);在宽度方向上,模型结构经历了先收缩再放大的过程。
图 2 铲车神经网络
训练用损失函数为拟合损失函数、平滑损失函数、限位损失函数的组合。拟合损失函数为L1损失,比对标签值和预测值的误差然后修正网络的参数。平滑损失函数如式1所示。
$\begin{gathered}\operatorname{Loss}_{\text {smooth }}=\text { mean[DIFF }{ }_1^2\left(y_{\text {pred }}\right)+ \\\left.\operatorname{DIFF}_2^2\left(y_{\text {pred }}\right)+\operatorname{DIFF}_3^2\left(y_{\text {pred }}\right)\right] .\end{gathered}$
其中:ypred为预测值,DIFF1、DIFF2和DIFF3分别为对一维输出的1~3阶差分,预测曲线越平滑则差分量越小,因此平滑损失和拟合损失是一对需要权衡的优化指标。限位损失如下:
$\operatorname{Loss}_{\text {limit }}= \begin{cases}-y_{\text {pred }}, & y_{\text {pred }}<0 ; \\ 0, & 0 \leqslant y_{\text {pred }} \leqslant 287 ; \\ y_{\text {pred }}, & y_{\text {pred }}>287 .\end{cases}$
训练过程中,拟合损失函数、平滑损失函数、限位损失函数的权重比例设置为100∶1∶100,在经历大量训练和调试后可以得到准确预测激光线的神经网络模型。本算法在稳定适配大量工况的前提下还拥有轻量化的参数规模和较快的运算速度。基于铲车模型的激光中心线提取算法,使用OpenVINO工具套件部署模型,算法执行效率可满足实时性30 fps要求, 准确率达到98%。部分激光中心线提取的效果如图 3所示,可见在飞溅噪声大、反光严重、环境光比较亮、激光线比较弱等各种干扰的激光图像中,本算法均能实现激光中心线的准确提取。
图 3 中心线提取效果

1.2.2 焊缝特征识别

拐点定位使用两级定位方法,包含粗定位和精定位,粗定位在小分辨率图像(160像素×256像素)上进行,可得到4个关键点的大致位置。精定位则是在粗定位得到的关键点附近,从原图上截取小视窗的图像(128像素×128像素),利用截取到的小视窗图像对拐点再做精定位。基础模型选择时间沙漏(hourglass)模型。如图 4所示,输入为分辨率为1 080像素×1 920像素的图像;对输入图像进行缩小处理,得到160像素×256像素的小分辨率图像,通过时间沙漏模型进行粗定位,得到4个关键点坐标;在高分辨率图像上,以粗定位得到的坐标为参考,在定位得到的关键点附近截取128像素×128像素的图像做精定位,使用VGG(visual geometry group)模型进行精确定位,最后输出精确关键点的坐标。
图 4 特征识别流程图
时间沙漏模型如图 5所示,其特点是具有对称的上下两部分,形状类似沙漏,通过不断地进行下采样和上采样操作,逐步提取不同尺度的特征信息,从而捕捉图像中的全局和局部特征。这种结构使得网络能够在不同分辨率下对目标进行分析,提高了对复杂激光线形状的识别能力。沙漏网络通常由多个沙漏模块组成,每个模块包含一系列卷积层、池化层和上采样层。在训练过程中,网络通过最小化预测结果与真实标签之间的损失函数来调整权重参数,提高预测的准确性。输入为1 080像素×1 920像素的图像,先在小分辨率图像上做粗定位,后在定位得到的关键点附近截取128像素×128像素的图像做精定位,识别顶部拐点和底部拐点,因此模型输出时选择默认4个关键点输出,同时要预测这4个关键点输出的置信度。
图 5 时间沙漏模型
本算法在精定位时采用的是类似YOLO(you only look once)预测目标框的模型架构(输出关键点的x,y坐标,属于回归任务),主框架选择VGG模型,因为切割以后的图像中,拐点和线的位置关系不如粗定位时明朗,而VGG模型更适合找到切割后图像中的拐点。两级定位方法在保证精度的同时能够极大地增加算法运行速度。图 6所示为采用该两级定位方法,在中厚板多层多道不同阶段的激光焊缝图像中准确定位到顶部和焊缝内部的关键特征点的效果图。
图 6 多层多道的焊缝图像中特征识别效果
根据拐点跟踪问题分析视频,挑选了10个场景下的数据进行测试。如表 1所示,测试内容为10个场景下的盖面阶段激光模块所保存的视频,这些场景包括了曝光严重、直线度较差、严重反光、几何特征消失的情况;部分场景为一道盖面,部分场景为多道盖面,共计16 000张图像,严重反光数量为531张,问题占比31.45%,此类问题占比较高,分类等级为A;直线度较差的图像数量为450张,问题占比26.66%,分类等级为B, 曝光严重441张,问题占比26.13%,分类等级为C, 几何特征消失266张,问题占比15.76%,分类等级为D,其测试输出是每相邻10帧图像保存一个测试结果。在部分场景下优化后的算法在几何特征微弱的情况下能够识别焊缝上坡口的拐点位置,但是该算法对激光线坡口外部直线度要求较高。
表 1 算法性能分析
影响定位准确的问题 图像数量/张 问题占比/% 分类等级
严重反光 531 31.45 A
直线度较差 450 26.66 B
曝光严重 441 26.13 C
几何特征消失(< 0.4 mm) 266 15.76 D

1.3 焊道形貌特征提取

工艺参数的精确控制对于保证焊道的三维形貌和最终焊缝的质量至关重要,为了深入理解并控制这一过程,必须详细分析焊道的形貌特征与对应的工艺参数之间的关系。因此,提取焊道形貌特征成为一项关键任务。
多层多道焊接时,焊接系统能够自动保存焊接过程中的视频及工艺参数数据,机器人从同一位置起弧,收到上位机起弧信号后采集焊道视频数据;同时,焊接过程中,实时存储起弧时间、焊接速度、层数、道数以及焊接工艺参数等信息。根据起弧时间、焊接速度等,获取同一位置相邻焊道的两帧(同一位置当前焊道的图像,和下一道同一位置图像)焊缝图像。提取这两帧图像的激光中心线或坡口顶部拐点后,以两侧的拐点作为匹配特征,配准并合并两帧图像,然后通过匹配的特征点对得到图像空间坐标变换的旋转、平移、放大等参数,最后由坐标变换参数进行图像配准[7]
图 7 焊道图像提取
本文以分水岭分割算法实现闭合区域的分割,分水岭分割是一种基于拓扑理论的地理形态学分割方法,模仿地理结构(比如山川、沟壑,盆地)以实现对不同物体的分类。该算法会将图像视作地形表面,将图像的每一个灰度级与等高线相对应,整个计算过程如下:首先,将梯度图像中的所有像素按照灰度值进行分类,并设定一个测地距离阈值;其次,找到灰度值最小的像素点(默认标记为灰度值最低点),将这些点作为起始点,令阈值从最小值开始增长;水平面在增长的过程中,会接触邻域像素,测量这些像素到起始点的测地距离,如果小于设定阈值,则将这些像素淹没,否则在这些像素上设置“大坝”,由此对这些邻域像素进行了分类。获取标签图像并滤除小区域的干扰后,即可得到这个位置的某个焊道图像的区域。
图 8 闭合区域提取及焊道特征提取
获取焊道图像后,可再次计算已获取焊道的特征信息,包括面积、质心等,并通过最小水平方向的外接矩形计算焊道的熔敷宽度和熔敷高度等信息。分析大量的同位置、同母材的图像数据获取熔敷面积、高度及宽度范围,作为多层多道排道规划的基础。通过该方法可以快速、准确地获取不同位置、不同层道的焊道图像,如图 9所示,展示了多层多道焊缝图像中,焊道及其特征提取的效果,红色封闭曲线为焊道的几何图像,黄色矩形框为焊道的最小外接矩形,通过最小接矩可以计算焊道的宽度和高度信息。之后,通过激光传感器的标定信息将焊道特征的二维信息转化为三维信息。
图 9 不同层道的焊道图像及特征提取效果

1.4 焊道与工艺参数关系

焊道形貌特征的提取和分析是理解和优化焊接工艺参数的关键步骤。在获取了焊道详细的三维形貌数据后,就可以将其与实际使用的工艺参数进行联合分析,工艺参数包括焊接速度、电流、电压、热输入以及保护气体的类型和流量等。通过数据统计和机器学习方法,可以识别出哪些工艺参数对焊道形貌存在显著影响,并量化这种影响的大小。进而分析焊道尺寸与成型和工艺参数之间的相关性,并建立相应模型,为焊接路径中不同位置选择合理工艺参数提供依据,最终实现焊接参数的自适应调整。
传统机器学习方法并未充分考虑连续帧焊道形貌变化及焊接工艺参数变化的自相关性,可能导致焊接参数预测模型对焊接参数自适应预测能力受限或者波段范围过大等情况的产生。为了解决这些问题,本文以循环神经网络为基础,用时间序列焊道形貌数据作为预测模型的输入,设计能够处理长时间序列的焊接参数预测模型。长短期记忆网络(long short-term memory,LSTM)是一种改进的循环神经网络[8],通过细胞状态记忆信息以及精妙的输入门、遗忘门、输出门控制,引入sigmoid函数并结合tanh函数,添加求和操作,减少梯度消失和梯度爆炸的可能性,将短期记忆和长期记忆结合起来,一定程度上解决了梯度消失的问题[9]
考虑连续帧焊道形貌变化及焊接工艺参数变化的自相关性,以循环神经网络为基础,输入为焊道图像序列,输出为工艺参数序列。用时间序列焊道形貌数据作为焊接工艺参数LSTM预测模型的输入,设计能够处理长时间序列的焊接参数预测模型。如图 10所示,首先通过激光图像处理获取当前焊道的焊缝形状,根据当前焊道的多层多道的排道规划模型,获取当前焊道的预测形貌的二值化图像,以及窗口宽度(一段时间)的焊道图像序列,输入到训练好的焊接参数预测LSTM模型。根据此模型预测焊接工艺参数,并对工艺参数做一定的限制,判断预测的工艺参数变化度是否大于阈值的变化度,做修正工艺参数处理(连续帧的工艺参数变化范围有限),最后可实现对工艺参数的实时预测。
图 10 工艺参数自适应预测流程图
实时焊接时,当前焊道的形貌以及多层多道规划模型得到焊道的二值化图像,获取时间序列的焊道成型作为LSTM模型输入,最终预测t时刻的工艺参数。
焊道图像序列为焊接工艺参数LSTM模型的输入,其中,U(1)为第1组焊道的图像序列,seq为每组图像的帧数,col为焊道图像序列总组数,具体如下:
$\left\{\begin{array}{l}\boldsymbol{U}^{(1)}=\left(u_1^{(1)}, u_2^{(1)}, \cdots, u_{\mathrm{seq}}^{(1)}\right)^{\mathrm{T}} ; \\\boldsymbol{U}^{(2)}=\left(u_1^{(2)}, u_2^{(2)}, \cdots, u_{\mathrm{seq}}^{(2)}\right)^{\mathrm{T}} ; \\\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; \vdots \\\boldsymbol{U}^{(\mathrm{col})}=\left(u_1^{(\mathrm{col})}, u_2^{(\mathrm{col})}, \cdots, u_{\mathrm{seq}}^{(\mathrm{col})}\right)^{\mathrm{T}} .\end{array}\right.$
经过归一化处理后的焊接工艺参数序列为焊接工艺参数预测LSTM模型的输出,具体如下:
$\left\{\begin{array}{l}\boldsymbol{Q}^{(1)}=\left(q_1^{(1)}, q_2^{(1)}, \cdots, q_{\mathrm{seq}}^{(1)}\right)^{\mathrm{T}} ; \\\boldsymbol{Q}^{(2)}=\left(q_1^{(2)}, q_2^{(2)}, \cdots, q_{\mathrm{seq}}^{(2)}\right)^{\mathrm{T}} ; \\\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\; \vdots \\\boldsymbol{Q}^{(\mathrm{col})}=\left(q_1^{(\mathrm{col})}, q_2^{(\mathrm{col})}, \cdots, q_{\mathrm{seq}}^{(\mathrm{col})}\right)^{\mathrm{T}} .\end{array}\right.$
采用交叉熵损失函数作为目标函数进行模型训练,建立序列到序列焊接工艺参数LSTM预测模型。

2 多层多道焊道规划

大型结构件(例如中厚板)多层多道自动排道技术是指在焊接过程中,通过自动化技术对中厚板在多层多道焊接时进行焊道的自动规划和排列,规划焊接路径,实时调整焊接参数,精确控制焊缝成型以及监控焊接过程等[10],保证各层焊接平整且均匀。这对焊接质量、焊接连续性、成型美观和焊接效率等具有重要意义。

2.1 建立焊道模型

根据激光视觉传感器识别的焊缝特征,计算焊缝左右的角度、坡口顶部宽度、底部间隙、坡口内部填充量等关键数据,并根据标定数据转化为真实工件中的坡口数据。如图 11所示展示了从焊缝图像中识别焊缝的关键特征信息,图 11a红色线条为提取的坡口激光线,图 11b绿色线条为在获取坡口激光线的基础上识别出坡口内部的内部特征,在绿色线条的基础上可识别左、右坡口的角度、坡口间隙等信息。之后根据坡口特征信息建立坡口模型,如图 12所示。
图 11 识别焊缝的关键特征信息图
图 12 坡口模型

注:H为板厚,αβ分别为左侧和右侧坡口角度,g为坡口间隙。

2.2 多层多道自动化排道及调整

2.2.1 焊接层道数规划

不同的材质和坡口一般采用不同的焊接参数范围及对应的熔敷宽度、高度、面积等的范围,可以通过熔敷高度范围计算焊接层数,焊缝填充的总高度HA为板厚H和盖面高度d的和,如式(5)所示;焊接层数M的范围满足式(6),其中Hl为每一道熔敷高度的最大值,Hs为每一道熔敷高度的最小值,依据焊接效率最高的原则,选择满足焊接层数的最小整数值为确定总层数m,如式(7)所示。
$H_{\mathrm{A}}=H+d, $
$H_{\mathrm{A}} / H_1 \leqslant M \leqslant H_{\mathrm{A}} / H_{\mathrm{s}}, $
$m=\min (M) .$
焊缝的m确定后,可以通过等高策略进行布道规划,每一层填充的平均高度均为h,计算方式如式(8)所示。
$h=H_{\mathrm{A}} / m .$
基于mh进一步确定每一层的填充面积,如图 13所示,每一层的填充面积可以由梯形面积表示并计算。第一层的填充面积S1和第i(1<im)层的填充面积Si的计算方法分别如式(9)所示。获得每层的填充面积后,通过填充面积的范围确定每层焊道数,根据式(9)得到第i层的道数Ni的范围如式(10)所示,式中Sl为每一层填充面积的最大值,Ss为每一层填充面积的最小值,并以效率最优的原则确定该层的道数ni(见式(11)),由此确定每一层对应的道数。
$\left\{\begin{aligned}S_1= & g h+0.5 h^2 \tan \alpha+0.5 h^2 \tan \beta, \\S_i= & g h+0.5(2 i-1) h^2 \tan \alpha+ \\& 0.5(2 i-1) h^2 \tan \beta, \\& 1<i \leqslant m ;\end{aligned}\right.$
$S_i / S_1 \leqslant N_i \leqslant S_i / S_s ;$
$n_i=\min \left(N_i\right) .$
图 13 等高模型

注:d为盖面高度,h1为第一层焊道高度,hi为第i层焊道高度,hm为最后一层焊道高度。

2.2.2 路径规划

建立焊道坐标系,规划每层每道的焊接路径。通常情况下,第一层规划一个焊道,可以通过三角形(0间隙)或梯形(非0间隙)进行简化,如果从模型的左至右焊接,左侧规划为平行四边形,每层的最后一道规划为梯形,这种方式与实际焊接成型一致,根据每层等面积原则计算平行四边形焊道的上、下边长w,第i层平行四边形的边长wi的计算方法如式(12)所示,梯形部分的上底wit和下底wib如式(13)和(14)所示。
$w_i=S_i /\left(n_i \cdot h_i\right), $
$w_{i \mathrm{t}}=g+(\tan \alpha+\tan \beta) \sum\limits_{k=1}^i h_k-\left(n_i-1\right) w_i, $
$w_{i \mathrm{~b}}=g+(\tan \alpha+\tan \beta) \sum\limits_{k=1}^{i-1} h_k-\left(n_i-1\right) w_i .$
在多层多道焊接过程中,通常以工件原始坡口的底部中心作为坐标原点。然而,在非寻位的实时跟踪方式下,底部信息会随着填充的进行发生改变,只有填充第一道时底部中心的信息才存在。因此,本文将坐标原点的选取和实际焊接过程相结合,采用坡口顶部的左或右拐点作为原点,建立每层每道的坐标位置,这有利于排道模型的实时更新。如图 14所示,以坡口顶部左拐点为原点,x轴方向为顶部左拐点到右拐点的方向,y轴方向为左拐点指向坡口底部的方向(垂直坡口的方向),由此确定每个焊道的坐标位置以及每层每道的边界点、底部搭接点等[11]
图 14 多层多道焊道坐标的建立(以坡口顶部左拐点为原点)

2.2.3 多层多道熔合线自动寻位方法

大型结构件中厚板多层多道焊接,仅通过对坡口整体位置的识别无法满足焊接全过程要求,需要在每道焊接时,对焊枪指向位置的三维坐标进行实时寻位调整。基于图像视觉分析的焊枪层道寻位方法,可以自动根据预设层道规划与当前坡口三维形貌特征[12],实时分析计算当前焊枪最优对枪位置,进而动态调整焊枪的三维坐标,显著提高中厚板多层多道焊接自动化水平、自适应性和焊接质量[13]。多层多道熔合线自动寻位方法流程如图 16所示。由图可知,首先通过三维线激光成像系统,在焊接过程中对坡口扫描实时成像;创建对枪寻位ROI, 利用多层多道焊道坐标(见图 14),获取当前层道理论位置,在理论位置周围截取矩形区域,作为对枪寻位ROI区域;ROI区域坡口曲线函数计算,ROI区域激光曲线经过去噪、中心线提取后,采用高阶多项式最小二乘拟合方式,拟合出ROI区域的坡口曲线所对应的函数公式。针对当前位置的水平程度以及与理论对枪位置的距离来搜索最优的对枪位置,同时修正对枪位置;对位置信息进行滤波操作,因为计算得到的最优对枪位置会受到多种干扰,可能高频跳动,但实际扫描中其应平缓变化。因此,实时算出最优对枪位置后,需经平滑滤波消除高频噪声,以获得更准确位置;计算机器人坐标系下焊枪最优位置。通过机器人手眼系统标定结果,将前述最优对枪位置转换为三维坐标,并转换至机器人本体坐标系下;控制机器人将焊枪移动至最优位置。利用机器人本体坐标系与焊枪坐标系之间的关系,通过机器人控制系统,控制焊枪移动至上述所计算的最优对枪三维坐标,完成一次寻位操作;焊枪前进过程中迭代寻优。在机器人带动焊枪前进过程中,上述步骤是循环进行的,直到当前道焊接完成机器人退回到初始焊接位置,层道累积器加1,执行下一道焊接,直到盖面焊接完成。
图 15 多层多道熔合线自动寻位方法流程图
图 16 自动寻位特征点的提取过程
自动寻位特征点的提取过程如图 16所示,首先进行激光线跟踪识别;然后根据多层多道排道规划和当前的层道信息,获取ROI区域;接着利用曲线拟合结合局部搜索获取梯度最优;最后利用当前帧图像中的熔合线位置,再通过激光平面公式转化为三维。当前层道理论位置及对枪寻位ROI,其中绿色点为已焊接完的理论位置,红色点为未焊接的理论位置,黄色点为当前焊接点的理论位置,红色方框为对枪寻位ROI区域。
本文利用曲线拟合和局部搜索获取梯度最优,其中拟合激光的局部曲线,高阶曲线多项式如式(15)所示,多项式的系数可构成A =(a0, a1, …, ak)。
$f(x)=a_0+a_1 x+\cdots+a_k x^k .$
高阶多项式需要拟合的点集可表示为{(x1, y1), (x2, y2), …, (xnum, ynum)},num为点的总数。采用最小二乘法进行多项式拟合寻找一组最佳的多项式系数使得拟合后整个点集的总误差最小,而求总误差最小的问题可以转化为求误差平方和最小,则目标函数为式(16)所示。
$R^2=\sum\limits_{i=1}^{\text {num }}\left[f(x)_i-\left(a_0+a_1 x_i+\cdots+a_k x_i^k\right)\right]^2 .$
假设矩阵X为Van der Monde矩阵。
$\boldsymbol{X}=\left(\begin{array}{cccc}1 & 1 & \cdots & 1 \\x_1 & x_2 & \cdots & x_{\text {num }} \\\vdots & \vdots & & \vdots \\x_1^k & x_2^k & \cdots & x_{\text {num }}^k\end{array}\right)\left(\begin{array}{c}y_1 \\y_2 \\\vdots \\y_{\text {num }}\end{array}\right)=\left(\begin{array}{c}\sum\limits_{i=0}^{\text {num }} y_i \\\sum\limits_{i=0}^{\text {num }} x_i y_i \\\vdots \\\sum\limits_{i=0}^{\text {num }} x_i^k y_i\end{array}\right) .$
X求导并令导数为零,Y =(y1, y2, …,ynum),则
$\boldsymbol{A}=\left(\boldsymbol{X} \boldsymbol{X}^{\mathrm{T}}\right)^{-1} \boldsymbol{X} \boldsymbol{Y} .$
任意点集可以显性地表示成高阶多项式f(x),可用求局部最优值的方式求解熔合线位置$\hat{x}$,其中T为对多项式设置的局部最优取值的范围。
$\hat{x}=\operatorname{argmin} \frac{\mathrm{d} f(x)}{\mathrm{d} x}, \quad \min \frac{\mathrm{~d} f(x)}{\mathrm{d} x} \in T .$
熔合线自动寻位的整体流程以工艺和多层多道自动化排道为基础。通过工艺规范提供理论基础,包括电流、电压、热输入等工艺参数的范围,计算多层多道自动化排道中焊道的熔敷量、熔敷宽度、焊道高度范围等。熔合线提取在多层多道自动化排道的基础上进一步获取每道焊枪的寻位点。该方法在工程项目的实际场景实现应用,基于激光传感器的内外弧板三维曲面、双面双弧实时跟踪自动熔合线寻位结果如图 17所示。图中展示了当前层道理论排道位置及对枪寻位ROI,其中绿色点为已焊接完的理论位置,红色点为未焊接的理论位置,黄色点为当前焊接点的理论位置,红色方框为对枪寻位ROI区域,红色轨迹线为坡口顶部左、右拐点的轨迹信息,蓝色线条为对枪的轨迹信息。
图 17 内外三维曲面的熔合线自动寻位

2.2.4 焊枪姿态实时修正

机器人自动化焊接系统实现多层多道熔合线自动寻位后,还需进一步引导焊枪姿态进行实时修正。焊枪末端角度为搭接点与坡口顶部左、右拐点组成角度的平分线上。通过手眼标定系统将图像中的焊枪搭接点和焊枪姿态角转化至焊枪三维坐标系中,实施焊接作业。
手眼标定可采用四点标定的方法[14],如图 18所示,通过激光图像识别坡口的4个特征点,控制焊枪到达4个目标点,在焊枪坐标系与激光坐标系之间建立映射关系,从而求解2个平面之间的坐标转换关系,激光图像识别搭建点后转换为焊枪坐标系下的三维坐标,最终实现焊枪的自动对枪功能。
图 18 四点标定控制算法示意图
上述焊缝特征识别、多层多道自动化排道、搭接点寻位以及焊枪姿态修正方法,可以在多层多道焊接过程中的任意层道时刻实时计算当前层道下焊枪的最优焊接指向位置,指引焊枪末端焊丝精确到达对应三维坐标位置,实时调整焊枪末端姿态,达到多层多道自动化焊接的目的。工程应用证明,其识别定位精度可达0.5 mm以内,抗干扰能力强,对多种层道搭接状态均具有良好的适应性,能够满足工程应用要求[15-16]

2.3 工艺参数自适应

实时焊接时,机器人自动化焊接系统实时获取焊缝形状,并获取当前焊道的多层多道排道规划,得到规划的最佳焊缝成型[17],并与当前焊缝形貌叠加生成当前焊道的二值化图像,获取时间序列的焊道成型作为焊接工艺参数预测LSTM模型输入,预测获取t时刻的工艺参数。在焊接工艺参数LSTM预测模型的基础上(见1.4节),预测的工艺参数如果超过一定范围可能会造成焊接缺陷,因此引入焊接参数阈值和变化度作为t时刻的工艺参数的判断条件,当焊接参数的变化度超出阈值时,对其进行保守化修正,保证焊接过程的稳定进行;工艺参数修正如式(20)所示,其中:ρ为工艺参数的变化度,λ为大于ρ的修正系数,${\rm{\bar Q}}$(t)表示对预测的工艺参数修正以后的输出,该输出作为当前焊接的最终的预设工艺参数。Q (t)表示经过LSTM模型后预测出的工艺参数,和式(2)含义相同,最终保证工艺参数的平稳调整。这里的保守化修正意味着采取相对谨慎的方式来调整参数,目的是尽可能地将焊接过程拉回到稳定状态,同时避免因为过度修正而引入新的问题。
$\overline{\boldsymbol{Q}}(t)=\rho \boldsymbol{Q}(t) / \lambda .$

2.4 多层多道调整系统

多层多道自动化排道主要针对中厚板焊接,若固定焊接路径及排布规则方式,则难以适应焊件本身因机械加工、装配造成的间隙变化,而且焊接过程中还存在热变形,因此需要根据焊缝三维信息进行多层多道自适应排道调整优化,保证每层焊道的平整度、保证盖面阶段留有足够的余量(更好保障坡口顶部拐点识别的稳定性)、保证每一层每一道的工艺参数和熔敷面积、宽度、高度等均能满足工艺规范。多层多道调整系统分为3种情况:填充阶段每层第一道调整、填充阶段的中间道调整、盖面阶段调整。

2.4.1 每层第一道调整

填充阶段每层第一道焊接前,需要根据实际焊接的形貌和剩余焊接熔敷量确定是否需要进行层道数的调整以及多层多道模型的更新。焊接过程中的模型可以通过激光跟踪的中心线提取焊缝当前位置及形状参数,建立焊接过程中的坡口模型;并通过激光中心线的积分算法获取待填充的面积信息。焊缝填充面积的计算方法如图 19所示,首先通过激光中心线提取方法获取当前的焊缝形貌信息,如红色线段所示,在此基础上获取当前焊缝的内部信息,如绿色封闭区域所示,根据该封闭区域可计算出剩余焊接的填充量。
图 19 焊接过程中的填充面积计算
从图像中计算面积后,进行坡口模型高度的确定。激光跟踪特征提取的信息包括激光中心线及焊缝4个特征点(顶部左、右拐点和底部左、右拐点),实时计算顶部左右拐点距离limg、左坡口角度α、右坡口角度β以及图像激光中心线与顶部拐点组成的闭合区域的面积Simg,实现坡口模型更新。获取焊缝的形貌信息及填充面积,当前焊缝的填充面积计算方法如式(21)所示,对式(21)进行求解变换后,即可计算坡口内部高度P,并实现坡口模型的更新,如式(22)所示。当前坡口模型的高度由P、盖面高度d之和组成。
$\begin{aligned}& S_{\mathrm{img}}=0.5 P_i^2 \tan \alpha+0.5 P_i^2 \tan \beta+ \\& \quad\left(l_{\mathrm{img}} P-P_i^2 \tan \alpha-P_i^2 \tan \beta\right) ;\end{aligned}$
$P=\frac{l_{\mathrm{img}}+\sqrt{l_{\mathrm{img}}-2(\tan \alpha+\tan \beta) S_{\mathrm{img}}}}{\tan \alpha+\tan \beta}, P>0 .$
针对当前的坡口模型,按照2.2节进行模型的层道规划和轨迹规划。某层焊道第一道的排道调整方法如图 20所示,通过特征点提取方法获取焊缝顶部左、右拐点(图中蓝色点),底部左、右拐点如图中黄色点所示,针对当前坡口调整后的坡口模型如绿色线段所示,多层多道排道如黄色线段所示。
图 20 每层第一道排道调整
不同层第一道调整系统中排道规划、熔接点位置及焊枪姿态角的效果如图 21所示,图中绿色线为建立的当前层的坡口模型,黄色线为多层多道轨迹,红色点为焊接时焊枪的搭接点,红色线为焊枪的姿态信息,此调整方法适合填充阶段的每层第一道的调整阶段。
图 21 不同层道排道规划及焊枪坐标姿态信息

2.4.2 填充中间道的调整

填充同一层其余焊道时采用同层同高的原则。以当前层已焊接点的最高点作为本层的高度,调整该层的模型,并从图像中计算重新调整的排道高度h与底部中心线围成的面积Si_leftover以及第i层剩余道数ni_leftover求得后续每道的填充面积Si_average,如式(23)所示,保证了同层的所有焊道高度一致。
$S_{i_{\text {_average }}}^{\prime}=S_{i_{\text {_leftover }}}^{\prime} / n_{i_{\text {_leftover }}} .$
填充阶段多层多道调整系统的过程如图 22所示,该阶段属于填充阶段已经完成第一道焊接,正在进行第二道焊缝填充。绿色线段为当前坡口模型,黄色线段为当前坡口的多层多道规划排道方式;识别当前焊道最高的位置如黄色点所示,以此为焊道高度位置进而实现本层排道的调整,如红色线段表示调整后的焊道高度。
图 22 填充阶段排道调整

2.4.3 盖面调整

为了保证焊接后的成型要求和焊缝质量,盖面阶段会有严格的焊缝高度范围,因此,盖面阶段的排道调整规范为整个盖面的高度与预设的焊缝余高一致,如图 23所示,绿色线段表示盖面阶段的坡口模型,黄色线段表示盖面阶段的焊道排布,盖面的中间道和盖面的第一道保持相同的盖面高度。盖面阶段计算焊缝余高和盖面成型余高后,计算整体填充量实现焊接轨迹的调整、焊接参数调整,焊枪的位置、姿态进行实时调整和实时纠偏。
图 23 盖面阶段保持盖面焊缝高度不变原则

3 多层多道自动化焊接验证

本文使用焊缝跟踪实时获取焊缝图像,识别焊缝中心线和关键特征点,并建立坡口模型。通过激光传感器标定数据建立坡口模型的填充量和图像填充面积的关系,确定多层多道自动化排道及调整系统。在这种机制下,焊接机器人可以在跟踪焊缝的机制过程中精确且快速地调整焊枪位置及姿态、焊接参数等信息并执行焊接任务,其效果如图 24所示,包含不同位置的排道规划、某一层焊接完成后的排道调整、不同阶段同层不同焊道的调整策略以及采用该方法第一道和最后盖面的成型效果。其中,不同坡口类型角焊缝示例的排道规划、对接焊缝示例中间道的调整效果、对接焊缝盖面的调整效果分别如图 24a24b24c所示,绿色线段为坡口模型,黄色线段为焊道排布,玫红色的点为规划的角焊缝焊枪搭接点,红色线段为当前道调整后的排道信息。某层第一道的调整效果如图 24d所示,机器人自动排道系统会根据当前焊缝的填充量重新调整坡口模型的高度及位置。图 24e24f为采用本文的自动化排道及调整系统在实际工程中的应用效果,从打底和盖面阶段来看,焊道成型均匀、平直,能够实现多层多道自动化焊接。
图 24 焊接验证效果
激光模块与焊枪位置存在前置距离,多层多道焊接前需要进行整机标定及焊枪跟踪精度的验证,如图 25所示,激光传感器前置时焊枪也能够非常精确地跟踪坡口的顶部上下拐点和熔接点位置。
图 25 激光引导焊枪姿态控制

4 结论

本研究围绕基于激光视觉传感的多层多道自动化排道技术展开,旨在解决大型结构件(例如中厚板)焊接过程中的诸多关键问题,提升焊接质量与效率,并推动焊接技术向智能化发展。通过一系列的理论分析、算法研发以及实验验证,获得如下结论:
1) 研发了基于深度学习模型的激光中心线提取算法,该算法具备轻量化的参数规模和较快的运算速度,且准确率、效率均能满足工程化需求。焊缝特征识别,采用两级定位方法进行拐点定位, 能在中厚板多层多道不同阶段准确定位关键特征点。焊道形貌特征提取和焊道与工艺参数关系的建立,为多层多道排道规划及工艺参数的实时预测提供了基础。
2) 依据焊缝特征建立坡口焊缝模型,实现多层多道布道规划,考虑焊接实际成型情况,规划每层每道的焊接路径,并将坐标原点选取与实际焊接过程相结合,这有利于排道模型的实时更新;提出了基于图像视觉分析的多层多道焊枪寻位方法,实时分析计算当前焊枪最优对枪位置并动态调整其三维坐标,对焊枪姿态进行实时修正,实现在焊接过程中实时调节焊枪位置和姿态,保证焊枪始终处于焊缝最优位置,满足工程应用的要求。预测焊接工艺参数的同时实现修正,优化焊接工艺参数的控制,保证焊接过程的稳定进行。
3) 构建多层多道排道调整系统,分为填充阶段每层第一道调整、填充阶段的中间道调整、盖面阶段调整3种情况。依据当前焊缝的形貌和剩余焊接熔敷量确定每层第一道数的层道数调整原则;填充中间道时以当前层已焊接点的最高点作为本层高度调整模型,保证了同层所有焊道高度一致;盖面调整时,以预设盖面高度为标准进行排道调整,确保焊后的成型和质量。
4) 在实际焊接验证中,焊接机器人能够在跟踪焊缝移动过程中精确且快速地调整焊枪位置及姿态、焊接参数等信息并执行焊接任务,不同位置的排道规划合理,各阶段各层道的焊缝成型均匀、平直。
焊接技术领域不断发展,未来可深入探讨多层多道自动排道及焊接参数调整的机理并优化相关算法,以完善技术的普适性应用,提高其对更复杂工况的适应能力、提升焊接精度以满足更高标准的工程需求等,持续完善该技术并拓展其应用范围。
1
冯消冰, 王建军, 王永科, 等. 面向大型结构件爬行机器人智能焊接技术[J]. 清华大学学报(自然科学版), 2023, 63 (10): 1608- 1625.

DOI

FENG X B , WANG J J , WANG Y K , et al. Intelligent welding technology for large structures crawling robot[J]. Journal of Tsinghua University(Science and Technology), 2023, 63 (10): 1608- 1625.

DOI

2
刘钊江, 马思乐, 戴昊飞, 等. 基于激光传感器的机器人自适应多层多道焊接[J]. 焊接, 2020 (08): 26- 32.

LIU Z J , MA S L , DAI H F , et al. Adaptive multi-layer multi-pass welding based on laser sensors[J]. Welding & Joining, 2020 (08): 26- 32.

3
黄继强, 盖守新, 薛龙, 等. 坡口偏差厚板机器人多道焊接方法[J]. 焊接学报, 2020, 41 (6): 60- 66.

HUANG J Q , GAI S X , XUE L , et al. Multi-pass welding strategy for thick plate with mismatched groove by robot[J]. TRANSACTIONS OF THE CHINA WELDING INSTITUTION, 2020, 41 (6): 60- 66.

4
胡啸, 崔川, 陈纬, 等. 厚板大坡口多层多道焊接轨迹规划算法[J]. 热加工工艺, 2022, 51 (15): 102- 106.

HU X , CUI C , CHEN W , et al. Trajectory planning algorithm for thick plate multi-layer multi-pass welding with large groove[J]. Hot Working Technology, 2022, 51 (15): 102- 106.

5
MA Y K , FAN J F , YANG H Z , et al. An efficient and robust complex weld seam feature point extraction method for seam tracking and posture adjustment[J]. IEEE Transactions on Industrial Informatics, 2023, 19 (11): 10704- 10715.

6
冯消冰, 何金龙, 刘爱平. 激光中心线的提取方法: 202211044476.6[P]. 2022-08-30.

FENG X B, HE J L, LIU A P. Method for extracting laser centerlines: 202211044476.6[P]. 2022-08-30. (in Chinese)

7
冯消冰, 刘爱平. 焊道信息获取方法及装置、焊接系统: 202310073411.2[P], 2023-01-13.

FENG X B, LIU A P. Method and device for obtaining weld information, and welding system: 202310073411.2[P]. 2023-01-13. (in Chinese)

8
晏婕. 基于深度学习的视频帧序列预测算法研究[D]. 长春: 吉林大学, 2023.

YAN J. Research on video frame sequence prediction algorithm based on deep learning[D]. Changchun: Jilin University, 2023. (in Chinese)

9
黄喜阳, 杜庆治, 龙华, 等. 基于MFCC特征融合的语音情感识别算法[J]. 陕西理工大学学报(自然科学版), 2023, 39 (04): 17- 25.

HUANG X Y , DU Q Z , LONG H , et al. Speech emotion recognition algorithm based on MFCC feature fusion[J]. Journal of Shaanxi University of Technology(Natural Science Edition), 2023, 39 (4): 17- 25.

10
曹学鹏, 脱帅华, 张弓, 等. 焊接机器人焊缝跟踪方法及路径规划研究[J]. 工程科学与技术, 2022, 54 (2): 196- 204.

CAO X P , TUO S H , ZHANG G , et al. Research on welding seam tracking method and path planning of welding robot[J]. Advanced Engineering Sciences, 2022, 54 (2): 196- 204.

11
冯消冰, 刘爱平. 多层多道焊接方法、装置、处理器和焊接系统: 202310070213.0 [P]. 2023-01-13.

FENG X B, LIU A P. Multi-layer multi-pass welding method, and device, processor and welding system: 202310070213.0 [P]. 2023-01-13. (in Chinese)

12
何成刚, 郑衡, 丁克, 等. 基于机械臂辅助的多视角三维点云拼接算法[J]. 激光与光电子学进展, 2023, 60 (20): 2015001.

HE C G , ZHENG H , DING K , et al. Multi-view 3D point cloud stitching algorithm based on robotic arm assistance[J]. Laser & Optoelectronics Progress, 2023, 60 (20): 2015001.

13
冯消冰, 闫佳, 刘爱平. 焊接装置的控制方法、控制器以及焊接系统: 202310065726.2 [P]. 2023-01-13.

FENG X B, YAN J, LIU A P. Control method of welding device, controller and welding system: 202310065726.2 [P]. 2023-01-13. (in Chinese)

14
ZENG J, CAO G Z, LI W B, et al. An algorithm of hand-eye calibration for arc welding robot[C]//2019 16th International Conference on Ubiquitous Robots (UR). Jeju, Korea (South): IEEE, 2019: 1-6.

15
冯消冰, 刘爱平, 闫佳. 焊枪末端偏差校准方法、装置、存储介质与电子设备: 202311844658.6 [P]. 2023-12-28.

FENG X B, LIU A P, YAN J. Welding gun tail end deviation calibration method and device, storage medium and electronic equipment: 202311844658.6 [P]. 2023-12-28. (in Chinese)

16
YANG P W , LEI T , WU C Q , et al. A fast calibration of laser vision robotic welding systems using automatic path planning[J]. IEEE Transactions on Instrumentation and Measurement, 2022, 71, 7505610.

17
王天琪, 张树浩, 龙斌, 王克宽. 中厚板多层多道焊视觉测量与工艺规划[J]. 天津工业大学学报, 2024, 43 (03): 75- 81.

WANG T Q , ZHANG S H , LONG B , WANG K K . Visual measurement and process planning of multi-layer and multi-pass welding of medium and heavy plate[J]. Journal of Tiangong University, 2024, 43 (03): 75- 81.

文章导航

/