Chinese  |  English

Journal of Tsinghua University(Science and Technology) >

2025 , Vol. 65 >Issue 7: 1359 - 1367

DOI: https://doi.org/10.16511/j.cnki.qhdxxb.2025.26.026

Civil Engineering

Accurate measurement method for segment dislocation using binocular vision

  • Zhenchang GUAN , 1 ,
  • Dong CHEN 1 ,
  • Mingze XU 2 ,
  • Yin LIU 2 ,
  • Chao XU 3
Expand
  • 1. College of Civil Engineering, Fuzhou University, Fuzhou 350116, China
  • 2. Shanghai Jianke Engineering Consulting Co., Ltd., Shanghai 200032, China
  • 3. CCCC Second Harbor Engineering Co., Ltd., Wuhan 430040, China

Received date: 2024-06-30

  Online published: 2025-06-26

Copyright

All rights reserved. Unauthorized reproduction is prohibited.
Fold

Abstract

Objective: The phenomenon of segment dislocation is prevalent in shield tunnel lining, thereby affecting the structural safety and service performance of tunnels in severe scenarios. Manual measurement of segment dislocation is subjective and time-consuming, while automated methods, such as 3D laser scanners, are not only expensive but also susceptible to environmental conditions. In recent years, advancements in camera technology and deep learning algorithms have significantly propelled the development of computer vision applications in civil engineering monitoring and inspection. Binocular vision technology has been utilized in crack detection and engineering quality evaluation due to its cost-effectiveness and reliable accuracy. This study introduces binocular vision technology to enable accurate measurement of segment dislocation. Methods: The internal and external parameters of consumer-grade binocular cameras are initially obtained through a calibration experiment, followed by capturing binocular images of the segment joints. The accurate disparity information between the left and right images is further calculated using a deep-learning stereomatching algorithm. Finally, a camera attitude correction method is proposed to calculate the segment dislocation accurately. The primary challenge in camera attitude correction is determining key points on the segment surface without evident texture features. Therefore, a series of image processing techniques, such as graying, binarization, dilation, erosion, and target localization, are initially employed on the left photo to automatically identify the location of the segment joint. Then, the parallel thinning algorithm is applied to extract the skeleton of the segment joint (reduce the segment joint width from multi-pixel to single-pixel). The pixel coordinate data along the skeleton are extracted, and the least squares method is used to fit a straight line to the skeleton. Furthermore, the straight lines are shifted and flipped to form latitude and longitude lines, allowing the pixel and camera coordinates of the crossing point (key point) to be calculated in accordance with the triangulation principle. Finally, the segment coordinate system is established using these key points, and the actual segment dislocation is computed. Results: Field tests on the construction site of the shield tunnel were carried out to evaluate the efficiency of the proposed approach. Results were drawn as follows: (1) The calculation results from the vertical shooting of the binocular camera, after camera attitude correction, showed better consistency than the segment dislocation measurement via weld seam gauging. The specific performance demonstrated that the absolute error did not exceed 1.0 mm, and the overall processing time for the segmented image was approximately 10.00 s. (2) In multiple rounds of tests with left-leaning or right-leaning shooting scenarios, when the attitude angles of camera coordinate system relative to the segment coordinate system around its own Xc axis and Yc axis were in the ranges of(180.00±15.00)° and ±20.00°, respectively, the proposed method effectively corrected the calculation results with strong robustness. Conclusions: By combining deep learning algorithms with traditional image processing techniques, binocular vision technology is used to achieve rapid and accurate measurement of segment dislocation. This approach provides a reference for tunnel engineering inspection.

Key words： shield tunnel; segment dislocation; binocular vision; stereo matching algorithm; camera attitude correction

Cite this article

Zhenchang GUAN , Dong CHEN , Mingze XU , Yin LIU , Chao XU . Accurate measurement method for segment dislocation using binocular vision[J]. Journal of Tsinghua University(Science and Technology), 2025 , 65(7) : 1359 -1367 . DOI: 10.16511/j.cnki.qhdxxb.2025.26.026

盾构法具有自动化程度高、地层适应性强和对地面交通干扰小等优势，已广泛应用于各类交通隧道工程。盾构隧道衬砌由预制管片通过螺栓拼装而成，受各种荷载和地质条件等因素影响，施工期和运营期普遍存在管片错台现象，严重时可能引发衬砌开裂和渗漏水等问题，影响衬砌结构安全和服役性能[1]。
目前，精确检测管片错台主要有人工检测和自动化检测2种方法。人工检测通常采用塞尺和焊缝规等传统工具进行测量；自动化检测则大多采用激光扫描技术或其他传感器技术进行测量。莫伟樑等[2]和Bin等[3]分别采用光频域反射(optical frequency domain reflectometry, OFDR)技术和Brillouin光频域分析(Brillouin optical frequency domain analysis, BOFDA)技术，确定光纤传感器产生的应变与错台变形量之间关系，进而计算错台量。刘新根等[4]基于斜射式激光三角法原理和成像原理推导出错台量理论计算公式，实现了错台量快速检测；赵先琼等[5]先利用二维扫描仪采集了隧道管片点云数据, 并将其沿隧道中轴线展开为正射投影二维图像，然后采用图像边缘检测算法提取稠密侧与稀疏侧接缝，并以此为基准计算错台量。文[6-7]采用随机抽样一致性(random sample consensus, RANSAC)算法，对三维激光扫描仪获取的错台两侧区域局部点云数据进行平面拟合，计算错台量。
近年来，随着相机设备和深度学习算法的发展，计算机视觉技术在土木工程监测和检测领域发展迅速[8-9]。其中，双目视觉测量技术可准确计算目标物的空间位置信息，已应用于土木工程领域裂缝检测和工程质量评估等方面。Pan等[10]和Kim等[11]分别应用同一焦距型号和不同焦距型号的相机对混凝土结构进行三维重建，实现了裂缝精确检测；Cheng等[12]识别桥梁预制构件表面粘贴的特定标识物，并建立构件坐标系，通过求解不同构件坐标系之间的转换关系，实现桥梁预制构件的现场安装指导。Kardovskyi等[13]采用掩膜区域卷积神经网络(mask region-based convolutional neural network, Mask R-CNN)[14]检测和分割钢筋，进而利用双目相机准确测量钢筋的间距、直径和长度。
综上所述，人工检测方法存在主观性强等问题，影响检测结果的可靠性；自动化检测方法对于检测整环管片错台量具有一定优势，但成本较高且易产生冗余数据，使其应用和推广受限。而双目视觉测量技术在一定程度上能够满足低成本和高精度的工程实践要求。由于双目视觉测量技术能够专注于待检测目标区域和具备高效的数据处理能力，因此本文将该技术应用于盾构隧道管片错台测量。首先，利用深度学习立体匹配算法计算管片双目图像的视差信息；其次，提出相机姿态修正方法，以精确计算管片错台量；最后，对比了双目视觉计算结果与焊缝规实测结果。

1 基于双目视觉的相机坐标测量

1.1 单目相机模型及内参

单目相机成像过程通常涉及相机坐标系Oc-XcYcZc(单位：mm)、图像坐标系Of-XfYf(单位：mm)与像素坐标系Op-UpVp(单位：pixels)之间的转换。
各坐标系的空间位置关系如图 1所示。其中：相机坐标系原点Oc位于镜头光心，Zc轴为光轴方向，Xc轴和Yc轴分别与成像平面I的2条边平行；图像坐标系以光轴在I上的投影点Of为原点，Xf轴和Yf轴分别与Xc轴和Yc轴平行，且方向相同；像素坐标系原点Op位于I左上角，Up轴和Vp轴分别与Xf轴和Yf轴平行，且方向相同；f为相机焦距(Oc与Of之间的距离)；假设空间任意目标点M在相机坐标系中的坐标为Mc(xc，yc，zc)，投影在像素坐标系中的坐标为Mp(up，vp)。
图 1 单目相机模型
本文基于针孔成像原理建立相机坐标系与图像坐标系之间的联系。同时，由于图像坐标系与像素坐标系同处于二维成像平面，因此可通过缩放和平移完成2种坐标系之间的相互转换。相机坐标系与像素坐标系之间的关系表示如下：
$ \begin{gathered}z_{\mathrm{c}}\left[\begin{array}{l}u_{\mathrm{p}} \\v_{\mathrm{p}} \\1\end{array}\right]=\left[\begin{array}{ccc}1 / d_x & 0 & u_{\mathrm{p}, 0} \\0 & 1 / d_y & v_{\mathrm{p}, 0} \\0 & 0 & 1\end{array}\right]\left[\begin{array}{lll}f & 0 & 0 \\0 & f & 0 \\0 & 0 & 1\end{array}\right]\left[\begin{array}{l}x_{\mathrm{c}} \\y_{\mathrm{c}} \\z_{\mathrm{c}}\end{array}\right]= \\{\left[\begin{array}{ccc}f_x & 0 & u_{\mathrm{p}, 0} \\0 & f_y & v_{\mathrm{p}, 0} \\0 & 0 & 1\end{array}\right]\left[\begin{array}{l}x_{\mathrm{c}} \\y_{\mathrm{c}} \\z_{\mathrm{c}}\end{array}\right] .}\end{gathered} $
其中：dx和dy分别为单个像素在Xf轴和Yf轴方向的物理长度；(up，0，vp，0)为Of在像素坐标系中的坐标；fx= f/dx和fy=f/dy分别为Xf轴和Yf轴方向的等效焦距。up，0、vp，0、fx和fy均为相机内参，可由相机标定得到。

1.2 双目相机模型及外参

由式(1)可知，Mc(xc，yc，zc)在单目相机模型投影过程中损失了深度信息zc，无法凭一张图像确定目标点M的准确位置。本文采用2个完全相同的单目相机模型建立双目相机模型，如图 2所示。其中：下标L和R分别代表左和右；b为左右相机光心之间的基线距离；M在左右相机坐标系中的坐标分别为Mc，L(xc，L，yc，L，zc，L)和Mc，R(xc，R，yc，R，zc，R)，在左右相机成像平面IL和IR的投影像素点分别为Mp，L(up，L，vp，L)和Mp，R(up，R，vp，R)。
图 2 双目相机模型
左右相机坐标系之间的关系表示如下：
$\left[\begin{array}{c}x_{\mathrm{c}, \mathrm{~L}} \\y_{\mathrm{c}, \mathrm{~L}} \\z_{\mathrm{c}, \mathrm{~L}} \\1\end{array}\right]=\left[\begin{array}{cc}\boldsymbol{R}_{3 \times 3} & \boldsymbol{T}_{3 \times 1} \\\mathbf{0}^{\mathrm{T}} & 1\end{array}\right]\left[\begin{array}{c}x_{\mathrm{c}, \mathrm{R}} \\y_{\mathrm{c}, \mathrm{R}} \\z_{\mathrm{c}, \mathrm{R}} \\1\end{array}\right] .$
其中：R3×3和T3×1分别为左右相机之间的旋转矩阵和平移矩阵，均为相机外参，表征2个相机之间的相对位置关系，可由相机标定得到；0 T=[0, 0, 0]为元素全为0的1×3行向量。
根据三角形McOc，L Oc，R与McMp，LMp，R的相似性，目标点M的深度信息zc表示如下：
$ z_{\mathrm{c}}=\frac{f_x \cdot b}{u_{\mathrm{p}, \mathrm{~L}}-u_{\mathrm{p}, \mathrm{R}}}=\frac{f_x \cdot b}{d} . $
其中d为视差。
将式(3)带入式(1)，目标点M的准确位置表示如下：
$\left\{\begin{array}{l}x_{\mathrm{c}}=\frac{b \cdot\left(u_{\mathrm{p}, \mathrm{~L}}-u_{\mathrm{p}, 0}\right)}{d}, \\y_{\mathrm{c}}=\frac{f_x \cdot b \cdot\left(v_{\mathrm{p}, \mathrm{~L}}-v_{\mathrm{p}, 0}\right)}{d \cdot f_y} .\end{array}\right.$

1.3 双目图像立体匹配

由式(3)和(4)可知，d对于准确恢复M的相机坐标具有关键作用。寻找同一M在IL和IR的投影像素点是双目视觉测量的关键，此过程称为立体匹配。
衬砌管片表面色彩相似且缺乏独特的视觉特征，属于典型弱纹理对象，如图 3所示。针对此类对象，传统的半全局优化(semi-global matching, SGM)算法[15]、图割(graph cut, GC)法[16]和绝对误差和(sum of absolute differences, SAD)[17]算法等在匹配过程中存在很大困难。SGM作为立体匹配算法的典型代表首先通过水平Sobel算子预处理图像中所有像素；其次，计算IL与IR像素点之间的相似度和视差变化程度，同时采用动态规划策略避免重复计算；最后，利用左右一致性检测等方法输出视差结果。
图 3 管片错台双目图像
本文利用SGM算法处理生成的视差图(根据视差大小赋予色彩信息)，如图 4a所示。左侧深蓝色区域表示最大视差搜索范围，即在预先设定的视差范围内寻找最佳像素匹配点；蓝色斑点区域表示像素在匹配过程中出现匹配失效或误匹配情况。传统立体匹配算法通常需根据具体应用场景和需求调整相关参数。
图 4 立体匹配算法对比
基于深度学习的立体匹配算法借鉴传统立体匹配算法的基本框架，在训练阶段学习大量左右图像对(训练集)，以保留和优化网络权重，最终实现对输入的左右图像对(测试集)进行视差预测，并输出视差结果。其中，级联递归立体匹配网络(cascaded recurrent stereo matching network, CREStereo)[18]通过设计递归更新模块在各级联级别上独立计算每个特征图的相关性，并在多次迭代过程中精细化特征和预测视差。此外，还采用堆叠级联架构对输入图像进行下采样，构建图像金字塔，并输入特征提取网络，以获取不同分辨率的特征信息[19]。同时，针对复杂场景引入合成数据集进行训练，以提升算法在实际应用中的适应性和鲁棒性。由于CREStereo处理此类对象时能准确恢复图像的视差信息，并较好地保留图像细节，如图 4b所示，因此本文选用CREStereo算法获取管片图像视差。

2 考虑相机姿态修正的管片错台精确测量

2.1 相机姿态与管片错台量

管片错台测量方法如图 5所示，拍摄管片图像过程中相机Yc轴与隧道中轴线方向保持一致(此处不考虑相机Yc轴偏转对管片错台测量的影响)。其中：Δx为管片错台量，指管片1与2在接缝处的相对竖向位移，具体表现为管片表面2关键点Mc，1与Mc，2沿接缝方向有一定的错位；接缝处的管片切平面为与接缝方向垂直的平面。
图 5 管片错台测量示意图
若相机坐标系(理想)Xi，cOi，cYi，c平面与接缝处的管片切平面平行(正对接缝)，则Δx为Mc，1与Mc，2在深度方向(沿相机坐标系Zi，c轴方向)的差值。由于实际拍摄过程中，难以保证相机坐标系(实际)Xa，cOa，cYa，c平面正对接缝，因此Mc，1与Mc，2在深度方向的差值并不能准确表征Δx。针对上述问题，本文使用消费级双目相机采集管片错台图像，并进行图像处理，将实际状态的相机姿态修正为理想状态，以实现精确测量管片错台, 测量流程如图 6所示。
图 6 基于双目视觉的管片错台精确测量流程

2.2 关键点选取

由于相机姿态修正实质上是不同坐标系之间的旋转变换，因此可在某一管片表面选取3个非共线关键点构建管片坐标系Os-XsYsZs(单位：mm)，通过求解相机坐标系与管片坐标系之间的旋转矩阵修正相机姿态。
由于采用CREStereo算法输出的视差结果是以输入的原始左目图像为参考，在其对应像素位置存储视差数据，因此本文灰度化处理(去除颜色信息)管片左目图像，将其转换为只保留亮度信息的单通道灰度图，如图 7a所示。
图 7 图像处理流程
二值化处理灰度图，接缝区域的像素值转换为255(白色)。除接缝区域外，其他白色区域和白色区域出现的小型黑色孔洞均称为噪声。由于形态学膨胀操作能填充白色区域的黑色孔洞，形态学腐蚀操作能消除较小的白色区域，因此本文构建所有元素均为1的3×3模板矩阵，结合膨胀与腐蚀操作，进行多轮迭代，消除二值化图像中的小型噪声干扰，保持较大白色区域的连通，处理结果如图 7b所示。
统计剩余白色区域面积(区域内像素点数量) Si(i=1，2，…，n，其中n为白色区域总数)，同时寻找白色区域最外层轮廓像素沿Up轴和Vp轴方向的最大值和最小值，绘制白色区域外接矩形，并记录外接矩形顶点坐标。由于相对管片而言，接缝呈狭长凹槽形状，因此本文分别设定Si和外接矩形长宽比阈值进行区域筛选，以实现接缝区域目标定位，如图 7c所示。
将矩形区域外的非目标区域填充为黑色，并采用并行细化算法提取管片接缝骨架。该过程基于白色区域的外层轮廓，以迭代腐蚀方式逐步去除接缝区域边缘符合特定条件的像素，直至将原来多像素宽度缩减至单一像素宽度，如图 7d所示。
输出骨架上所有像素坐标信息，采用最小二乘法进行直线拟合，得到直线在图像上下边缘的像素坐标(up，1，vp，1)和(up，2，vp，2)，绘制接缝直线，如图 7e所示，其方程描述为vp=k(up－up，1)+vp，1，其中k为接缝直线斜率。
将接缝直线沿Up轴方向分别移动u′ p，1、u′ p，2和u′ p，3像素得到经线vp-1、vp-2和vp-3；将垂直翻转后的接缝直线沿Vp轴方向分别移动v′ p，1和v′ p，2像素得到纬线vp-4和vp-5。相关直线方程分别表示如下：
$ \left\{\begin{array}{l}v_{\mathrm{p}-1}=k\left(u_{\mathrm{p}}-u_{\mathrm{p}, 1}+u_{\mathrm{p}, 1}^{\prime}\right)+v_{\mathrm{p}, 1}, \\v_{\mathrm{p}-2}=k\left(u_{\mathrm{p}}-u_{\mathrm{p}, 1}-u_{\mathrm{p}, 2}^{\prime}\right)+v_{\mathrm{p}, 1}, \\v_{\mathrm{p}-3}=k\left(u_{\mathrm{p}}-u_{\mathrm{p}, 1}+u_{\mathrm{p}, 3}^{\prime}\right)+v_{\mathrm{p}, 1}, \end{array}\right. $
$ \left\{\begin{array}{l}v_{\mathrm{p}-4}=-\frac{1}{k}\left(u_{\mathrm{p}}-u_{\mathrm{p}, 1}\right)+v_{\mathrm{p}, 1}+v_{\mathrm{p}, 1}^{\prime}, \\v_{\mathrm{p}-5}=-\frac{1}{k}\left(u_{\mathrm{p}}-u_{\mathrm{p}, 1}\right)+v_{\mathrm{p}, 1}+v_{\mathrm{p}, 2}^{\prime} .\end{array}\right. $
联立式(5)和(6)，计算经线与纬线相交处的像素坐标，并加以标识，如图 7f所示。选取管片1图像中的Mp，A、Mp，B、Mp，C和管片2图像中的Mp，D作为关键点。

2.3 坐标转换与真实错台量

本文采用双目视觉测量方法准确计算4个关键点的相机坐标，分别记为Mc，A、Mc，B、Mc，C和Mc，D。以Mc，A为原点，Mc，AMc，B为Xs轴正方向，Mc，AMc，C为Ys轴正方向，Mc，AMc，B与Mc，AMc，C右手叉乘方向为Zs轴正方向，构建管片坐标系。
假设Mc，A、Mc，B和Mc，C在管片坐标系中的坐标分别为Ms，A、Ms，B和Ms，C，则关键点构成的向量在相机坐标系和管片坐标系中分别表示如下：
$ \left\{\begin{array}{l}\boldsymbol{\alpha}_1=M_{\mathrm{c}, \mathrm{~A}} M_{\mathrm{c}, \mathrm{~B}} /\left\|M_{\mathrm{c}, \mathrm{~A}} M_{\mathrm{c}, \mathrm{~B}}\right\|, \\\boldsymbol{\alpha}_2=M_{\mathrm{c}, \mathrm{~A}} M_{\mathrm{c}, \mathrm{C}} /\left\|M_{\mathrm{c}, \mathrm{~A}} M_{\mathrm{c}, \mathrm{C}}\right\|, \\\boldsymbol{\alpha}_3=\boldsymbol{\alpha}_1 \times \boldsymbol{\alpha}_2, \end{array}\right. $
$ \left\{\begin{array}{l}\boldsymbol{\beta}_1=M_{\mathrm{s}, \mathrm{~A}} M_{\mathrm{s}, \mathrm{~B}} /\left\|M_{\mathrm{s}, \mathrm{~A}} M_{\mathrm{s}, \mathrm{~B}}\right\|, \\\boldsymbol{\beta}_2=M_{\mathrm{s}, \mathrm{~A}} M_{\mathrm{s}, \mathrm{C}} /\left\|M_{\mathrm{s}, \mathrm{~A}} M_{\mathrm{s}, \mathrm{C}}\right\|, \\\boldsymbol{\beta}_3=\boldsymbol{\beta}_1 \times \boldsymbol{\beta}_2 .\end{array}\right. $
其中：α1、α2和α3均为相机坐标系中的单位向量；β1、β2和β3均为管片坐标系中的单位向量。
相机坐标系与管片坐标系的旋转关系表示如下：
$ \begin{aligned}\boldsymbol{R}_{3 \times 3}^{\prime}= & {\left[\begin{array}{lll}\boldsymbol{\beta}_1 & \boldsymbol{\beta}_2 & \boldsymbol{\beta}_3\end{array}\right]\left[\begin{array}{lll}\boldsymbol{\alpha}_1 & \boldsymbol{\alpha}_2 & \boldsymbol{\alpha}_3\end{array}\right]^{-1}=} \\& {\left[\begin{array}{lll}r_{1, 1} & r_{1, 2} & r_{1, 3} \\r_{2, 1} & r_{2, 2} & r_{2, 3} \\r_{3, 1} & r_{3, 2} & r_{3, 3}\end{array}\right] \cdot }\end{aligned} $
其中：R ′ 3×3为相机坐标系与管片坐标系之间的旋转矩阵；ri，j(i = 1，2，3，j = 1，2，3)为旋转矩阵R ′ 3×3中对应元素。相机坐标系相对管片坐标系的姿态变化量表示如下：
$ \left\{\begin{array}{l}\theta_x=\arctan \left(r_{3, 2}, r_{3, 3}\right) \\\theta_y=\arctan \left(-r_{3, 1}, \sqrt{r_{3, 2}^2+r_{3, 3}^2}\right) \\\theta_z=\arctan \left(r_{2, 1}, r_{1, 1}\right)\end{array}\right. $
其中θx、θy和θz分别为相机坐标系相对于管片坐标系绕其Xc、Yc和Zc轴的旋转姿态角。
关键点Mc，A与Mc，D在姿态修正后的相机坐标系中的各轴坐标差值表示如下：
$\left[\begin{array}{l}\delta_x \\\delta_y \\\delta_z\end{array}\right]=\boldsymbol{R}_{3 \times 3}^{\prime}\left(M_{\mathrm{c}, \mathrm{~A}}-M_{\mathrm{c}, \mathrm{D}}\right) .$
其中δx、δy和δz分别为3个坐标分量的差值。
Δx表示如下：
$\Delta x=\left|\delta_z\right| .$

3 工程应用案例

3.1 双目相机标定

本文使用Stereolabs公司的消费级ZED 2i双目相机，视场范围为110°(水平视场角H)×70°(垂直视场角V)×120°(对角线视场角D)，基线距离为120.0 mm，图像采集分辨率为1 920 pixels×1 080 pixels；使用12×9黑白棋盘格标定板进行标定，每个棋盘格尺寸为20.0 mm×20.0 mm；相机保持固定，通过改变标定板的位置和角度拍摄多对标定板图像；采用张正友标定算法求解双目相机内外参数[20]，如表 1所示。
表 1 双目相机内外参数
左相机内参/pixels 右相机内参/pixels 左右相机位置关系
up，L，0=965.904 up，R，0=970.868 $\boldsymbol{R}_{3 \times 3}=\left[\begin{array}{lll}1.0000 & 0.0006 & 0.0046 \\-0.0005 & 1.0000 & -0.0009 \\-0.0046 & 0.0009 & 1.0000\end{array}\right]$
vp，L，0=548.941 vp，R，0=530.552
fx，L=1 065.156 fx，R=1 065.982
fy，L=1 066.241 fy，R=1 067.449 T3×1=[120.076 00.045 8－0.202 8]T
本文根据标定的双目相机内外参数，计算相机的平均重投影误差和单对图像的最大重投影误差，结果如图 8所示，计算结果表明所选相机可应用于工程实践测量。
图 8 双目相机重投影误差

3.2 错台实测结果与计算结果

本文以福州地铁滨海快线某区间隧道的管片错台为研究对象，管片错台实测结果与双目视觉计算结果如表 2所示。现场测量时，首先沿接缝处间隔约100.0 mm绘制垂直管片边缘标记，共标记6处测量点位；其次，利用测量精度为±0.1 mm的焊缝规在各测量点位分别测量4次，如图 9所示；最后，记录测量结果，并求平均值作为该测点处的错台量。本文利用双目相机距离管片约600.0 mm采集图像，具体形式包括正对接缝、左侧倾斜和右侧倾斜拍摄，如图 10所示。
表 2 管片错台实测结果与双目视觉计算结果对比
测点 焊缝规 双目相机 绝对误差 θx θy θz
实测值/mm 均值/mm 未修正/mm 修正/mm mm (°) (°) (°)
1 9.1 8.9 9.0 8.5 8.9 12.2 8.2 0.7 169.38 2.57 178.59
2 9.0 8.9 8.6 9.0 8.9 12.3 8.9 0 167.70 3.04 178.63
3 9.4 9.0 8.9 9.2 9.1 13.2 9.0 0.1 169.46 3.22 179.09
4 9.0 9.2 9.2 9.4 9.2 14.2 9.7 0.5 169.65 2.59 178.19
5 9.4 9.2 9.6 9.6 9.5 14.7 9.8 0.3 170.77 2.59 177.86
6 9.8 9.8 10.0 9.6 9.8 15.5 10.0 0.2 174.33 3.13 177.31
图 9 管片错台的现场测量
图 10 双目相机现场测量示意图
本文尽可能正对接缝采集该处管片错台图像，如图 11所示。采用本文所提方法获得(up，1，vp，1)和(up，2，vp，2)像素坐标分别为(1 054.865，0) 和(1 082.214，1 080.000)，k=39.489，接缝直线方程为vp=39.489(up-1 054.865)；经线方程为vp - 1= 39.489(up-1 054.865+60.000)、vp - 2=39.489 (up－1 054.865-70.000)和vp - 3=39.489(up－1 054.865+120.000)；纬线方程为vp - 4=-0.025(up－1 054.865) 和vp - 5=-0.025(up－1 054.865)+330.000。基于经线方程、纬线方程和相机内外参数分别计算关键点的像素坐标和相机坐标，如表 3所示。此外，以关键点Mc，A的相机坐标为基准采集图像时，相机与管片间的距离为598.3 mm。利用关键点的相机坐标计算各点位错台量，并对比焊缝规测量结果。对比结果表明，测点1—6的计算结果与焊缝规实测结果较一致；但未修正的计算结果与实测结果偏差较大(超过3.0 mm)，而修正后的计算结果与实测结果的绝对误差不超过1.0 mm，表明修正相机姿态非常必要。其中，各点位姿态角θx、θy和θz分别接近180.00°、0°和180.00°，说明相机基本正对接缝拍摄。在计算效率方面，测点1—6的计算总耗时仅为10.40 s，说明本文所提方法可有效提高管片错台检测效率。
图 11 管片错台双目图像(正对拍摄)
表 3 关键点坐标
测点 像素坐标 相机坐标
Mp，A/pixels Mp，D/pixels Mc，A/mm Mc，D/mm
1 (998.612, 141.493) (1 128.577, 140.983) (18.0, -223.7, 598.3) (89.0, -220.8, 586.1)
2 (1 003.507, 335.440) (1 133.464, 334.099) (21.6, -122.0, 622.7) (95.5, -121.1, 610.4)
3 (1 008.384, 528.378) (1 138.346, 526.805) (25.4, -11.5, 644.9) (102.1, -13.0, 631.7)
4 (1 012.245, 680.806) (1 142.205, 679.237) (28.7, 81.5, 663.5) (107.2, 77.3, 649.3)
5 (1 015.842, 822.972) (1 145.802, 821.403) (31.2, 172.3, 678.3) (111.4, 166.1, 663.7)
6 (1 020.345, 1 000.674) (1 150.307, 999.109) (35.3, 290.7, 695.4) (117.3, 281.7, 679.9)

3.3 相机姿态影响

由相机视场范围和图 10可知，双目相机正对接缝拍摄时，姿态角θz实际影响关键点xc和yc坐标值，并不影响深度方向测量结果；采用其他相机姿态采集管片错台图像时，受透视效应影响，相机在接缝左侧倾斜和右侧倾斜的拍摄结果如图 12所示。
图 12 管片错台双目图像
双目视觉计算结果与实测结果对比如图 13所示，相机在接缝左侧倾斜和右侧倾斜时，未经姿态修正的计算结果与实测结果偏差较大；未修正的左侧倾斜计算结果整体低于实测结果，而未修正的右侧倾斜计算结果整体略高。
图 13 双目视觉计算结果与实测结果对比(倾斜拍摄)
本文通过多轮不同相机姿势的拍摄和后续修正，认为当姿态角θx和θy分别处于(180.00± 15.00)°和±20.00°范围时，经修正后，利用双目相机计算的错台数据与焊缝规实测数据基本吻合，表明本文所提方法鲁棒性较强。

4 结论

本文针对盾构隧道管片错台检测存在的耗时、高成本和高精度要求等问题，提出了一种基于双目视觉的管片错台精确测量方法。以福州地铁滨海快线某区间隧道管片错台为研究对象，采用深度学习立体匹配算法获取管片接缝附近关键点的相机坐标，并建立了管片坐标系；通过求解管片坐标系与相机坐标系的转换关系，提出了相机姿态修正方法，以实现快速、经济和高精度检测管片错台。主要得出如下结论：对于表面色彩相似性高和缺乏独特视觉特征的管片图像，基于深度学习的CREStereo算法相较于传统立体匹配算法(SGM等)能准确恢复管片双目图像视差信息，并较好地保留图像细节信息。当相机正对管片接缝测量时，未经相机姿态修正的计算结果与焊缝规实测结果偏差超过3.0 mm；而经相机姿态修正的计算结果与实测结果较一致，绝对误差不超过1.0 mm。将相机姿态修正方法应用于相机倾斜拍摄情形，当相机坐标系相对于管片坐标系绕其Xc轴和Yc轴的姿态角分别处于(180.00± 15.00)°和±20.00°范围时，本文所提方法同样能有效修正计算结果，并与焊缝规实测数据基本吻合，鲁棒性较强。
本文所提方法不足之处在于：未充分考虑隧道内不均匀光照对管片图像质量的影响；当姿态角较大时，难以确保准确测量管片错台。后续将考虑采用环状设备配备多目相机和LED灯，结合多视图图像拼接技术，实现整环错台精确测量。

References

Publishing order | Descend order by publishing year | Descend order by cited within
1
葛双双, 高玮, 汪义伟, 等. 我国交通盾构隧道病害、评价及治理研究综述[J]. 土木工程学报, 2023, 56 (1): 119- 128.

GE S S , GAO W , WANG Y W , et al. Review on evaluation and treatment of traffic shield tunnel defects in China[J]. China Civil Engineering Journal, 2023, 56 (1): 119- 128.

2
莫伟樑, 杨雨冰, 林越翔, 等. 基于OFDR技术的盾构隧道管片错台变形测量与计算方法[J]. 现代隧道技术, 2022, 59 (5): 179- 187.

MO W L , YANG Y B , LIN Y X , et al. Measurement and calculation method for shield tunnel segment dislocation deformation based on OFDR technology[J]. Modern Tunnelling Technology, 2022, 59 (5): 179- 187.

3
BIN S, XING W. The monitoring of segments dislocation deformation in shield tunnel based on BOFDA[M]//AGAIBY S, GRASSO P. Engineering Challenges for Sustainable Underground Use. Cham, Switzerland: Springer, 2018: 222-232.

4
刘新根, 陈莹莹, 李明东. 基于斜射式线结构光的隧道错台快速检测技术[J]. 重庆交通大学学报(自然科学版), 2022, 41 (10): 108- 115.

LIU X G , CHEN Y Y , LI M D . Fast detection technology for tunnel slab staggering based on oblique line structured light[J]. Journal of Chongqing Jiaotong University (Natural Science), 2022, 41 (10): 108- 115.

5
赵先琼, 邓凯, 张亚洲, 等. 大直径盾构隧道成型质量巡检方法研究[J]. 工程科学学报, 2024, 46 (2): 365- 375.

ZHAO X Q , DENG K , ZHANG Y Z , et al. Molding quality inspection method for large-diameter shield tunnels[J]. Chinese Journal of Engineering, 2024, 46 (2): 365- 375.

6
YU A B , MEI W S , HAN M L . Deep learning based method of longitudinal dislocation detection for metro shield tunnel segment[J]. Tunnelling and Underground Space Technology, 2021, 113, 103949.

DOI

7
DU L M , ZHONG R F , SUN H L , et al. Dislocation detection of shield tunnel based on dense cross-sectional point clouds[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23 (11): 22227- 22243.

DOI

8
方成, 于盛鑫, 李永刚, 等. 基于深度学习的土木工程计算机视觉健康监测[J]. 同济大学学报(自然科学版), 2024, 52 (2): 213- 222.

FANG C , YU S X , LI Y G , et al. Deep learning-based computer vision for health monitoring in civil engineering[J]. Journal of Tongji University (Natural Science), 2024, 52 (2): 213- 222.

9
阳军生, 张宇, 祝志恒, 等. 基于图像三维重建的隧道超欠挖检测方法研究[J]. 中南大学学报(自然科学版), 2020, 51 (3): 714- 723.

YANG J S , ZHANG Y , ZHU Z H , et al. Study on tunnel under-over break detection method based on three-dimensional image reconstruction technology[J]. Journal of Central South University (Science and Technology), 2020, 51 (3): 714- 723.

10
PAN Z H , GUAN J C , YANG X , et al. One-stage 3D profile-based pavement crack detection and quantification[J]. Automation in Construction, 2023, 153, 104946.

11
KIM H , SIM S H , SPENCER B F . Automated concrete crack evaluation using stereo vision with two different focal lengths[J]. Automation in Construction, 2022, 135, 104136.

12
CHENG Y Y , LIN F Z , WANG W G , et al. Vision-based trajectory monitoring for assembly alignment of precast concrete bridge components[J]. Automation in Construction, 2022, 140, 104350.

13
KARDOVSKYI Y , MOON S . Artificial intelligence quality inspection of steel bars installation by integrating mask R-CNN and stereo vision[J]. Automation in Construction, 2021, 130, 103850.

14
HE K M , GKIOXARI G , DOLLÁR P , et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 42 (2): 386- 397.

15
HIRSCHMULLER H . Stereo processing by semiglobal matching and mutual information[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30 (2): 328- 341.

16
BOYKOV Y , VEKSLER O , ZABIH R . Fast approximate energy minimization via graph cuts[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23 (11): 1222- 1239.

17
MVHLMANN K , MAIER D , HESSER J , et al. Calculating dense disparity maps from color stereo images, an efficient implementation[J]. International Journal of Computer Vision, 2002, 47 (1-3): 79- 88.

18
LI J K, WANG P S, XIONG P F, et al. Practical stereo matching via cascaded recurrent network with adaptive correlation[C]//Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans, USA: IEEE, 2022: 16242-16251.

19
杨晓立, 徐玉华, 叶乐佳, 等. 双目立体视觉研究进展与应用[J]. 激光与光电子学进展, 2023, 60 (8): 0811010.

YANG X L , XU Y H , YE L J , et al. Research progress on binocular stereo vision applications[J]. Laser & Optoelectronics Progress, 2023, 60 (8): 0811010.

20
ZHANG Z . A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22 (11): 1330- 1334.

Options
Outlines

/

〈 〉

Postal Code: 100084
Tel: 010-62788108/62771385/62792976/62792994　
E-mail：xuebaost@tsinghua.edu.cn
Powered by Beijing Magtech Co. Ltd.
Visited
    Total visitors:
    Visitors of today:
    Now online:
　
Copyright © Journal of Tsinghua University(Science and Technology)