基于计算机视觉的裂缝检测方法经过不断发展已得到大量学者的认可。这些方法大多经过基于图像处理和机器学习的算法，可实现一些背景简单的结构裂缝检测。Fujita等[5]提出了一种针对有噪声的混凝土表面图像的鲁棒自动裂缝检测方法，通过对裂缝图像进行滤波处理，实现了自适应裂缝检测。Liu等[6]提出了一种通过对结构裂缝和非结构裂缝特征的分析，实现了对裂缝图案和图纹的二元分类裂缝图像检测方法，但该方法的阈值选取方式为人为手动选取，具有一定局限性。Lee等[7]利用形态学方法结合局部二值化算法实现了对细小裂缝的提取和混凝土裂缝检测，但该模型对背景复杂的裂缝图像提取效果较差。Noh等[8]提出了一种基于模糊C均值聚类和多降噪分割自动检测混凝土裂缝图像的方法，对图像进行滤波和形态学操作，使裂缝与背景的区分更加明显，可获得较好的裂缝分割结果，但该方法对裂缝所在部位有大量噪声的图片分割效果不佳。Yamaguchi等[9]提出了基于渗透基聚合处理的效率裂纹检测方法，采用模板匹配技术，将焦点像素作为背景像素，通过计算处理过程中的圆度来终止渗透过程，从而实现对高分辨率图像的裂缝识别。Qu等[10]提出了一种基于遗传规划(genetic programming, GP)和渗滤模型的遗传算法，不仅能消除光照不均、漏水等因素影响，也能较好地检测较为细小的裂缝，但模型整体对裂缝的识别效果有待提升。Prasanna等[11]为混凝土裂缝巡检机器人提供了一种基于机器学习且能够在一定程度的噪声干扰下，实现较为稳定的自动裂缝检测的算法。Yang等[12]提出了一种图像分析方法，检测深度较浅的裂缝，以更便利、安全地记录混凝土建筑的裂缝状态，进而评估混凝土建筑的安全性。王一兵等[13]提出了利用视觉开发模块(vision development module, VDM)的视觉助手(vision assistant, VA)进行图像处理，并通过VDM的骨架函数结合形态学方法实现裂缝的检测，由于水电站坝面裂缝图像的背景十分复杂，且受噪声、光照等因素的影响，模型存在检测能力有限且泛化能力不足等问题。
卷积神经网络(convolution neural network, CNN)模型在混凝土建筑物裂缝检测中得到了广泛应用。Kumar等[14]为提高混凝土裂缝检测精度，将裂缝分为水平、垂直和分支裂缝3类，利用Mask R-CNN网络对其进行分类和分割能够得到较好的检测结果，但也增加了分类的工作量。Liu等[15]提出了一种基于U-Net的混凝土裂缝检测算法，虽具有一定的鲁棒性，但有较多的超参数需要手动调整。Cha等[16]提出了一种基于CNN模型的裂缝检测算法，通过与滑动窗口技术的结合，能够实现较为稳定的裂缝检测。Zheng等[17]提出了基于R-FCN模型的裂缝图像识别算法，对裂缝图像具有较高的识别度和更好的跟踪性，但是存在训练时间过长、模型泛化能力较差等问题，有待改进优化。为能更好地提取坝面裂缝图像中的裂缝像素，Wu等[18]提出了一种新的用于具体裂缝检测的多尺度深度学习方法(multi-scale deep learning method, MSDLM), 对提取裂缝像素能力的提升有一定帮助，但该方法只在20张图片上进行了测试，且需要耗费大量时间进行模型训练。Ali等[19]提到编码-解码器网络结构能很好地实现精细裂缝识别，损失函数的选用对网络性能的提升有重要作用。Park等[20]提出了一种利用深度学习和结构光进行结构裂纹检测和量化的方法，能够实现裂缝检测，再结合图像处理技术能够完成对裂缝长度和宽度的测量。Bhowmick等[21]提出了一种基于U-Net网络的混凝土桥梁裂缝检测方法，同时结合无人机系统可实现对桥梁裂缝的实时检测。王君锋等[22]为减少网络模型参数量，提出了一种改进的MobileNet-SSD模型，能够有效提高算法的计算效率，但模型的精度需要进一步提高。
1 研究方法
1.1 DeeplabV3+裂缝检测网络改进模型
裂缝检测任务是像素级别的图像语义分割任务，在分割任务中编码-解码器的语义分割网络结构是现阶段应用较为广泛的语义分割结构。这类网络结构将语义分割任务分为编码器和解码器2部分。编码器部分进行坝面图像的特征提取，而解码器部分则是对提取到的特征进行像素分类。
经典的编码-解码器网络模型有U-Net模型[25]、Seg-Net模型[26]、PSP-Net模型[27]和DeepLab系列模型[23, 28-29]。传统的DeepLabV3+网络是目前表现较为优异的语义分割模型。但传统DeepLabV3+网络为了能更好地获取多尺度特征，在特征提取网络后接入空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)结构。这导致模型无法很好地获取裂缝图像边缘特征，并联结构的多尺度信息获取也无法使特征图与特征图之间构成较好的联系，从而使裂缝分割存在空洞现象；这会导致网络在对裂缝图像进行处理时检测效果下降。除此之外，DeepLabV3+网络还存在参数量巨大，模型收敛过慢的问题。针对上述问题，本文对DeepLabV3+网络模型进行改进，改进后的模型如图 1所示。本文在编码器部分使用更为轻量化的MobileNetV2网络模型作为本次裂缝特征提取主干网络，以减少模型参数量，并引入注意力模块提高模型对裂缝边缘区域的敏感度，在特征提取完成后会输出2个不同的特征图，分别作为解码器输入的低维度特征图和空洞卷积输入的高维度特征图。提取到的裂缝特征经过解码器网络后，完成对裂缝图像中像素的分类任务。解码器部分采用与传统DeepLabV3+基本一致的网络结构，并融入注意力模块。图中⊗表示矩阵相乘，⊕表示拼接操作。
除此之外，本文还改进了DeepLabV3+网络原有的ASPP模块结构，通过对不同分支的金字塔池化模块进行连接操作，以此实现更密集的像素采样，从而提高模型的特征提取能力。
1.2 网络轻量化
1.1节提到的分割模型虽然具有一定的检测精度，但是都存在训练参数过大、耗费计算资源多等问题。为减少训练时间以及模型参数量，本文将编码器中的特征提取网络替换成MobileNetV2，与传统的DeepLabV3+的主干提取网络Xception进行对比，其核心点都是采用深度可分离卷积操作。Xception的目标是提高模型的性能，而不是压缩模型；MobileNetV2则是利用深度可分离卷积来拆分普通卷积。其中，利用深度卷积完成对输入通道的滤波，再利用点卷积重新计算输入通道的线性组合特征，构建新的特征，减少模型参数。为使模型更快完成裂缝特征提取，选择参数量更少的MobileNetV2作为本文研究的特征提取主干网络。特征提取主干网络配置如表 1所示。
表 1 特征提取主干网络配置 |
| 输入维度(H×W×C) | 操作块 | OC | S | N |
| 640×360×3 | Conv2D | 32 | 2 | 1 |
| 320×180×32 | Inverted-res-block | 16 | 1 | 1 |
| 320×180×16 | Inverted-res-block | 24 | 2 | 1 |
| 160×90×24 | Inverted-res-block | 24 | 1 | 1 |
| 160×90×24 | Inverted-res-block | 32 | 2 | 1 |
| 80×45×32 | Inverted-res-block | 32 | 1 | 2 |
| 80×45×32 | Inverted-res-block | 64 | 2 | 1 |
| 40×23×64 | Inverted-res-block | 64 | 1 | 4 |
| 40×23×64 | Inverted-res-block | 96 | 1 | 3 |
| 40×23×96 | Inverted-res-block | 160 | 1 | 3 |
| 40×32×160 | Inverted-res-block | 320 | 1 | 1 |
表 1中H、W和C分别表示图像输入特征维度的高度、宽度和通道数；OC表示经过操作块后的输出通道数；S表示该操作块卷积时的步长；N表示该操作块重复的次数。
该结构中Inverted-res-block层的核心就是深度可分离卷积操作，主要包括通道扩张、特征提取和通道压缩3个过程，具体结构如图 2所示。通道扩张是通过卷积核为1×1的卷积操作扩张输入特征图的通道数，提升裂缝特征图片的空间维度；特征提取是利用深度可分离卷积对每一个通道进行特征提取，同时减少模型参数；通道压缩是对提取到的特征图像进行点卷积(卷积核大小为1×1)操作；然后经过批归一化(batch normalization, BN)输出特征；最后将其经过残差连接后与输入特征图一起作为最终输出。这样既能保留浅层特征图的裂缝细节信息，也能得到深层特征图的语义信息。
1.3 特征层融合连接
在DeepLabV3+原本的ASPP模块中，分支与分支之间为并行工作状态，无法共享任何裂缝特征信息。通过特征层融合后，每个分支之间实现了裂缝特征信息的共同利用，不同膨胀率的膨胀卷积可实现相互依赖，增大了感受野的范围。改进前、后的ASPP模块如图 3所示。
感受野增大后，网络能够更好地捕捉坝面裂缝图像的细节信息，感受野的计算式表示如下：
其中：RF表示感受野，Dr表示膨胀率，k表示卷积核大小。
根据式(1)可得最大感受野RFmax为
其中: RF36表示卷积核大小为3×3、膨胀率为6时膨胀卷积的感受野。
通过将ASPP模块中的特征层进行连接后，模型能够获得更大的感受野，以此提高模型对裂缝信息的利用率，最终整体提高模型的裂缝检测精度。
1.4 TLAM
该模块由位置注意力、通道注意力和残差连接3部分组成。TLAM能更好地获取图像中的裂缝位置和通道信息，以此获得较好的裂缝特征提取效果。裂缝输入特征x在进入TLAM后，在第一条线路中对输入特征进行拆分，使其分解为2个一维的特征编码，并对其进行全局平均池化，使用(H，1)和(1，W)2个池化内核，分别沿着水平方向和垂直方向对每个通道进行编码。因此，第n通道在高度h处的输出表示如下：
同理，第n通道在宽度w处的输出表示如下：
其中：h表示0到H之间的高度，w表示0到W之间的宽度，i和j分别表示在W方向和H方向上进行遍历的符号。
对上述2个特征进行全局平均池化后，得到一对具有方向感知能力的特征图，这样不仅能获取特征向量的通道信息，也能在另一个方向上保留更精确的空间信息，使网络精准定位到裂缝位置。将得到的2个方向上的特征图进行连接后，将其输入卷积核大小为1×1的卷积变换函数中，表示如下：
其中：Q表示在水平方向和垂直方向上编码空间信息的中间特征图；E1表示卷积核大小为1×1卷积变换函数; [, ]表示串联连接操作。
输出的Q再经过BN以及修正线性单元(rectified linear unit, ReLU)激活后对其进行W方向的卷积、H方向上的1×1卷积和Sigmoid分类，得到与输入特征维度相同的特征向量，表示如下：
其中：Qh表示得到的H方向上的特征图；Qw表示得到的W方向上的特征图；Gh和Gw分别表示将Qh和Qw的转换为与输入图像具有相同通道数的操作。
将得到的H方向上的特征向量fh和W方向上的特征向量fw分别展开，并作为注意力权重使用，最终经过第一条线路后的输出表示为
TLAM还通过通道注意力来捕获各个通道特征图之间的相互联系，使特征图之间的联系更为突出，同时获得语义信息更丰富的裂缝特征。在x进入模块后，分别进行全局平均池化操作和全局最大池化操作，得到经过全局平均池化后的通道信息表征Yavg和经过全局最大池化后的通道信息表征Ymax。经Sigmoid函数激活得到输出结果Y2，最终获得裂缝特征在通道维度上的输出权重MC和输出结果Y2，表示如下：
其中：w0和w1表示2个共享的输入权重，w0∈ RC/r×H，w1∈RC/r×W, R为代表域，r为压缩比。
最后结合残差连接得到最终输出YTLAM的表示如下:
其中Y0表示输入TLAM模块前的输入特征。
2 数据集
3 实验方法
3.1 训练过程及参数
本文所有的裂缝分割网络训练实验均在Windows系统下完成，训练所用深度学习框架为Tensorflow 2.2版本，处理器为Inteli7-8700k，运行内存大小为32 GB，电脑GPU型号为NVIDIA GeForce RTX2080，显存大小为16 GB。模型训练使用的优化器为随机梯度下降法的SGD优化器，用来更新训练网络的权重参数，最大训练轮次为300。batchsize设置为8，初始学习率设置为0.007，每训练10个轮次后学习率衰减0.000 1。
3.2 评价指标
评价指标用来评价语义分割模型的检测效果。本文采用的模型评价指标包括：F1, score、平均交并比(mean intersection over union, MIoU)和平均像素精度(mean pixel accuracy, MPA)的值。假设有c个像素类别，背景像素单独分为一个像素类别，ukk表示分类正确的像素数，ukl表示属于第k类但被分类为第l类的像素数。
ZMIoU表示每个像素类别的交并比的平均值，表示如下：
ZMPA表示分类正确像素的比例按类计算，把类的总数取平均值，表示如下：
F1, score由分割精度Zpre和召回率Zre计算得到，用来评价模型精度，表示如下：
3.3 损失函数
在坝面裂缝分割任务中，使用预测像素值与标签像素值之间的计算误差对训练过程进行评估。在模型训练任务中通过多次迭代来减少误差。在裂缝图片中背景像素与裂缝像素之间的比例存在严重的不平衡问题。为了解决这类样本像素不平衡的问题，本模型将Dice损失(dice loss, DL)函数和交叉熵(cross-entropy, CE)损失函数的变体焦点损失(focal loss, FL)函数相结合作为模型损失函数。通过DL和FL函数来有效地减少裂缝像素与背景像素不平衡的问题，同时FL函数可以引导DL函数确保网络以正确的梯度下降方式优化学习，DL、FL以及最终损失函数φ表示如下：
其中：gtruth和gpred分别表示标签像素值集合和预测像素值集合，ε表示DL的平滑系数，γ表示FL的调制系数，$\overline{{\rm{DL}}}$和$\overline{{\rm{FL}}}$分别表示DL集合和FL集合的平均值。
4 结果与讨论
4.1 消融实验
基于第1章的理论分析，本文设计了消融实验来验证注意力模块、特征融合网络和损失函数的有效性。步骤如下：1) 对没有进行任何改进的DeepLabV3+网络进行实验，记为Dp；2) 仅使用特征融合网络对DeepLabV3+进行改进，记为Fu+Dp；3) 仅添加TLAM到DeepLabV3+网络上，记为TLAM+Dp；4) 将注意力机制添加到网络中并使用特征融合网络对DeepLabV3+进行改进，记为TLAM+Fu+Dp；5) 将注意力机制添加到网络中并使用特征融合网络对DeepLabV3+进行改进，且使用DL和FL函数进行约束，记为Ours。模型训练数据集均采用西南某水电站采集到的裂缝数据集，为验证算法有效性，消融实验评价指标数据结果如表 2所示。
表 2 消融实验数据结果 |
| 模型 | F1, score | ZMIoU | ZMPA |
| Dp | 70.65 | 63.84 | 72.69 |
| Fu+Dp | 70.92 | 64.02 | 72.64 |
| TLAM+Dp | 71.27 | 64.49 | 72.80 |
| TLAM+Fu+Dp | 72.02 | 64.42 | 72.78 |
| Ours | 73.98 | 66.73 | 73.81 |
由表 2可知，DeepLabV3+网络已具备较好的对坝面裂缝特征像素的提取能力，并且还可以进一步提升；在加入特征融合或注意力模块改进后，其特征提取能力得到了提升。这说明特征融合和注意力模块能够更好地利用各个阶段的裂缝特征图，提高网络的裂缝识别能力。在加入特征融合模块的基础上添加注意力模块，能够在获取层次更丰富的图片特征的基础上，使网络更加注意裂缝像素。最后为解决裂缝图像中背景像素与裂缝像素比例相差过大的问题，将网络原来的CE损失函数替换成DL函数和FL函数(CE损失函数的变体)相结合的损失函数。与CE损失函数、结合DL函数的CE损失函数(CE+DL)相比，进一步提升了网络的裂缝识别效果。损失函数图像如图 6所示。
4.2 实验对比
1) 不同注意力模块对比实验。
表 3 不同注意力机制性能评价指标表 |
| 模型 | F1, score | ZMIoU | ZMPA |
| SE+Dp | 72.28 | 64.48 | 72.54 |
| CBAM+Dp | 72.24 | 64.38 | 72.98 |
| ECA+Dp | 72.46 | 64.71 | 72.69 |
| TLAM+Dp | 73.98 | 66.73 | 73.81 |
由图 8可知，本文提出的注意力模块对裂缝特征的提取能力更强，可以更好地获取裂缝语义信息，对裂缝的识别效果更好，漏检和误检的比例更小，能更好地完成坝面裂缝检测任务。
2) 不同网络的对比实验。
为了验证本文方法的优越性，本文选取典型的图像分割模型进行对比实验。数据集是在西南某水电站采集到的裂缝数据集，模型分别为：U-Net、FCN[34]、PSP-Net和DeepLabV3+。其中对DeepLabV3+网络进行了2次实验，一次是以Xception网络为特征提取网络，记为X-DeepLabV3+；另一次是以MobileNetV2为特征提取网络，记为M-DeepLabV3+。
表 4 模型评价指标数据表 |
| 模型 | F1, score/% | ZMIoU/% | ZMPA/% | 参数量 |
| U-Net | 70.31 | 63.69 | 71.94 | 24 891 202 |
| FCN | 67.54 | 61.33 | 68.37 | 25 732 893 |
| PSP-Net | 69.45 | 62.19 | 71.66 | 46 774 997 |
| X-DeepLabV3+ | 70.65 | 63.84 | 72.69 | 41 256 330 |
| M-DeepLabV3+ | 70.42 | 63.43 | 72.41 | 2 827 902 |
| Ours | 73.98 | 66.73 | 73.81 | 3 014 714 |
5 结论
对水电站坝面检测系统的坝面裂缝图像分割问题，提出一种融合三线注意力机制改进DeepLabV3+裂缝分割的算法。在原有网络的基础上进行轻量化操作，大幅减少网络参数，提高网络训练效率；对网络结构进行优化，对原有的ASPP结构进行改进，实现对坝面裂缝特征信息密集和多尺度的编码，提高网络的像素采样能力，同时获得更大的感受野；在网络中加入了注意力模块，使网络能更好地检测到裂缝像素，提高网络对坝面裂缝的识别能力；针对背景像素和裂缝像素差别过大的问题，利用FL和DL函数进行联合约束，提高像素分类准确率。实验结果表明：改进算法与原有算法相比，具有更好的裂缝识别效果，并大大减少了参数量。与改进前的DeepLabV3+网络相比, F1, score达73.98%，提高了3.33%；ZMIoU达66.73%，提高了2.89%；ZMPA达73.81%，提高了1.12%。本文研究降低了模型参数量，提高了模型裂缝检测能力，便于较好地应用于实际工程中。
定期的裂缝检测能够保证水电枢纽安全稳定的运作和生产，对水电枢纽的运维具有重要意义。本文提出的模型虽然在一定程度上提高了检测准确度，但是仍存在一些不足，例如数据获取难度大、数据标注成本高等。下一步准备进行降低数据标注成本的相关研究，为水电枢纽裂缝检测提供更有力的数据支撑。
