中国水利基础设施建设量居世界首位，对港口、桥梁、水库大坝等基础设施的水下混凝土图像检测是保障其安全稳定运行的重要举措^[1]。采集和处理水下基础设施混凝土表观图像数据仍面临诸多技术难题。水下图像采集存在不易达、水体浑浊、图像折射畸变、混凝土表观淤积覆盖、无光或弱光的水下环境等制约因素，严重影响水下混凝土图像检测的效率。因此构建稳定可靠的低光照水下混凝土图像检测和水下混凝土图像增强方法，可为评估水下基础设施安全提供可靠的数据支撑。

近年来，遥控水下机器人(remote operated vehicle, ROV)便捷、高效、灵活的水下作业方式已被广泛应用于水下智能巡检行业。ROV能很好地应用于海洋或清水环境，但在浑浊的水体环境使用仍具有很大挑战。ROV携带的光学相机在采集水下图像时，存在光照不均衡、色彩失衡、对比度差和边缘信息弱等问题。Akkaynak等^[2]提出了水下图像去水的sea-thru理论，并构建自然光线在水下的折射与散射模型，建立不同深度的距离地图，用于计算光线在不同深度的模型系数，能有效消除光线在相机成像时由水下环境造成的偏色和散射，使水下拍摄的图像呈现如空气中拍摄的状态，然而该模型对不同浊度的鲁棒性还有待提升。文[3-6]开展了非均匀光照和低照度场景的图像增强的相关研究。在Dong等^[6]的研究中发现，低照度的图像取反后与大气中的有雾图像存在共性，将低照度的图像取反，再采用暗通道先验(dark channel prior, DCP)算法对取反后的图像进行处理，处理后的图像再次取反即可实现图像增强。该方法巧妙结合了He等^[7]的研究，依赖于对大气光强的选取，但固定窗口尺寸对图像增强的质量存在限制。文[8-11]采用了多尺度融合的方式来实现水下图像增强，其中Marques等^[10]提出了水下低光照图像增强(low-light underwater image enhancer, L²UWE)模型，首先将单张水下低光照图像取反，再将取反的图像生成多尺度融合图像进行输入，一张用于图像细节的增强，另一张用于图像的亮度增强，然后计算2张图像进行融合时的权重输入，即图像的显著性权重函数、亮度权重函数和局部对比度权重函数，最后将权重计算输出的图像取反，以达到水下低光照场景的图像增强；模型很好地兼顾了局部细节和全局亮度，但多个权重函数对图像权重分量的影响不同，只对某类水下低照度图像具有很好的增强效果。文[12-16]开展了水下图像的自适应增强研究工作。刘国等^[16]提出了一种自适应的暗原色单幅图像增强方法，暗通道优先(dark channel priority，DCP)算法在暗通道选取的基础上引入了自适应阈值，以减少景深变化对获取暗通道窗口大小的影响，求取较精确的透射率，能有效避免由导向滤波引起的处理速度过慢的问题，可较好地消除光晕效应，但存在局部区域的增强效果不佳的问题。

本文主要针对水下非均匀光照场景下的图像增强，构建浊水环境中有效采集水下混凝土图像数据的方法，采用图像修复技术(image inpainting technique, IIT)^[17]消除图像局部高光区域；通过图像对比度感知调节方法计算不同窗口区域的环境光强，使图像的增强可兼顾全局性亮度与局部细节的对比度，经过增强后的图像数据可为水下混凝土图像的缺陷分析与安全评估提供可靠的数据支撑。

1 浊水环境中混凝土图像采集与处理 1.1 双模态水下机器人图像采集

现有ROV或自主式水下航行器(autonomous underwater vehicle, AUV)不能有效克服浊水环境对水下图像采集的影响。本文采用自主研发的双模态水下机器人(dual-modal underwater robot, DUR)采集水下混凝土图像。DUR的主要模块如图 1所示。

DUR具备水中浮游与水下爬行2种运动模式，腹部携带的清水置换模块能有效避免浊水环境对图像采集的影响。对有淤积覆盖的混凝土表面采用清淤推进器与清水置换模块协同工作的方式，如图 2所示。

混凝土表面有淤积覆盖时相机不能直接拍摄到混凝土表观的真实情况，DUR携带的清淤推进器可有效清除覆盖在混凝土表面的淤积(10 cm)，清水置换模块能有效克服浊水环境对图像采集的影响，如图 2所示。

1.2 图像增强处理

DUR在采集水下图像时能避免浊水环境的影响。清淤推进器可清除混凝土表面覆盖的淤积，有效采集水下混凝土表面的高清图像数据。当水深超过20 m时，自然光线不能投射到水底，DUR的补光也被水体吸收，采集的水下图像会存在明显的光照不均衡、对比度低、亮度低和补光灯光斑等问题。因此本文提出在水下非均匀光照场景下的图像增强方法，图像增强处理流程如图 3所示。

首先将LBF-C50HD相机在水下进行标定，将标定好的内外参数用于矫正采集到的混凝土原始图像，并将矫正后的数据进行适当剪裁以消除畸变矫正后的黑色区域，剪裁前像素尺寸为1 920×1 080，剪裁后像素尺寸为1 860×1 046；对剪裁后的图像进行修复以消除补光灯光斑；将消除局部补光灯光斑的图像取反；将取反后的图像引入对比度感知调节方法，用于计算图像不同窗口区域内非均匀光照的环境光强度A；然后将对比度感知调节引导后的图像做暗通道增强处理；最后将图像再次取反以获得增强后的图像。

2 水下非均匀光照图像处理方法 2.1 局部高光消除方法

水下混凝土表观原始图像存在由补光灯光斑造成的局部高光区域，因此需要对局部高光区域进行修复，避免光斑对图像增强造成亮度过高的影响。局部高光修复利用待修复区域边缘像素的邻域，逐步估计待修复区域边缘像素，再进一步估计待修复区域内部像素点。局部高光修复示意图如图 4所示。

图 4中Ω表示待修复的高光区域，N表示点p在待修复区域的方向向量，Ω_bj表示待修复区域的边界。通过计算已知区域的像素替代待修复区域的像素。若p点为待修复像素点，ε为待修复像素点的领域，现以p为中心选取其邻域B_ε(p)，一般邻域大小为3×3或5×5。该邻域内像素点均为已知，且q点在B_ε(p)内，图像I中p点的像素值大小I_q(p)，可表示为

$ I_q(p)=I(q)+\nabla I(q)(p-q). $

(1)

其中：∇I(q)表示q点的梯度。I(q)表示图像在q点像素值大小。

B_ε(p)中各个像素点对p点所起的作用有差异，因此需要引入权值函数，可表示为

$ I(p)=\frac{\sum\limits_{q \in B_{\varepsilon}(p)} w(p, q)[I(q)+\nabla I(q)(p-q)]}{\sum\limits_{q \in B_{\varepsilon}(p)} w(p, q)} . $

(2)

其中：w(p, q)表示权值函数，用于确定B_ε(p)内各像素点对p点的估计所占权重。权值函数可表示为：

$ w(p, q)=\operatorname{dir}(p, q) \cdot \operatorname{dst}(p, q) \cdot \operatorname{lev}(p, q), $

(3)

$ \operatorname{dir}(p, q)=\frac{p-q}{|p-q|} \cdot D(p), $

(4)

$ \operatorname{dst}(p, q)=\frac{d_0^2}{|p-q|^2}, $

(5)

$ \operatorname{lev}(p, q)=\frac{T_0}{1+|T(p)-T(q)|}. $

(6)

其中：dir(p, q)表示方向因子，p点的距离越靠近法线方向，对p点计算所占权重越大；D(p)表示N方向p点在待修复区域内的距离；dst(p, q)表示几何距离因子，距离p点距离越近，对p点计算所占权重越大；lev(p, q)表示水平距离因子，确保接近p点轮廓的像素所占权重比远处的像素更大；T(p)-T(q)表示p, q之间的水平距离；d₀表示像素间的参考距离；T₀表示像素间的水平参考距离，通常为1。

2.2 对比度引导的图像增强方法

消除补光灯光斑能有效去除局部高光区域的无效像素点对图像增强的影响。为进一步实现水下混凝土图像增强，本文在暗通道先验去雾算法^[7]的基础上引入对比度感知调节方法，用于调节水下非均匀光照场景下的图像在不同窗口区域的环境光强度。根据暗通道先验去雾算法，水下待增强的图像Ⅰ可用直接衰减与非均衡环境光强(即空气图像中的大气光强)表示，故水下成像模型可表示为

$ I(x)=J(x) t(x)+A_{\infty}(1-t(x)) . $

(7)

其中：J(x)t(x)是直接衰减项，表示介质特性受场景辐射的影响，J(x)表示以x为中心的领域增强后的图像，即空气中的无雾图像，t(x)表示以x为中心的领域像素点的透射率；A_∞(1-t(x))表示非均衡环境光强，受水下光线散射影响，A_∞表示非均衡环境光强。

He等^[7]提出了暗通道先验去雾算法，主要通过A_∞与t(x)来确定图像J(x)，采用DCP算法处理后的图像可表示为

$ J_{\mathrm{dark}}(x)=\min\limits _{y \in \Omega(x)}\left(\min\limits _{c \in\{\mathrm{r}, \mathrm{g}, \mathrm{b}\}} I_c(y)\right). $

(8)

其中：c表示图像的3个颜色通道；I_c(y)表示y在3个颜色通道上的取值；J_dark表示暗通道，即根据当前像素点y求取该点对应的r、g、b这3个通道的最小值，再根据像素点y求取整张图像的邻域范围Ω(x)内的最小值，通过2次求最小，最后通道的像素亮度值将无限趋近零。于是无雾图像可表示为

$ J_c(x)=\frac{I_c(x)-A_{\infty}^c}{\max \left(t(x), t_0\right)}+A_{\infty}^c . $

(9)

其中：A_∞^c表示大气光强；t₀表示透射率最小阈值，透射率过小会导致增强后的图像整体偏白，故设定此阈值。图像透射率可表示为

$ t(x)=1-W \min\limits _{y \in \Omega(x)}\left(\min\limits _{c \in\{\mathrm{r}, \mathrm{g}, \mathrm{b}\}} \frac{I_c(y)}{A_{\infty}^c}\right) . $

(10)

其中：W表示常数，0≤W≤1，作用是保留一定的雾度，以保证增强后图像的真实性。

在有关大气光强的计算中，He等^[7]采用暗通道中前0.2%最亮像素来推断大气光强A^c_∞，对计算环境光强均匀的图像非常高效，但对水下非均匀光照场景并不适用。Ancuti等^[8]发现用单一暗通道邻域内部大气光强代替全局大气光强，因不适用低照度环境下的图像，故提出了多尺度融合的方法。Marques等^[10-11]提出并验证了在非均匀光照场景的图像增强中，采用单一尺寸的暗通道邻域δ，会出现3个问题：1) 较小的δ会导致增强后的图像出现局部区域过饱和；2) 较大的δ可较好地消除图像的雾度，但是可能产生不必要的光晕(即光环效应)；3) 单一尺寸的δ难以适应不同像素尺寸图像。图 5展示了单一通道窗口尺寸对图像增强的不全面性，图 5a—5d的像素尺寸为1 860×1 046，图 5e—5f的像素尺寸为1 027×578。

当δ为3×3时，图像呈现过饱和现象，导致色彩失常，如图 5b所示；当δ为25×25时，图像由亮到暗的边缘会产生明显的光晕，如图 5c所示；当δ为15×15时，图像中间部分增强效果明显，但边缘会出现明显的暗边缘，不能兼顾图像的全局性，如图 5d红框所示；将剪裁后的图像进行增强，其增强效果在局部细节和视觉观感上具有明显的提升，如图 5f所示。针对以上问题，本文提出基于对比度感知调节引导的窗口邻域大小的选择方法，通过计算当前像素区域的7个暗通道邻域δ和每个邻域的对比度引导，选取不同窗口尺寸，可表示为

$ \left.\operatorname{CPA}(x)=\operatorname{argmin} i \sigma_i\left(\delta_i(x)\right)\right] . $

(11)

其中：δ_i(x)∈I表示以x为中心像素，大小为(2i+1)×(2i+1)的正方形方块；σ_i表示δ_i(x)的7个邻域范围内不同区域对比度标准差。σ²可表示为

$ \sigma^2=\sum\limits_\delta \varphi(a, b)^2 P_{\varphi}(a, b). $

(12)

其中：φ(a, b)表示相邻像素间的灰度差，P_φ(a, b)表示相邻像素间的灰度差为φ的像素分布概率。将以x为中心的7个邻域对比度的标准差作为计算结果，以此引导水下非均匀光照场景下图像暗通道增强自适应窗口的选取，σ越大，则选取更小的δ窗口尺寸；σ越小，则选择更大的δ窗口尺寸；若7个邻域内的对比计算有相同的对比度标准差，则选取更大δ窗口尺寸。δ窗口大小的选取关系可表示为

$ S_\delta\left(m, \&\left(\sigma_i\right)\right)=3 m-\left[\frac{m}{3}\left(\&\left(\sigma_i\right)-1\right)\right]. $

(13)

其中：S_δ表示通过对比度引导选取的实际窗口大小；m表示常数因子，决定选取局部窗口的大小，即m越大，选取的邻域δ范围越大，m越小选取的邻域δ范围越小，取值为整数；& (σ_i)表示根据对比度选取不同窗口尺寸时的地址位置，1≤ & (σ_i)≤7，取值为整数。结合式(11)－(13)，由对比度引导得出的最终非均匀光照的环境光强度，可表示为

$ A_{\mathrm{CPA} \infty}^c=\max\limits _{n \in S_\delta}\left(\min\limits _{z \in \delta(n)}\left(I_c(z)\right)\right) $

(14)

其中：A_CPA∞^c表示由对比度引导得出的最终非均匀光照的环境光强度；CPA∞表示式(11)中的所有窗口尺寸；z表示暗通道窗口的取值；n表示根据图像实际对比度引导选取的局部区域。

式(14)通过计算当前局部区域的所有颜色通道的暗通道值，并根据S_δ区域内的对比度计算辐射亮度在$ \min\limits _{z \in \delta(n)}\left(I_c(z)\right)$中的最大值，以确定水下非均匀光照场景下的环境光强度。

3 图像处理实验 3.1 图像预处理

用DUR采集水下混凝土表观图像。在图像采集时，清水替换模块将紧贴混凝土表面以获取图像，相机在清水替换装置内部将整个清水替换装置模块作为一个整体进行标定，采用张正友标定方法^[18]。相机标定是图像处理的必要步骤，但不是本文研究的重点内容，以前的研究工作对相机的标定进行了详细的描述^[19]，在此将不赘述相机标定的内容。本文采用DUR采集水下混凝土表观原始图像数据，像素尺寸为1 920×1 080，如图 6所示。

由图 6可知，水下原始图像存在明显的圆形补光灯光斑，且图像右侧边缘存在无光的暗角区域。对原始图像进行畸变矫正，对矫正后的图像进行适当的剪裁，剪裁后的像素尺寸为1 860×1 046，以消除畸变矫正所产生的边缘暗角区域，矫正并剪裁后的图像如图 7所示。

在图像预处理部分主要完成图像的校正与剪裁，为后续图像局部高光的消除与增强处理做准备。

3.2 局部高光消除实验

由图 7可知，由补光灯光斑造成的局部高光区域亮度明显高于邻域。采用2.1节中的局部高光消除方法对图像进行处理，补光灯局部高光处理图像如图 8所示。

由图 8可知，带有补光灯光斑的局部高光图像经过阈值分割，提取图像上所有高亮区域，需要消除的补光灯光斑具有明显的圆形特征，通过Hough圆检测能有效检测到补光灯的圆形光斑；对局部高光区域的图像做开运算从而生成Mask图像；通过2.1节中的IIT方法对原始图像所标定的Mask区域进行修复，局部高光消除处理图像。

为了验证补光灯局部高光部分被修复的情况，对补光灯高光区域进行图像的颜色通道分布直方图统计，如图 9所示。局部高光图像的灰度级在255附近的像素数量较高(见图 9b)，经过高光修复后的图像，在255附近的像素数量有明显的降低(见图 9d)。从图 9a、9c可知，由补光灯造成的局部高光区域得到明显修复。局部高光区域的消除避免了局部的高对比度影响，利于图像在增强过程中和非均匀光照场景下，对环境光邻域范围的选取。

3.3 水下非均匀光照场景下图像增强实验

由于受光照条件的影响，获取的水下混凝土表观图像呈现非均光照，非均衡光照场景下的反转图像与有雾图像非常相似^[6]。对水下非均匀光照场景下的反转图像做增强处理，再对图像取反，可达到对原始图像增强的效果，如图 10所示。首先对高光消除后的图像取反，再采用2.2节对比度引导的图像增强方法进行处理，在对比度引导S_δ局部窗口大小时，选取从7×7到19×19的7个窗口尺寸，得到增强后的图像。

由图 9可知，图像的色彩和亮度均有明显改善，边缘暗角区域的对比度也有明显增强。为验证本文研究方法对水下非均衡光照场景图像增强的有效性，本文构建了横向对比实验，将本文研究方法与L²UWE^[10]、RGHS(relative global histogram stretching)^[15]、ULAP(underwater light attenuation prior)^[20]、IBLA(image blurriness and light absorption)^[21]、DCP(dark channel prior)^[7]、CLAHE(contrast limited adaptive histogram equalization)^[22]算法进行了对比，处理结果如图 11所示。

从图像全局效果看，CLAHE算法展现的对比度效果最佳，但局部放大图像出现过饱和现象；ULAP算法使图像整体偏红，并不适用于低光照水下图像的增强，因此对于增强后图像的质量还需要借助图像增强的评估指标进行评价。水下图像增强属于无参考图像增强，故评价指标需要借助无参考水下图像增强指标。本文引入4个图像质量评价指标NIQE(natural image quality evaluator)^[23]、PIQE(perception-based image quality evaluator)^[24]、BRISQUE(blind/reference less image spatial quality evaluator)^[25]和UCIQE(underwater color image quality evaluation)^[26]对增强的图像进行评估。采用在消力池池底获取的300张混凝土图像数据进行测试，对比数据如表 1所示。

表 1中标记为红色的数据表示整个评估中最优数据，粗体数据为本文所提出的水下非均衡光照场景下图像增强结果。以表中第一个数据4.01±0.01为例，4.01表示300张原始图像的NIQE均值，0.01表示300张数据的NIQE偏差值。单一的图像质量评估数据并不能说明图像增强质量的优异性，如IBLA算法采用NIQE指标的评分为3.56±0.08，表现优异，但由图 11可知IBLA算法降低了图像的整体亮度。对本文所提出的方法分别采用PIQE、BRISQUE、UCIQE指标进行评分，结果分别为25.75±3.93、29.39±1.80和1.04±0.01，这3个指标评分结果均为最优，因此本文所提出的水下非均匀光照场景下的图像增强方法，图像增强质量评价得分综合指标最佳，能有效提升水下非均匀光照场景下的图像质量。

4 结论

对水下混凝土进行检测可以及时发现水下结构的问题，有利于相关人员进行维修和准备应急工作。本文研究使用DUR采集水下混凝土图像，能有效克服水底浑浊的环境，从而获取高清图像数据。但由于水底环境黑暗，水体对机器人自带的光源吸收强烈，导致光线在远离补光灯的区域被严重吸收，在靠近光源区域的图像亮度过高，呈现颜色失衡、光照不均匀现象，导致图像质量不佳。本文总结了当前水下图像增强的主流算法，分析了在实际工程应用中水下混凝土图像质量出现的主要问题，从图像预处理、局部高光消除和非均衡光照场景的图像增强3方面进行实验，尤其在图像增强方面，兼顾了图像的局部细节与全局亮度指标。相较于DCP处理方法，图像的平均亮度提升了40%左右，表明通过对比度感知、自适应选取通道窗口以实现图像增强，对处理水下非均匀光照场景下的图像增强具有很好的效果。在对比实验分析中，图像质量评估指标NIQE、PIQE、BRISQUE和UCIQE的评分结果表明：本文提出的图像增强方法使增强后的图像在色彩、对比度和亮度方面达到了均衡的增强效果。本文研究为水下混凝土的缺陷检测和病害预测提供了有效的数据支撑，在后期将采用增强后的图像分析水下混凝土的特征信息，结合混凝土缺陷特征提取与混凝土缺陷尺寸估计开展进一步研究。