2. 浙江清华长三角研究院, 嘉兴 314006
2. Yangtze Delta Region Institute of Tsinghua University, Jiaxing 314006, China
铁磁性工件在磁化后会在表面或近表面的缺陷处产生漏磁场。荧光磁粉探伤方法基于此原理,在磁化后的工件表面施加磁粉,依靠磁粉受漏磁场吸引在缺陷处堆积的特性,使工件表面的裂纹显示为磁粉聚集的线,并在紫外光下发出明亮的荧光,以便于识别。在荧光磁粉探伤中使用机器视觉方法检测缺陷,能够实现探伤操作的自动化,有效改善工人的工作环境,减轻劳动强度,降低漏检率,具有良好的应用前景。受光照条件、工件表面情况、探伤工艺参数及裂纹形貌的影响,探伤中磁粉聚集成像的情况十分复杂,如何从图像中快速准确地提取裂纹是机器视觉中图像处理算法的难点[1]。
在磁粉探伤图像中,裂纹是明亮的黄绿色的线。由于裂纹的几何形状特征直观且易于描述,研究者常利用与几何形状有关的特征提取磁粉探伤图像中的裂纹[2-4]。康健等[2]提出基于Wiener滤波、迭代法全局阈值分割和不变矩特征的算法提取裂纹;李远江等[3]则先使用图像平滑和增强的方法突出疑似裂纹,再根据其面积、周长、长度、圆形度和矩形度等几何形状特征,用支持向量机分类识别真实裂纹。
由于漏磁场不仅吸引磁粉聚集到缺陷上,也影响附近磁粉的分布,因此在磁粉探伤图像中,待定缺陷邻域的纹理特征也可用于识别真实裂纹。张静等[5]提出一种基于窗口图像特征的缺陷识别算法,根据窗口内区域的几何形状特征、窗口图像的灰度统计特征和纹理特征,判定窗口是否含有缺陷;王姮等[6]以扫描窗口内图像的差分盒维数作为特征,使用决策树方法做二分类,识别工件缺陷。纹理特征通常比几何形状特征更丰富、区分度更高,但基于窗口图像识别有窗口尺寸难以确定、提取精度受窗口网格划分限制和识别后仍需额外步骤提取窗口内缺陷的问题。
由于磁粉探伤图像背景复杂,裂纹提取困难,单独基于形状特征或纹理特征提取裂纹的算法精度不够高。为进一步提高磁粉探伤图像裂纹提取的精度,本研究融合几何特征与纹理特征提取裂纹的方法,提出一种基于几何与纹理特征相融合的磁粉探伤裂纹提取算法。
1 融合几何特征与纹理特征提取裂纹融合几何特征与纹理特征提取裂纹,需要保证提取的待定裂纹目标同时具有裂纹的几何形状和纹理特征。目前,在提取裂纹几何特征的算法中,裂纹是由闭合轮廓包围的区域,提取的特征是裂纹区域整体的特征;而在提取裂纹纹理特征的算法中,裂纹被视作图像固定形状窗口的一部分,提取的特征是窗口内各裂纹片段的特征。由于两类算法对裂纹的描述不同,因此提取的特征不能直接组合。
不同于传统方法,本文把裂纹视为裂纹中心点的集合。由于裂纹是细长的线状,裂纹中心点集合的连线能够保持裂纹的几何形状。裂纹邻域是包含裂纹及沿裂纹延伸方向的带状区域,裂纹邻域的纹理特征是该带状区域的纹理特征;而该带状区域也可视为由裂纹中心线邻域的并集组成,可以组合各裂纹中心点局部的纹理特征作为整条待定裂纹的纹理特征。因此,可通过以下3步融合几何特征与纹理特征来提取裂纹:
1) 提取具有裂纹几何形状特征的待定裂纹,并提取裂纹的中心点;
2) 提取待定裂纹每个中心点邻域的纹理特征;
3) 组合各点纹理特征作为待定裂纹的纹理特征,识别并提取其中的真实裂纹。
根据上述对融合几何特征与纹理特征方法的研究,本文提出一种基于几何与纹理特征相融合的磁粉探伤裂纹提取算法,算法首先根据裂纹的几何形状特征,提取图像里亮线中心的脊线作为待定裂纹;再提取待定裂纹上各脊线的尺度不变特征变换(scale-invariant feature transform, SIFT)描述子,取平均值作为待定裂纹的纹理特征,并使用支持向量机分类器识别。
2 算法流程 2.1 基于几何形状的裂纹提取几何形状是裂纹的重要特征,裂纹提取时应保证提取的待定裂纹保持裂纹的几何形状。图 1展示了磁粉探伤中的一条典型裂纹,图中的裂纹强度高于背景,呈细长的线状。由于非裂纹目标也可能有较大的亮度,若只以图像强度作为条件提取裂纹,不仅容易提取出大量伪缺陷待定裂纹,还可能提取出形状不准确的待定裂纹,影响真实裂纹的识别。例如,图 1中裂纹和工件表面的反光光斑有部分相连,基于强度阈值的连通域提取方法可能把裂纹和反光光斑连成一个待定裂纹区域,造成裂纹的漏检。
图 2显示了对图 1进行σ=1窗口尺寸5×5像素的Gauss滤波之后,裂纹几处剖面方向的强度图。图 2a是图 1局部Gauss滤波之后的结果,图 2b显示了图 2a裂纹上从左至右3个位置的剖面强度曲线,图中相对坐标的零点是裂纹中心。由图 2可见,虽然不同位置裂纹的强度不同,但在剖面方向,裂纹都包含强度的极大值。因此,可以亮线剖面方向强度的极大值作为裂纹的中心提取待定裂纹。
亮线的剖面方向是图像上二阶导数取最大值的方向,而强度的极大值位置是一阶导数的过零点,因此可以提取图像强度沿二阶导数最大方向的一阶导数过零点作为裂纹的中心点,再连接成裂纹的中心线。此法提取的裂纹中心线是裂纹处的脊线(ridge line),组成脊线的每个点是裂纹处的脊线点[7-8]。本算法使用文[7]中基于Hesse矩阵的方法提取图像中的脊线作为待定裂纹。图 3显示了算法提取图像脊线的结果,串联成待定裂纹的脊线点位于图像亮线中心的亚像素位置。本文后续步骤的待定裂纹将用脊线点的连线来表示。
2.2 基于纹理的裂纹提取
局部区域的纹理也是裂纹的重要特征。图 4展示了磁粉探伤图像中几处伪缺陷的图像,左列(图 4a、4c、4e)是伪缺陷区域的磁粉探伤图像,右列(图 4b、4d、4f)是相应的线提取结果。图 4a显示的是工件表面的车刀纹,多条车刀纹平行密排;图 4c显示的是工件表面粗糙凹凸不平处堆积的磁粉;图 4e是紫外光在工件表面的反光进入相机后在图像中留下的光斑。虽然这3种伪缺陷在形状上与裂纹类似,也都能提取出脊线,但它们所处区域的纹理与裂纹处的纹理不同,因此可利用区域的纹理特征进一步提取图像中的裂纹。
根据第1节的分析,为将纹理特征融合进待定裂纹,应提取中心点邻域的纹理特征并组合为待定裂纹的特征。本算法中选择SIFT描述子[9]作为脊线点邻域的纹理特征,并取各点纹理特征的平均值作为待定裂纹的纹理特征。与传统SIFT描述子不同,为适应裂纹点邻域的纹理提取,本算法中SIFT描述子的主方向设为线的延伸方向,忽略各栅格内方向直方图的位置加权,以使不同位置的栅格的方向直方图对点邻域纹理特征的贡献相同。
图 5显示了4种待定裂纹上提取的纹理特征,图中箭头代表SIFT提取时构造栅格的主方向,是线的延伸方向;栅格内每条线长度代表了该栅格内像素梯度在该方向上的强度加权和;纹理特征是记录所有4×4栅格内8个方向强度的128维向量。图 5左列(图 5a、5c、5e、5g)显示各待定裂纹上一点的纹理特征,可看到该点上提取的特征记录了点邻域各栅格内像素梯度的强度和方向,反映了邻域像素强度的空间变化,即局部的纹理[10];右列(图 5b、5d、5f、5h)显示了以平均各点纹理特征的方法提取的整条待定裂纹的纹理特征,可见不同类别待定裂纹的纹理特征明显不同,因此可以用来筛选待定裂纹中的真实裂纹。
各待定裂纹上提取的纹理特征都使用128维的特征向量表示。基于提取的纹理特征,本算法使用支持向量机分类器[11]对待定裂纹分类,提取出其中的真实裂纹。对支持向量机分类器的训练和测试见3.2节的实验部分。
3 实验结果和分析本节在实际轮对磁粉探伤图像上实验提出的算法。实验图像是1 920×1 080像素的3通道彩色图像,由笔者在文[12]中提出的磁粉探伤机器视觉辅助系统采集,实验中算法以图像的8位绿色通道作为输入。实验图像由120张荧光磁粉探伤图像组成,包含299条人工标记的真实裂纹。
3.1 算法参数选择算法的参数包括脊线提取参数和纹理特征提取参数。
脊线提取参数可根据文[7]中介绍的方法计算,本实验中根据实验图像的情况选定σ=1,高阈值为10,低阈值为5,在实验中能够100%地检出裂纹处的脊线,满足脊线提取的要求。
纹理特征的参数包括描述子内栅格的数目、栅格的尺寸以及栅格内角度量化的数目。经过在图像库中的实验,本文的描述子采用4×4栅格,单个栅格边长为3个像素,栅格内角度量化至8个方向的参数设置,可以获得较好的提取结果。
3.2 实验结果比较为验证算法性能,比较了单独基于几何形状特征或纹理特征的裂纹提取算法与本文算法在轮对磁粉探伤图像的提取效果。作为对比实验的算法有4种,其中前3种是基于几何形状特征的算法,第4种是基于纹理特征的算法。4种对比算法如下:
1) 脊线提取算法,以脊线提取结果作为裂纹。
2) 基于脊线几何形状特征的裂纹提取算法。该算法提取的脊线几何形状特征包括脊线的长度、端点连线长度、线中点与端点连线的距离和最小包围矩形的长宽比。
3) 基于连通域的几何形状特征的裂纹提取算法。连通域由待定裂纹脊线及其邻域点的亮度扩充而来,提取的形状特征包括连通域的面积、长度、长宽比、平均宽度、周长、圆形度和最小包围矩形长宽比。
4) 基于分形维数的裂纹提取算法[4]。该算法先从图像中提取正方形窗口,再以窗口图像的差分盒特征识别含裂纹窗口。本实验中,该算法窗口尺寸为62×62像素,相邻窗口重叠面积为50%,图像库中总共提取了19 954个含裂纹窗口和217 646个非裂纹窗口。
实验选取图像库中40张图像作为训练集,剩余80张图像作为测试集。实验算法中提取的特征均采用支持向量机分类器作识别,均使用10-fold交叉验证方式训练。
表 1列出了4种对比实验算法和本文算法在测试图像上的查全率(recall)和查准率(precision)。对于前3种对比算法和本文算法,查全率是检出的真实裂纹占所有真实裂纹的比例,查准率是检出裂纹中真实裂纹的比例;对于基于分形维数的裂纹提取算法,查全率是检出含裂纹窗口占所有裂纹窗口的比例,查准率是检出含裂纹窗口占所有检出窗口的比例。从表 1中可以看出,相较于只使用几何形状特征或纹理特征的算法,本文提出的基于几何与纹理特征相融合的磁粉探伤裂纹提取算法在查全率和查准率上都有明显的优势:与基于脊线形状特征的算法相比,本文算法在查全率提高了1%的基础上,查准率提高了约45%;而与基于分形维数的裂纹提取算法相比,本文算法在查全率和查准率上分别提高了约17%和76%。
算法 | 查全率/% | 查准率/% |
脊线 | 100.00 | 4.42 |
脊线形状 | 90.40 | 44.20 |
连通域形状 | 63.13 | 23.99 |
分形维数 | 74.67 | 13.04 |
本文算法 | 91.41 | 89.16 |
图 6是实验中本文算法和3种基于几何形状特征或纹理特征的算法提取结果的查准率-查全率(precision-recall, PR)曲线。PR曲线越靠近右上角表明算法的检出能力越好。由图 6也可看出,本文算法在提取精度上明显优于只使用几何形状特征或纹理特征的算法。
4 结论
本文研究了融合几何特征与纹理特征提取裂纹的方法,提出一种基于几何与纹理特征相融合的磁粉探伤裂纹提取算法。本文算法首先根据裂纹的几何形状特征,提取图像里亮线中心的脊线作为待定裂纹;然后计算待定裂纹上各脊线点的SIFT描述子特征,并取平均值作为待定裂纹的纹理特征,使用支持向量机分类器识别。实验表明,融合裂纹几何形状特征和纹理特征提取磁粉探伤中裂纹的算法是有效的。与单一使用形状特征或纹理特征的算法相比,本文提出的基于几何与纹理特征相融合的算法在查全率和查准率上都有明显提升。今后进一步的研究将放在更详尽的分类器训练和测试以及将几何特征、纹理特征与其他特征的融合上。
[1] |
赵万民, 曾德文.
荧光磁粉探伤缺陷识别系统的研究现状与关键技术[J]. 铁道机车车辆工人, 2008(8): 1–4.
ZHAO W M, ZENG D W. Research status and key technologies of defect recognition system for fluorescent magnetic particle inspection[J]. Railway Locomotive and Rolling Stock Workers, 2008(8): 1–4. (in Chinese) |
[2] |
康健, 杜向党, 白龙.
火车轮对荧光磁粉探伤图像的裂纹识别技术研究[J]. 机械与电子, 2013(12): 44–46.
KANG J, DU X D, BAI L. Image recognition technology research of train wheel based on phosphor magnetic powder flaw detection[J]. Machinery and Electronics, 2013(12): 44–46. DOI:10.3969/j.issn.1001-2257.2013.12.012 (in Chinese) |
[3] |
李远江, 张华, 王姮, 等.
基于支持向量机的磁粉探伤智能识别算法[J]. 西南科技大学学报, 2015, 30(1): 66–70.
LI Y J, ZHANG H, WANG H, et al. Intelligent recognition algorithm based on support vector machine magnetic particle detection[J]. Journal of Southwest University of Science and Technology, 2015, 30(1): 66–70. (in Chinese) |
[4] | MAHENDRA A, STOLZ C, MERIAUDEAU F, et al. Automated inspection of tubular material based on magnetic particle inspection[C]//BINGHAM P R, LAM E Y. Image processing: Machine vision applications Ⅴ: Proceedings of SPIE. Bellingham, USA: SPIE, 2012: 830007. |
[5] |
张静, 杨薛涛, 王姮, 等.
荧光磁粉探伤智能图像识别技术研究[J]. 西南科技大学学报, 2014, 29(2): 82–86.
ZHANG J, YANG X T, WANG H, et al. Research of intelligent image recognition technology in fluorescent magnetic particle flaw detection[J]. Journal of Southwest University of Science and Technology, 2014, 29(2): 82–86. (in Chinese) |
[6] |
王姮, 卜燕, 张华, 等.
基于分形维数的磁痕图像缺陷检测[J]. 计算机应用研究, 2015, 32(2): 603–605.
WANG H, BU Y, ZHANG H, et al. Defect detection of magnetic particle indication image based on fractal dimension[J]. Application Research of Computers, 2015, 32(2): 603–605. (in Chinese) |
[7] | STEGER C. An unbiased detector of curvilinear structures[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(2): 113–125. DOI:10.1109/34.659930 |
[8] | STEGER C. Unbiased extraction of lines with parabolic and Gaussian profiles[J]. Computer Vision and Image Understanding, 2013, 117(2): 97–112. DOI:10.1016/j.cviu.2012.08.007 |
[9] | LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91–110. |
[10] |
谢凌曦. 基于局部特征的图像表示模型理论与实践[D]. 北京: 清华大学, 2015. XIE L X. Image representation models based on local features: Theory and practice[D]. Beijing: Tsinghua University, 2015. http://cdmd.cnki.com.cn/Article/CDMD-10003-1016712305.htm |
[11] | CORTES C, VAPNIK V. Support-vector networks[J]. Machine Learning, 1995, 20(3): 273–297. |
[12] | MA T, SUN Z G, ZHANG W Z, et al. A machine vision assisted system for fluorescent magnetic particle inspection of railway wheelsets[C]//CHIMENTI D E, BOND L J. AIP conference proceedings: Volume 1706. Melville, USA: AIP Publishing, 2016: 150003. |