基于生成对抗网络的车辆辐射图像复原方法
冷智颖1,2, 孙跃文1,2, 童建民1,2, 王振涛1,2    
1. 清华大学 核能与新能源技术研究院,北京 100084;
2. 核检测技术北京市重点实验室,北京 100084
摘要:在车辆辐射成像过程中,受到射线源的几何尺寸、探测器及信号放大电路响应时间、统计涨落等降质因素的影响,图像产生退化,表现为模糊与噪声增加。针对车辆辐射图像的退化问题,该文研究了辐射成像系统的退化模型,提出了利用生成对抗网络DeblurGAN的辐射图像复原方法。通过辐射图像的退化机制构造了辐射图像的特定数据集,用于训练DeblurGAN模型,利用训练好的模型去复原系统实际采集的车辆辐射图像。实验结果表明:该方法能够有效去除辐射图像的模糊与噪声,改善系统的成像质量。
关键词辐射图像    退化模型    生成对抗网络    图像复原    
Vehicle radiation image restoration based on a generative adversarial network
LENG Zhiying1,2, SUN Yuewen1,2, TONG Jianmin1,2, WANG Zhentao1,2    
1. Institute of Nuclear and New Energy Technology, Tsinghua University, Beijing 100084, China;
2. Beijing Key Laboratory on Nuclear Detection & Measurement Technology, Beijing 100084, China
Abstract: In vehicle radiation imaging, the size of the gamma ray source, the response time of detector and signal amplification circuits, statistical fluctuations and other factors degrade the image with blurring and noise. A model was developed to predict the image degradation in a radiation imaging system to support a radiation image restoration method based on DeblurGAN. A set of radiation images with simulated blurring was used to train the DeblurGAN model that was then used to restore the images. The results show that this method effectively eliminates blurring and noise in radiation images to improve imaging quality.
Key words: radiation image    degradation model    generative adversarial network    image restoration    

数字辐射成像系统在安全检查场景中有着广泛的应用,目前有一种用于车辆安全检查的直通式系统采用钴60Co源作为射线源,阵列气体电离室作为探测器,对行驶通过的车辆扫描成像,以获取车辆的辐射图像,从而检测车辆中是否藏匿违禁品。在实际成像的过程中,辐射图像不可避免地受到射线源尺寸、系统响应时间、统计涨落等因素的影响,从而发生退化,具体表现为:图像的边缘和细节特征出现模糊,噪声成分增加,图像质量降低。特别是当系统扫描成像速度较高时,系统响应时间的影响变大,图像变得模糊;同时,采集时间内的粒子数减少,图像中的统计涨落噪声成分增加,成像质量进一步恶化。然而,在车辆的安全检查场景中,往往要求系统同时保障较高的检测效率与较好的成像质量。因此,采用图像复原的方法改善数字辐射成像车辆检查系统较高的检测速率下的图像质量,提高图像的视觉效果,具有重要的现实意义。

近年来,深度学习技术在图像处理领域中有卓越的表现和广泛的应用,其中生成对抗网络(generative adversarial network, GAN)是一个重要分支。因为GAN模型生成的图像包含丰富的细节纹理,更接近真实,所以广泛应用于图像复原、超分辨率重建等任务中。Kupyn等[1]基于条件生成对抗网络提出了DeblurGAN用于去除运动模糊,DeblurGAN网络结构简单,去模糊效果非常出色,是当前去模糊效果最好的模型之一。

本文提出将DeblurGAN模型应用于直通式车辆检测系统的图像复原,使车辆辐射图像恢复清晰。首先,研究了直通车辆辐射图像的退化机制,建立了图像退化模型;其次,利用现有清晰的车辆辐射图像,根据图像退化模型生成模糊图像,构建了数据集;再次,使用合成的数据集训练DeblurGAN模型,利用训练好的模型复原测试集的图像,以验证复原效果;最后,利用模型处理系统实际采集的图像,生成清晰的图像。

1 辐射图像的退化 1.1 辐射图像退化原因及退化模型

在数字辐射成像车辆检测系统中,多种因素会导致图像发生退化,主要原因有:射线源有一定尺寸,成像在像面上有一定扩展区域,导致成像模糊[2];电离室探测器及信号放大电路的响应时间较长,造成输出信号有一定的延迟与畸变,导致扫描成像模糊[3-4]。由于系统采用逐列扫描成像的方式,射线源的几何尺寸只对图像的垂直方向有影响,在水平方向的影响可以忽略;探测器及信号放大电路只对图像的水平方向有影响。图像的退化过程可用点扩展函数(point spread function, PSF)描述,由射线源引起的模糊可用PSFγ表示,由探测器及信号放大电路引起的模糊可用PSFD表示,则系统的点扩展函数PSF是源项PSFγ与探测器及信号放大电路(探测系统)PSFD的卷积:

$ \mathrm{PSF}=\mathrm{PSF}_\gamma \cdot \mathrm{PSF}_{\mathrm{D}}. $ (1)

此外,图像包含噪声,噪声来源于射线与物质相互作用引起探测器的统计涨落噪声以及电子器件产生的电子学噪声。射线与探测器介质发生相互作用,产生次级电子,次级电子数服从Poisson分布[5],次级电子数信号经过线性变换处理转换到数字图像;电子学噪声与信号无关,近似服从Gauss分布,并且在频率域表现为白噪声,是一种Gauss白噪声。

根据对退化原因的分析,本文采用如下退化模型表示辐射图像的退化过程:

$ g=k P(o[h \cdot f])+w. $ (2)

其中:g为退化的辐射图像;h为点扩展函数,即PSF; f为原本清晰的图像; P(·)表示Poisson噪声的影响; w为加性Gauss白噪声; k为信号线性变换的变换系数; o为变换系数的倒数。

1.2 图像退化模型的参数测量

数字辐射成像车辆检测系统使用的100 Ci 60Co射线源的几何尺寸为Φ 4 mm×4 mm,平均能量为1.25 MeV,射线源的几何尺寸对成像有一定影响,源面积越大,成像越模糊。由于射线源经过准直器发射片状窄束,射线源只在图像的垂直方向上引起成像的扩展,射线源的点扩展函数可用垂直方向的线扩展函数(line spread function, LSF)来表示。射线源的线扩展函数LSFγ可以通过台阶法进行测量[6],台阶法是将理想的台阶放在成像系统中,由于系统存在点扩展函数,像面上的台阶边缘变得模糊,对模糊台阶像进行微分就可以得到线扩展函数。实验测量中,使用系统对钢板台阶进行成像,台阶方向为图像的垂直方向(y方向),从而获取射线源在垂直方向的线扩展函数LSFγ(y)。通过实验测量得到60Co射线源的线扩展函数,并采用Gauss函数拟合的结果,如图 1所示。

图 1 射线源线扩展函数及Gauss拟合曲线

图像的水平方向(x方向)上,由探测器及信号放大电路(探测系统)引起模糊的点扩展函数PSFD,也称为冲激响应。探测系统的冲激响应可以利用脉冲X射线入射到气体电离室,测量探测系统的输出得到。实验中采用美国GE公司的XRS-3射线源产生脉冲X射线,X射线的持续时间为50 ns,与系统的响应时间(毫秒量级)相比,可认为X射线的持续时间极短,输入为冲激信号。经实验测量得到的探测系统的冲激响应,即PSFD,以及采用线性与指数函数拟合的结果,如图 2所示。

图 2 探测系统的点扩展函数及拟合曲线

系统的PSF为PSFγ与PSFD的卷积,如图 3所示。

图 3 系统的点扩展函数

噪声主要由统计涨落的Poisson噪声和电子学的Gauss白噪声构成,根据探测器内产生的等效电子数X服从Poisson分布,等效电子数信号经k倍变换到图像信号,由Poisson分布可知:图像中某一点的信号值S的期望为E(S)=kE(X),方差为D(S)=k2E(X),图像中统计涨落噪声的方差是信号的期望值的k倍。实际测量中,采集不同厚度的均匀钢板的输出信号,得到每一种厚度的钢板区域信号的均值μ和方差σ2,再将信号经过归一化处理后,利用直线进行拟合,如图 4所示。

图 4 噪声方差与均值

直线的斜率就为图像的变换系数k,对于电子学的Gauss白噪声,由于其强度较小并且是一种加性噪声,抑制较为容易,因此本文假定Gauss白噪声的强度为某一较小的值。

2 DeblurGAN模型 2.1 网络结构

DeblurGAN是当前图像去模糊效果最好的模型之一,由Kupyn等[1]于2018年提出。DeblurGAN使用了深度残差网络的结构,该模型具有较深的网络层数,具备强大的表征能力和更好的图像生成效果。在DeblurGAN的训练过程中,生成器与判别器以对抗的方式进行训练,模糊图像和对应的清晰图像作为训练集输入网络模型。生成器通过学习数据的分布,将输入的模糊图像转化成清晰图像,判别器通过判别图像是生成的还是真实的,从而不断优化生成器生成更真实的图像。在训练完成后,将图像输入生成器,就能直接得到去模糊的图像。DeblurGAN网络结构如图 5所示。

图 5 DeblurGAN的网络结构

1) 生成器模型。

DeblurGAN的生成器包括2个卷积模块、9个残差模块和2个反卷积模块[1]。每个残差模块包括1个卷积层、1个实例归一化层、1个ReLU激活层。引入残差连接,将输入叠加到输出,加快收敛速度。如图 6所示。

图 6 DeblurGAN生成器结构

2) 判别器模型。

DeblurGAN判别器的结构如图 7所示,采用PatchGAN[7]的形式,使用实例归一化层、leakyReLU激活层分别代替PatchGAN中的批归一化层和ReLU激活层。判别器是将整张图像的每个图像块作为输入判断真实性,最后将所有图像块真实性的平均值作为输出。判别器关注的是图像块而不是整张图像,有利于保持图像局部的高频信息,使恢复的图像更为清晰。

图 7 DeblurGAN判别器结构

2.2 损失函数

DeblurGAN的损失函数由对抗损失和内容损失构成,表示如下:

$ L=L_{\mathrm{GAN}}+\lambda \cdot L_{\mathrm{X}}. $ (3)

其中:LGAN为对抗损失;LX为内容损失;λ为超参数,用于平衡对抗损失和内容损失的权重。

对抗损失采用WGAN-GP[8],该损失函数使用了梯度惩罚方式使得GAN的训练更稳定,更加鲁棒,几乎无需调整超参数。对抗损失表示如下:

$ {L_{{\rm{GAN}}}} = \sum\limits_{n = 1}^N - {D_{{\theta _G}}}\left( {{G_{{\theta _G}}}\left( {{I_{\rm{B}}}} \right)} \right). $ (4)

其中:IB为模糊图像,DθG为判别器,GθG为生成器。

内容损失采用基于VGG-19网络模型[9]的感知损失[10],将生成的图像与真实清晰图像输入预训练好的VGG-19网络模型,计算2张图像经过VGG-19网络的深层特征图之间的均方误差,代表图像之间在特征空间的差异度,更贴近人眼感知。内容损失计算表达式如下:

$ \begin{array}{*{20}{c}} {{L_{\rm{X}}} = \frac{1}{{{W_{i, j}}{H_{i, j}}}} \cdot {\rm{ }}}\\ {\sum\limits_{x = 1}^{{W_{i, j}}} {\sum\limits_{y = 1}^{{H_{i, j}}} {{{\left( {{\phi _{i, j}}{{\left( {{I_{\rm{S}}}} \right)}_{x, y}} - {\phi _{i, j}}{{\left( {{G_{{\theta _G}}}\left( {{I_{\rm{B}}}} \right)} \right)}_{x, y}}} \right)}^2}} } .} \end{array} $ (5)

其中:IB为模糊图像,IS为对应的清晰图像,ϕ为模型的某一卷积层输出的特征图,WH分别为特征图的宽和高。

3 实验设计与结果 3.1 数据集构成

本文自建的数据集由车辆辐射图像构成,可以利用拖动式车辆检测系统采集到清晰的图像,该系统采用X射线机作为射线源,焦点大小为1.4 mm×1.4 mm,采用固体探测器组成阵列探测器。拖动式车辆检测系统可以在较慢的扫描速度下成像,探测器及信号放大电路的响应时间对图像的影响较小,图像的噪声较小;而且使用的X射线源的焦点较小,对图像的影响也较小,所以可认为该系统采集到的图像是理想的清晰图像。利用1.2节中获得的退化模型对清晰图像进行退化处理,合成相应的模糊图像,以模拟钴源-气体电离室车辆检测系统实际采集到的模糊图像。数据集包含2 000张车辆辐射清晰图像和相应合成的模糊图像,数据集涵盖多种类型车辆的辐射图像,图像像素为1 984×2 000~1 984×3 200。从数据集中随机选取1 200对清晰图像—模糊图像对作为训练集,随机选取400对作为验证集,剩余400对作为测试集。利用训练集训练DeblurGAN模型,在训练时将图像随机裁剪为256×256像素大小再输入模型,以减小显存开销。数据集中的清晰图像和模糊图像如图 8所示。

图 8 车辆辐射图像数据集

3.2 训练过程

采用Adam优化算法[11],迭代次数为300次。算法的初始学习率为0.000 2,学习率线性减小,第300次迭代时学习率为0。初始化网络参数时,采用均值为0,标准差为0.01的正态化分布。训练时,批量大小为1,选定损失函数中的超参数λ为10-4。完成整个训练需要大约5 d,将最后一次迭代的结果作为模型的权值。

3.3 实验结果

利用训练完成的DeblurGAN模型对合成的测试数据集进行处理,测试集包含400对清晰—模糊图像对,采用峰值信噪比(peak signal to noise ratio, PSNR)和结构相似性(structural similarity, SSIM)评价图像的复原效果,评价结果见表 1

表 1 合成测试数据集的复原结果
评价指标 平均PSNR/dB 平均SSIM
处理前 30.197 8 0.815 1
DeblurGAN 35.532 2 0.889 6

表 1中可以看出,该模型对合成的模糊图像处理后,图像的PSNR和SSIM有较大的提升,表明了图像质量得到了较大的提升。

利用DeblurGAN模型对钴源—气体电离室直通式系统真实采集的图像进行处理,并与经典的图像复原方法RL-TV算法[12]的处理效果进行对比,结果如图 910所示。

图 9 车辆辐射图像1复原效果对比

图 10 车辆辐射图像2复原效果对比

从结果可以看出,使用RL-TV方法对车辆检测系统真实采集的图像复原后,图像边缘和细节得到了锐化,但复原效果存在不足,出现了噪声放大和伪影的现象;使用DeblurGAN模型对图像复原后,图像有清晰的边缘轮廓和细节纹理,车中的物品边缘更加锐化,并且噪声得到了抑制。因此,DeblurGAN模型能够更为有效地复原车辆辐射图像,提升系统的成像质量。

4 结论

本文将生成对抗网络引入车辆辐射图像复原中,利用现阶段去模糊效果最好的模型之一的DeblurGAN改善数字辐射成像车辆检测系统的图像质量。通过实验测量得到了系统的图像退化模型,并对已有的清晰图像进行退化处理合成模糊图像,构建了辐射图像特定的数据集,利用构建的数据集训练网络模型,训练完成后的模型在测试集上验证效果,该模型提升了测试集图像的PSNR、SSIM值。随后,利用该模型复原车辆检测系统实际采集到的图像,并且与图像复原的经典方法RL-TV算法的复原效果进行对比,该模型具有更好的复原效果,不仅有效去除了图像模糊,还抑制了噪声,有效提高了系统的成像质量。

本文的研究成果对于改善车辆检测系统特定扫描速度下的图像质量具有重要意义。此外,在实际应用中,接下来的研究工作可以尝试提高模型的泛化能力,以解决实际场景中图像去模糊的问题。例如,通过利用该系统不同扫描速度下的图像退化模型,构建更丰富的成对数据集对模型进行优化,从而使得该模型能够处理该系统在不同扫描速度下得到的模糊图像,提升该方法的实用性。

参考文献
[1]
KUPYN O, BUDZAN V, MYKHAILYCH M, et al. DeblurGAN: Blind motion deblurring using conditional adversarial networks[C]// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE, 2018: 8183-8192.
[2]
顾伯华, 周立业, 安继刚. 辐射成像无损检测技术中辐射源几何尺寸引起图像模糊的恢复[J]. 核电子学与探测技术, 2002, 22(1): 17-19.
GU B H, ZHOU L Y, AN J G. Restoration of blurred image caused by the size of radiation source in NDT digital radiography[J]. Nuclear Electronics and Detection Technology, 2002, 22(1): 17-19. (in Chinese)
[3]
刘锡明, 吴志芳, 安继刚, 等. 60Co集装箱检测系统直流模式下图像模糊问题的研究[J]. 核电子学与探测技术, 2000, 20(5): 332-335.
LIU X M, WU Z F, AN J G, et al. Restoration from the blurred image caused by the continuous characteristic of the 60Co container inspection system[J]. Nuclear Electronics and Detection Technology, 2000, 20(5): 332-335. (in Chinese)
[4]
吴志芳, 刘锡明, 苗积臣. 钴-60集装箱检测系统的冲激响应和图像时域反卷积算法[J]. 原子能科学技术, 2002, 36(3): 235-237.
WU Z F, LIU X M, MIAO J C. Impulse response function and time-field anti-convolution method of 60Co container inspection system[J]. Atomic Energy Science and Technology, 2002, 36(3): 235-237. (in Chinese)
[5]
夏雄军. 辐射图像噪声及CT环形伪影消除[D]. 北京: 清华大学, 2007.
XIA X J. Reduction of radiation image noise and CT ring artifacts[D]. Beijing: Tsinghua University, 2007. (in Chinese)
[6]
江孝国, 王婉丽, 王伟, 等. 台阶法测量辐射成像系统扩展函数的误差分析[J]. 强激光与粒子束, 2004, 16(6): 693-696.
JIANG X G, WANG W L, WANG W, et al. Error analysis on the measurement of spread function of radiography system by step method[J]. High Power Laser and Particle Beams, 2004, 16(6): 693-696. (in Chinese)
[7]
ISOLA P, ZHU J Y, ZHOU T H, et al. Image-to-image translation with conditional adversarial networks[C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, USA: IEEE, 2017: 5967-5976.
[8]
ARJOVSKY M, CHINTALA S, BOTTOU L. Wasserstein GAN[J]. arXiv preprint arXiv, 2017: 1701.07875.
[9]
SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv, 2014: 1409.1556.
[10]
JOHNSON J, ALAHI A, FEI-FEI L. Perceptual losses for real-time style transfer and super-resolution[C]// Proceedings of the 14th European Conference on Computer Vision. Amsterdam, Netherlands: Springer, 2016: 694-711.
[11]
KINGMA D P, BA J. Adam: A method for stochastic optimization[J]. arXiv preprint arXiv, 2014: 1412.6980.
[12]
DEY N, BLANC-FERAUD L, ZIMMER C, et al. Richardson-Lucy algorithm with total variation regularization for 3D confocal microscope deconvolution[J]. Microscopy Research and Technique, 2006, 69(4): 260-266.