基于机器视觉的药液检测系统的光辐射场优化方法
李伟, 王伯雄, 杨春毓, 柳建楠
清华大学 精密仪器与机械学系, 精密测试技术及仪器国家重点实验室, 北京 100084
王伯雄, 教授, E-mail:wangbx@tsinghua.edu.cn

作者简介: 李伟(1983—), 男(汉), 山西, 博士研究生。

摘要

在基于机器视觉系统的瓶装药液检测技术中,药液中杂质颗粒的光辐射场分布直接影响其在药液图像中的信息强度,从而影响系统对杂质颗粒的检出率。为了提高药液检测系统的检出率,该文根据折射定律等光学定律,首先采用光线积分法分析得到了杂质颗粒的光辐射场分布规律,然后将光辐射场分解为两个基本场的叠加,运用基本场对应的矩阵的叠加矩阵的均方差度量来进行光辐射场的优化。实验结果表明: 根据该优化方法搭建的药液检测系统与传统的检测系统相比,光辐射场分布更加均匀,颗粒检出率提高了26%。

关键词: 光辐射场; 折射定律; 光线积分法; 机器视觉; 均方差度量
中图分类号:O432.1 文献标志码:A 文章编号:1000-0054(2014)06-0787-07
Optical field optimization of liquid detection systems using machine vision
Wei LI, Boxiong WANG, Chunyu YANG, Jiannan LIU
State Key Laboratory of Precision Measurement Technology and Instruments, Department of Precision Instruments and Mechanology, Tsinghua University, Beijing 100084, China
Abstract

Machine vision systems are used to analyze bottled liquid medicines. The systems detect light reflected from impurity particles in the liquid with the detection ability directly affecting the system impurity detection rate. The system is optimized here to improve the system liquid detection rate. The regularity of the optical field distribution is obtained using the light integral method and the refraction law. Then, the light distribution is decomposed into a superposition of two basic fields with the distribution optimized using the mean square error of the superposition matrix of the matrixes for the two fields. Tests show that this optimization method effectively optimizes the light distribution and improves the impurity detection rate by 26%.

Keyword: optical field; refraction law; light integral method; machine vision; mean square error

根据国家药典规定,合格药液中杂质异物的粒径不得大于50 μm[1]。基于机器视觉的药液检测技术的主要原理是对CCD(charge-coupled device)拍摄获得的药液图像进行处理,获取异物杂质的微小目标的信息。药液图像质量的好坏、杂质信息的强弱都会对图像处理结果产生很大的影响。

基于机器视觉的瓶装药液检测技术在国内处在刚起步的阶段。目前,国内进行相关研究的人员主要将精力放在药液图像处理方面,不少学者对药液图像的配准[2,3]、目标特征检测[4,5,6]、微弱目标的识别[7,8]、杂质颗粒的粒径标定[9]进行了深入的研究,取得了较为理想的结果。但是,由于缺乏对药液中杂质颗粒光辐射场的研究,使得对药液图像采集系统的结构改进缺乏依据和方向,同时也造成了软件算法的复杂度的不断提高,越来越成为制约瓶装药液检测技术发展的一个重要原因,因此对药液中杂质颗粒的光辐射场分布规律及优化进行研究是十分必要的。

异物颗粒在药液中的光辐射场可以等效为两个场的叠加: 光源照射药液形成的光强分布场; 均匀光场中颗粒对指定接收器(CCD)的辐射强度分布场。本文根据光学理论进行数学建模和理论推导,得到了这两个场的分布规律,然后将两个场等效为矩阵,根据叠加矩阵的均方差度量来进行整体光辐射场的优化,最后设计实验验证了该优化方法的可行性和有效性。

1 瓶装液体的等效折射率

常见的药液包装瓶为安瓿瓶、西林瓶或者输液瓶,均属于透明柱形玻璃瓶。光线入射瓶装药液要经过两次界面的折射。为了方便数学模型的建立,需要对瓶装液体的等效折射率进行研究。如图1所示,光线从空气中入射进入装有液体的玻璃瓶。其中: 玻璃瓶的折射率为 n1,半径为 R; 液体的折射率为 n2,半径为 r; α β分别为空气-玻璃界面处的入射角和折射角; β', γ分别为玻璃-液体界面处的入射角和折射角,则根据折射定律(Snell定律)和正弦定理有:

sinα=n1·sinβ,(1)n2·sinγ=n1·sinβ',(2)r·sinβ'=R·sinβ.(3)

则等效折射率为

n'=sinαsin(β+γ-β'=n1·sinβsin(β+γ-β'.(4)

根据式(3)可知,当 R-r R,即药瓶装液体的瓶壁相对瓶体自身很薄的时候, β β',此时等效折射率为 n2·rR,即 n2

图1 光线入射瓶装药液的等效折射率

2 光源照射在药液形成的光强度分布场

假设光源光线平行入射药液瓶,则由于药液瓶圆柱表面的曲率会导致光线在圆柱的横切面上产生折射,在纵切面上则无变化,因此截取某一圆柱横切面(圆面)进行研究即可得到光源照射在液体中形成的光场分布规律。

将瓶装药液简化为折射率为 n的柱形介质,如图2所示,光线在介质中的光场分布是入射折射光和多次反射光共同形成的,分别对折射光场和反射光场进行计算,最后叠加两个分布场即可得到结果。

图2 光线在介质边界的折射与反射

2.1 折射光线形成的光场分布

采用光线积分法[10]对折射光场分布进行研究,光路图如图2所示。将均匀的入射光束在 y轴方向进行平均分割,截取0≤ h R段进行分析。设 k为分割数量,相邻光束间的距离Δ h=R/k。每束光束的能量都是相等的,设为1。每束光束的入射角 α满足式(5)。其中: h为光束与 x轴间的距离, R为柱形介质的半径。

sinα=h/R.(5)

该光束的折射角 β满足折射定律,表达式见式(6)。根据Fresnel公式,每条光束折射后的能量Δ E( α)满足式(7)。

sinα=n·sinβ.(6)ΔE(α)=1-12sin2(α-β)sin2(α+β)+tan2(α-β)tan2(α+β).(7)

对于介质内坐标为( x, y)的点而言,它的折射光强 E( x, y)应该为各条经过该点的折射光束能量的叠加。由于药液检测的机器视觉系统采用的是单色LED光源,光源的光谱宽度为15~20 nm,因此此处的光束能量叠加可以看作非相干光的能量叠加,其叠加值为各条光束能量的数值和[11]

根据几何分析,每条折射光束与 x轴的交点横坐标为 R sinαtan(α-β)-cosα,则 x轴上方折射光线组的方程满足式(8), 下方折射光线组方程满足式(9)。

y=A(α)·(x+B(α)).(8)y=-A(α)·(x+B(α)).(9)

其中:

A(α)=-tan(α-β),(10)B(α)=Rcosα-sinαtan(α-β).(11)

则介质内坐标为( x, y)的点的折射光强 E( x, y)为

E(x,y)=h=-RRΔE(α).(12)

其中, α满足

(y-A(α)·(x+B(α)))·(y+A(α)·(x+B(α)))=0.(13)

k取值无穷大、 Δ h无穷小时,光束就可以看作一条光线,式(12)计算的结果就越接近实际情况。取 k=10 000, R=1, n取水的折射率1.33,圆面作100×100的网格划分,依据上述算法利用计算机得到的折射光场分布如图3所示。从图3可以看出,光线经过折射在圆面内形成了明显的亮区、暗区和无光区。

2.2 反射光线形成的光场分布

光线经过第一次折射进入柱形介质内的能量比例满足

η=h=-RRΔE(α)dh/h=-RR1·dh0.9544.(14)

这些光线在圆面的另一侧将发生第一次反射,反射光线将对折射光场进行加强。根据Fresnel公式,每条折射光束经过第一次反射后的能量Δ E'( α)满足

ΔE'(α)=ΔE(α)2·sin2(β-β'sin2(β+β'+tan2(β-β'tan2(β+β'.(15)

其中, β'为折射光线在圆面另一侧将发生第二次折射时的折射角,根据折射定律可知 β'=α

折射光线经过第一次反射后相对于反射前保留的能量比例为

η=h=-RRΔE'(α)dh/h=-RRΔE(α)dh0.004.(16)

由上述分析可知,柱形介质横截面内的光强分布主要由第一次折射光决定,第一次反射光总体能量只有反射前的0.4%,只能对局部区域进行加强。为了简化模型计算,忽略除第一次反射外的其他反射光线。

沿用第2.1节的分析方法,得到 x轴上方折射光线组的方程满足式(17), 下方折射光线组方程满足式(18)。

y=K·(x-D(α))+E(α).(17)y=-K·(x-D(α))-E(α).(18)

其中:

则介质内坐标为( x, y)的点的反射光强 E'( x, y)为

E'(x,y)=h=-RRΔE'(α).(22)

其中, α满足

(y-K·(x-D(α))-E(α))·(y+K·(x-D(α))+E(α))=0.(23)

k=10 000, R=1, n取水的折射率1.33,圆面作100×100的网格划分,依据上述算法利用计算机得到的第一次反射光场分布如图4所示。从图4可以看出,光线经过第一次反射后将光束能量聚焦在圆心的右侧,对该处区域进行了再次加强。

2.3 叠加光场分布

平行光源照射在液体中形成的总光场分布为折射光场和反射光场分布的叠加,数学运算属于矩阵加和。对上面2个光场选取同样参数,并进行叠加,归一化处理后,总光强分布如图5所示。

图5可以看到,叠加光场沿着光线的入射方向不断增强, x轴方向圆心两侧的光强最大有4倍左右的差异,并且由于光线偏折的原因,在圆面右半侧的远心端出现了约占圆面积11.4%的无光区。异物颗粒如果处在这个区域,将不能向CCD镜头辐射光线,也不会在CCD图像中产生目标信息。

3 均匀光场中颗粒对指定接收器(CCD)的辐射强度分布场

药液中的杂质颗粒粒径一般在40 μm以上,至少为可见光波长的60倍,杂质颗粒在接受光线照射后,将发生光的弹性散射[12]。杂质颗粒在图像中的信息强弱与其散射进入CCD镜头的光线数量紧密相关。为了分析方便,将发生散射的杂质颗粒等效为点光源。这样,要研究的问题就是点光源在圆面内不同位置向指定接收器辐射光线数量,如图6所示。

图6 圆形介质中的点光源的光线辐射

采用光线积分法分析此问题。在图6中圆心处先建立极坐标系,则设点光源 A的坐标为( r, φ),对应于直角坐标系下的坐标为( rcos φ, rsin φ), OC =l, CD = CD' =d,点光源经过界面折射后与直线 DD'的交点为 E,则 E点在直角坐标系下的坐标为( l, z), z为未知数。

θ进行细分,将圆等分成 n段,则有 n·Δ θ=2π。对于圆上任意一等分点 B( k), 其极坐标为( R, θ),其中: θ=k·Δ θ, k=1,2,3… n,其对应直角坐标系下的坐标为( Rcos θ, Rsin θ)。根据折射定律进行向量运算,则向量 OB, AB, BE满足

OB×ABOB·AB·n=OB×BEOB·BE.(24)

代入 O, A, B, E各点的坐标即可解出 z值。判断 -d z d是否成立,即可判断点光源 A通过点 B( k)折射出的光线是否进入指定接收器。设点光源各方向发出的光线为等强光线,每条光线的能量为1,则点光源 A通过点 B( k)折射出的光线能量Δ E( k)满足

ΔE(k)=1-12sin2(α-β)sin2(α+β)+tan2(α-β)tan2(α+β),α<φ;0,αφ.25

式中: α β分别通过计算arcsin OB×ABOB·AB与arcsin OB×BEOB·BE即可获得, φ=arcsin 1n为全反射角。由于一旦光线在界面处发生全反射,则此条光线会在圆形界面内一直全反射下去,不能折射逃逸出圆形介质,因此通过式(25)可以完备地计算所有光线的折射光强。

极坐标为( r, φ)、 直角坐标系坐标为( rcos φ, rsin φ)的点光源对指定接收器的光辐射强度 E( r, φ)为

E(r,φ)=θ=02πΔE(k).(26)

其中,Δ E( k)对应的折射光线应与直线 DD'有交点,且交点 E( l, z)应满足 -d z d

按照以上方法,根据药液检测的实际情况, l为CCD镜头与药液瓶的距离,这里取 l=20 R, d为镜头直径,这里取 d=2 R,其余参数取与第2.1和2.2节中相同的参数值,利用计算机分析得到的归一化后的点光源对指定接收器的辐射强度分布场如图7所示。

图7 点光源的辐射强度分布场

图7可以发现,点光源在圆面上的不同分布会极大地影响其对指定接收器的光辐射强度值,远离接收屏一侧的空间光辐射强度明显高于另一侧, x轴方向圆心两侧的光辐射强度最大有2.5倍左右的差异; 在圆面左侧远心端出现了辐射盲区,约为圆面积的15.8%,辐射盲区的大小与接收器的大小、接收器与药液瓶的距离相关。接收器越大,距离越近,辐射盲区越小。点光源处在辐射盲区中将无法向接收器辐射光线,这意味着瓶装药液中杂质颗粒如果处在辐射盲区,将无法在药液图像中产生目标信息。

4 杂质颗粒光辐射场的优化方法
4.1 常见药液检测系统的光辐射场分布情况

国内目前基于机器视觉的药液检测系统,基本均采用单工位单CCD单光源的形式采集药液图像,并且光源大多为背光照明,这种情况下,其总的光辐射场分布为第2.3节和第3节中两个分布场的叠加,对应的数学运算为矩阵的点乘。具体分布情况如图8所示,可以看出,两个场叠加后,光辐射盲区大大增加了,约有27%的区域变成了辐射盲区。一旦药液中杂质处于辐射盲区,就会造成检测系统无法检测到杂质目标,造成漏检现象,因此需要对这个光辐射场进行优化。

图8 目前国内药液检测系统的光辐射场分布情况

4.2 光辐射场的矩阵优化法

根据以上分析可知,基于机器视觉的药液检测系统的杂质颗粒光辐射场的分布主要与光源、 CCD相关,光源和CCD的数量、光源和CCD之间的相对角度都会对杂质颗粒的光辐射场产生较大的影响。因此,对光辐射场的优化就变成了对CCD、光源空间结构的优化,优化的标准就是CCD和光源共同构建的杂质颗粒光辐射场分布均匀,且没有辐射盲区。

将单个光源形成的光场分布转化为矩阵,设为 A,则新增的光源形成的光场矩阵为 k· A'。其中, k为相对亮度系数。 A'则应该为 A旋转角度得到的新矩阵,设为 A( θ), 则多个光源共同形成的光场矩阵为

Fl=A+k1A(θ1)+k2A(θ2)++knA(θn).(27)

将单个CCD形成的光辐射场转化为矩阵,设为 B,新增的CCD形成的光辐射场矩阵为 r· B'。其中, r为相对光圈系数。 B'则应该为 B旋转角度、变化通光孔径 d或者变化距离 l得到的新矩阵,设为 B( α, l, d), 则多个CCD共同形成的光辐射场矩阵为

Fr=B+r1B(α1,l1,d1)+r2B(α2,l2,d2)++rmB(αm,lm,dm).(28)

则总的辐射场矩阵为

F=Fr·Fl.(29)

总辐射场越均匀,杂质在药液中的辐射强度越统一,辐射盲区也越小,总辐射场对应的矩阵 F的均方差 σ( F)也越小。因此,根据 σ( F)的大小可以衡量新的机器视觉结构的好坏。

在实际优化过程中,考虑到药液检测系统机械结构的限制,对光源形成的光场优化的最佳方法是采取对瓶装药液底部照明的方式直接获得均匀分布的光场,之后再调整CCD的个数和空间结构来求取 σ( F)的最小值,即 σ( Fr)的最小值,来完成系统的光辐射场的优化。

5 实验及分析
5.1 光场分析的正确性验证

为了验证本文分析结果的正确性,以洗涤干净加注去离子水并在其中放置长度大于瓶体直径的白色塑料板的透明西林瓶作为验证瓶,如图9所示。在单CCD单光源侧面照明的机器视觉系统下,西林瓶图像中白板区域每行像素的亮度之和的分布规律应该与本文第5.1节分析的结果一致。

选用的西林验证瓶直径为1.7 cm,白板的宽度为3 mm,调整白板以使其正对CCD镜头。在一张图中分别绘制白板图像每行像素的灰度之和按照像素行数的变化曲线以及第4.1节光辐射场中 x轴附近区域的变化曲线,如图10所示。

图10 白板灰度分布曲线和光辐射场近轴分布曲线

图10可以看出,两条曲线有着相同的分布趋势,白板灰度分布曲线的最高点位置更加偏右,最大值和最小值的比值也相对更大。这是由于实际机器视觉系统中选用的光源尺寸要大于西林瓶本身,超出西林瓶大小的光源面由于表面漫反射板的作用,向西林瓶体投射侧向的光线,使得西林瓶内光场分布更不均匀,靠近光源的一侧区域相对更加暗淡,从而使得光辐射场在 x轴附近有了更为明显的梯度变化。

5.2 光辐射场优化方法有效性的验证

为了验证本文光辐射场优化方法的有效性,设计标准颗粒瓶,即在洗涤干净加注去离子水的西林瓶中滴加2滴含有标准颗粒的滴液,标准颗粒为粒径大小为50 μm聚合乳胶颗粒,每滴标准颗粒滴液中含有4~5个聚合乳胶颗粒。

设计搭建如图11所示的对称分布图像采集系统,根据第2.3节和第3节的分析可知,此系统中,底部照明光源形成的光场分布是均匀的, 2个CCD形成的光辐射场也是基本均匀的,则总的光辐射场的均匀性也是相对较好的。利用该系统与传统的单光源侧面照明、单CCD采集的图像采集系统进行比较。

两种系统各自采集旋转急停后的标准颗粒瓶的50幅图像,通过计算检测到的标准颗粒的个数和颗粒图像信息的灰度平均值、标准差进行系统间的优劣比较。其中,对称分布系统的颗粒统计是合并两个CCD图像得到的,得到的数据如表1所示。

表1 标准颗粒瓶检测数据对比

表1可以看出,根据本文优化方法搭建的对称分布图像采集系统与传统图像采集系统相比,光场分布更加均匀,颗粒的灰度均方差降低了近70%,杂质颗粒的检出率提高了26%。

6 结 论

为了提高药液检测系统的检出率,本文根据折射定律等光学定律分析得到了药液中杂质颗粒的光辐射场分布规律,将光辐射场分解为反射光场和折射光场两个基本场的叠加,提出了矩阵均方测度下的光辐射场结构优化方法。最后,通过实验证明本文的光辐射场分析结果与实际相符,所提出的光辐射场的优化方法可行有效。

The authors have declared that no competing interests exist.

参考文献
[1] 叶瑛瑛. 药品生产验证指南 [M]. 北京: 中国医药科技出版社, 1996.
YE Yingying. Pharmaceutical Production Validation Guidelines [M]. Beijing: China Medical Science Press, 1996. (in Chinese) [本文引用:1]
[2] 温江涛, 王伯雄, 秦垚. 基于局部灰度梯度特征的图像快速配准方法[J]. 清华大学学报: 自然科学版, 2009, 49(5): 673-675.
WEN Jiangtao, WANG Boxiong, QIN Yao. Rapid image registration based on local grey scale gradient characteristics[J]. Journal of Tsinghua University : Science and Technology, 2009, 49(5): 673-675. (in Chinese) [本文引用:1] [CJCR: 0.609]
[3] 李伟, 王伯雄, 王雪, . 一种基于安瓿检测的快速图像配准方法的实现[J]. 电测与仪表, 2010, 47(7): 5-8.
LI Wei, WANG Boxiong, WANG Xue, et al. A fast image registration method applied in ampoule detection[J]. Electrical Measurement & Instrumentation, 2010, 47(7): 5-8. (in Chinese) [本文引用:1] [CJCR: 1.11]
[4] 熊路, 王耀南, 陈铁健. 基于机器视觉的安瓿自动灯检平台[J]. 计算机测量与控制, 2011, 19(1): 179-182.
XIONG Lu, WANG Yaonan, CHEN Tiejian. Ampoule foreign substance detection platform based on machine vision technology[J]. Computer Measurement & Control, 2011, 19(1): 179-182. (in Chinese) [本文引用:1] [CJCR: 0.6]
[5] 葛继, 王耀南, 张辉, . 基于改进型PCNN的智能灯检机研究[J]. 仪器仪表学报, 2009, 30(9): 1866-1873.
GE Ji, WANG Yaonan, ZHANG Hui, et al. Study of intelligent inspection machine based on modified pulse coupled neural network[J]. Chinese Journal of Scientific Instrument, 2009, 30(9): 1866-1873. (in Chinese) [本文引用:1] [CJCR: 2.124]
[6] 杨双, 王耀南. 高速医药生产线上安瓿溶液异物在线检测与跟踪方法[J]. 仪器仪表学报, 2011, 32(3): 488-494.
YANG Shuang, WANG Yaonan. On line detection and tracking method of foreign substances in ampoules in high-speed pharmaceutical lines[J]. Chinese Journal of Scientific Instrument, 2011, 32(3): 488-494. (in Chinese) [本文引用:1] [CJCR: 2.124]
[7] 秦垚, 王伯雄, 李伟, . 应用级联分类器检测安瓿内弱小运动目标[J]. 光学精密工程, 2012, 20(1): 190-196.
QIN Yao, WANG Boxiong, LI Wei, et al. Inspection of small moving foreign substances in ampoule based on cascade classifiers[J]. Opt Precision Eng, 2012, 20(1): 190-196. (in Chinese) [本文引用:1] [CJCR: 1.81]
[8] 秦垚, 王伯雄, 李伟, . 基于液面分割的安瓿内漂浮小目标检测算法[J]. 清华大学学报: 自然科学版, 2012, 52(1): 21-24.
QIN Yao, WANG Boxiong, LI Wei, et al. Floating impurity inspection algorithm in ampoule based on liquid level segmentation[J]. Journal of Tsinghua University: Science and Technology, 2012, 52(1): 21-24. (in Chinese) [本文引用:1] [CJCR: 0.609]
[9] 秦垚, 王伯雄, 罗秀芝. 基于Zernike 正交矩的亚像素图像线宽测量算法[J]. 光学技术, 2012, 38(6): 729-733.
QIN Yao, WANG Boxiong, LUO Xiuzhi. Measurement algorithm for sub-pixel line width in images based on Zernike moment[J]. Optical Technique, 2012, 38(6): 729-733. (in Chinese) [本文引用:1] [CJCR: 0.416]
[10] 袁斌. 直线网格B样条混合滤波GPU光线投射[J]. 计算机辅助设计与图形学学报, 2013, 25(1): 110-119.
YUAN Bin. Rectilinear grid GPU recasting with B-spline hybrid filtering[J]. Journal of Computer-Aided Design & Computer Graphics, 2013, 25(1): 110-119. (in Chinese) [本文引用:1] [JCR: 2.782]
[11] 李彬, 曾晓东, 商继敏, . 大功率半导体激光阵列远场光强分布研究[J]. 光电子·激光, 2012, 23(4): 667-674.
LI Bin, ZENG Xiaodong, SHANG Jimin, et al. Study on the far-field intensity distribution of high-power semiconductor bar and stack lasers[J]. Journal of Optoelectronics & Laser, 2012, 23(4): 667-674. (in Chinese) [本文引用:1]
[12] 张洪欣, 高宁. 物理光学[M]. 北京: 清华大学出版社, 2010.
ZHANG Hongxin, GAO Ning. Physical Optics [M]. Beijing: Tsinghua University Press, 2010. (in Chinese) [本文引用:1]