Research on polarization-low level integrated imaging technology based on EMCCD
-
摘要: 单一探测器实现多维度信息获取是光电探测未来的发展方向。针对目标探测中能量和偏振信息不能兼顾的问题,提出了一种同时具有偏振-微光功能的像元阵列结构。通过引入白光通道和精简偏振通道,可在EMCCD器件上实现偏振和微光探测的一体化集成。实验结果表明,在微光条件下,探测器高灵敏性能被保持,低照度下的成像质量几乎不衰减;偏振模式下,白光通道和两个偏振角度使探测器能够获得足够的偏振信息,实现对目标的偏振探测。该方法实现了高灵敏度成像探测和偏振信息探测的同步获取,是一种通过算法处理就能够实现探测模式可重构的新方法。Abstract: Multi-dimensional information acquisition by single detector is the future direction of photoelectric detection. Aiming at the problem that the energy and the polarization information could not be considered in target detection, a new pixel array structure with polarization-low level light integrated function was proposed. The integration of polarization and low level light detection was realized in electronic multiplying charge coupled device (EMCCD) by introducing the white light channel and the reduced polarization channel. The experimental results show that under the low level light condition, the high sensitivity of the new detector is held, and the imaging quality at low illumination is almost not decay. In polarization mode, the white light channel and two polarization angle enable the detector to obtain enough polarization information, so as to realize the polarization detection of the target. Synchronous acquisition of high sensitivity imaging detection and polarization information detection by this method is realized, and the reconstruction of the detection mode can be realized by the algorithm processing.
-
Keywords:
- EMCCD /
- polarization /
- low light /
- reconfigurable detector
-
引言
皮革分为动物皮革和人造皮革,其中人造皮革(简称皮革)以其品种多、可以大批量、宽幅生产而得到广泛应用,生产线可采用造皮、印染、检测一体化,生产效率高。然而,皮革在加工过程中表面易出现的褶皱、穿孔、划痕、光哑度不均匀、油墨、压印等缺陷,已成为生产企业迫切期望解决的问题。随着人工智能技术的快速发展,目前已有很多的企业采用了机器视觉在线检测技术,其优点是检测质量稳定、效率高。目前,对穿孔、划痕、破损等缺陷已基本能检出,但对光哑度不均匀、油墨、压印等缺陷则存在漏检或错检情况,迫切需要研究缺陷的特征,给出有效的解决方案。
机器视觉检测系统主要分为图像采集和算法识别。常用算法有:灰度共生矩阵[1-3]、Gabor滤波器[4-6]、显著性对象检测[7-11]、阈值法[12-13]、小波法[14-15]等。但图像算法适用于缺陷信息较为完整的情况,若图像中缺陷信息过少,则难以通过算法识别。因此,如何增强缺陷信息的采集是提高缺陷识别率更为关键的因素。
目前,对皮革、布匹等平面、宽幅且连续产品的在线表面缺陷检测,主要采用线扫模式,即线光源照明线阵相机采集,其采集方法主要有单一方向采集、单一角度或多角度照明方式进行明场或暗场检测,可以检测出大部分缺陷[16-17]。但也有研究发现某些表面缺陷仅在某些照明方向才能有效地观测到,即缺陷呈现对照明方向的各向异性,存在检测盲区。如杨星宇等人在用散射显微镜成像检测超光滑表面划痕时发现,照明方向与缺陷的方向有关,需要旋转目标面才能检测到[18],但该研究是在显微领域,对于宏观无法旋转的生产线显然是不适用的。也有采用光度立体视觉法对织物、布匹等目标物采集不同照明方向下的图像并进行融合,可以有效地消除检测盲区[19-20],但需要目标物在同一位置静止进行8次图像采集才能实现多幅图像的融合,不太适合人造皮革类的在线检测,且光学系统结构复杂,处理效率低。而照明方式的不同直接影响着缺陷的成像效果[21],如对称式的照明方式虽然提供了多方向照明且保持光照均匀,但是会弱化缺陷与纹底对比度,增加识别难度。
为此,本文通过分析缺陷散射机理和检测特性,从理论和实验两方面研究缺陷凸显性与照明方向的相关性,找到变化规律,设计出更简洁、高效的可消除检测盲区的在线检测系统。
1 原理分析
1.1 线扫描检测机理
研究对象为表面存在均匀分布的纹理皮革。光照射在皮革表面时,吸收散射强度不仅与表面材料本身特性有关,也会与光照方向、强度、波长和采集方向等有关。而工业上的皮革加工印染都是以传送带形式进行的,即沿单一方向均匀运动,在线检测常采用线扫描模式,如图1所示。图中
$xOy$ 为皮革所在平面,光源和线阵相机阵列方向沿$x$ 方向放置,皮革沿$y$ 方向匀速移动,相机的采集方向为其光轴方向。设线光源入射光强为
${I_0}$ ,检测过程中光源照射方向与相机采集方向和位置固定不变,当皮革表面无缺陷时,皮革表面的散射吸收系数为${\alpha _0}({{x}},{{y}})$ ,则探测器接收到的皮革表面光强可写为$${L_0}({{x}},{{y}}) = A{\alpha _0}({{x}},{{y}}){I_0}$$ (1) A是与探测器的性能和空间位置有关的量,当检测系统确定后,探测器在空间的位置也不会变的,A近似为常量。若皮革表面存在缺陷,则缺陷处会产生不同的吸收和散射。设缺陷处的吸收散射系数为
$\alpha (x,y)$ ,则采集到缺陷处的光强分布可写为$$L(x,y) = A\alpha (x,y){I_0}$$ (2) 若对有缺陷的图像进行滤波处理,即滤除非缺陷区域,则图像中只显示缺陷处的相对光强分布
$$\Delta L(x,y) = A[\alpha (x,y) - {\alpha _0}(x,y)]{I_0} = A\Delta \alpha (x,y){I_0}$$ (3) 实际上,皮革表面大部分缺陷的采集是各向同性的,即从不同方向采集的
$\Delta L(x,y)$ 基本不变。但也存在一些缺陷对检测呈各向异性,即$\Delta L$ 会随照明方向的改变而改变,我们称这类缺陷为各向异性缺陷。为研究此类缺陷的检测特性,考虑相对运动,令图1中被测样品沿通过样品中心的
$z$ 轴方向旋转,其他保持不变。则缺陷处光强变化量可改写为$$\Delta L'(x,y,\theta ) = \Delta L(x,y)F(\theta )$$ (4) 式中:
$F(\theta )$ 为与照明方向相关的函数,当缺陷不具有方向特征时,$F(\theta )$ 为1。$\Delta L(x,y)$ 为缺陷信息变化量$H$ 最大时的强度分布,令此时$F({\theta _0})$ 为1。判断缺陷信息量变化的多少是以所能采集到的有效缺陷区域来定的,在采集系统转过
$\theta $ 时缺陷的信息变化量为$$H(\theta ) = \sum\limits_\delta {\Delta L'(x,y,\theta )} = F(\theta )\sum\limits_{{\delta _{\rm{0}}}} {\Delta L(x,y)} $$ (5) 式中:
${\delta _0}$ 是$F({\theta _0})$ 时缺陷的区域范围;$\delta $ 是采集系统转过$\theta $ 时所能采集到的缺陷区域范围。故可通过采集到的图像缺陷有效区域(包括形态上的一致性)的大小来确定缺陷信息量的得失。视觉检测是先通过传感器将采集到的光强转化为灰度图像再进行图像信息处理。设
$G(x,y)$ 为图像灰度分布,$K$ 为相机参数相关系数,则$$G({{x}},{{y}}) = KL({{x}},{{y}})$$ (6) 设
$\Delta G(x,y)$ 为缺陷信息变化量$H$ 最大时图像的灰度分布,则由(5)式可得$$H(\theta ) = \sum\limits_\delta {\Delta L'(x,y,\theta )} = \frac{1}{K}F(\theta )\sum\limits_{{\delta _{\rm{0}}}} {\Delta G(x,y)} $$ (7) 对于给定的缺陷,
${\delta _0}$ 和$\Delta G(x,y)$ 为确定值,所以$H(\theta )$ 与$F(\theta )$ 呈正相关,是表征缺陷检测的各向异性特征函数。1.2 实验装置与方法
本文以纹理皮革表面的压印和油墨2种缺陷为检测样本研究其随检测方向的变化规律。实验检测系统如图1所示,其中图像采集系统由大恒图像Linea LA-GM-08K08A黑白线阵数字工业相机和尼康AF NIKKOR 35MM F/2D镜头构成,相机标准行频13 K;照明系统为东冠科技OLH-750R单红色高亮线扫光源,中心波长623 nm;图像处理系统采用纹底滤波滤去纹底,使用分水岭分割缺陷区域,进而计算缺陷处信息量的改变[22],如图2所示。
为了便于描述缺陷的方向性,选择的缺陷呈长型。设
$\theta $ 为缺陷长度方向与相机光轴投影在平面上的夹角,变化范围为${0^ \circ }\sim{180^ \circ }$ 。对压印及油墨缺陷进行不同方向照明的采集时,$\theta $ 转动步距是${5^ \circ }$ 。1.3 实验结果
根据1.2中的图像采集系统和图像处理方法进行缺陷特征获取实验,表1给出了部分照明方向下的图像处理结果。
表 1 部分照明方向下的图像处理结果Table 1. Image processing results in partial lighting directions缺陷类型 照明方向 原始图像 缺陷识别 压印缺陷 $\theta {\rm{ = }}{0^ \circ }$ 压印缺陷 $\theta {\rm{ = }}{60^ \circ }$ 油墨缺陷 $\theta {\rm{ = 3}}{0^ \circ }$ 油墨缺陷 $\theta {\rm{ = 9}}{0^ \circ }$ 实验发现,
${0^ \circ }\sim{90^ \circ }$ 与${90^ \circ }\sim{180^ \circ }$ 下$H$ 随$\theta $ 的变化关系呈镜像对称关系,故仅对${0^ \circ }\sim{90^ \circ }$ 的数据进行分析,如图3所示。由图3(a)给出的压印缺陷拟合函数为
$$ {{{H}}_1}\left( {{\theta }} \right) = {{{p}}_1}{{{\theta }}^4} + {{{p}}_2}{{{\theta }}^3} + {{{p}}_3}{{{\theta }}^2} + {{{p}}_4}{{\theta }} + {{{p}}_5} $$ (8) 式中:
${p_1}\sim{p_5}$ 为常量。图3(b)的油墨缺陷拟合函数为
$$ {{{H}}_1}\left( {{\theta }} \right) = {{{q}}_1}{{{\theta }}^4} + {{{q}}_2}{{{\theta }}^3} + {{{q}}_3}{{{\theta }}^2} + {{{q}}_4}{{\theta }} + {{{q}}_5} $$ (9) 式中:
${q_1}\sim{q_5}$ 为常量。显然,(8)式和(9)式表达形式相近,但从图3(a)、(b)中可以看出,式中的参量系数可能完全不同。对压印缺陷,对比图3(a)和如表1所得的图像分析表明,
$\theta < {50^ \circ }$ 左右时,${H_1}$ 值随$\theta $ 呈上升趋势,之后逐步下降。当$\theta \geqslant {30^ \circ }$ 时,${H_1} \geqslant 1.7 \times {10^5}$ ,可以有效提取缺陷信息;${20^ \circ } < \theta < {30^ \circ }$ 时虽然能够识别有缺陷,但缺陷信息并不完整;而在$\theta \leqslant {20^ \circ }$ 时,${H_1} \leqslant {\rm{9}}{\rm{.6}} \times {\rm{1}}{{\rm{0}}^4}$ ,虽然${H_1}$ 数值较大,但单位面积下缺陷与纹底的灰度差异却很小,缺陷分割受到影响,已无法将缺陷与滤波后纹底造成的细小干扰区分。此时会造成错检、漏检,即为系统的检测盲区。同理,对油墨缺陷,当
$\theta \leqslant {60^ \circ }$ 时,即${H_2} \geqslant {\rm{7}}{\rm{.1}} \times$ $ {\rm{1}}{{\rm{0}}^3}$ 可有效识别;${60^ \circ } < \theta < {70^ \circ }$ 时,缺陷信息有缺失;而当$\theta \geqslant {70^ \circ }$ 时,${H_2} \leqslant {\rm{2}}{\rm{.2}} \times {\rm{1}}{{\rm{0}}^3}$ ,缺陷无法准确识别,即为油墨缺陷检测盲区。综上,对皮革表面压印和油墨类缺陷检测均存在各向异性,单纯采用线扫模式进行在线缺陷检测,对这种各向异性缺陷漏检率近22%。进一步分析发现,无论缺陷的各向异性特征函数
$H(\theta )$ 的形式如何,检测盲区与有效检测区90°位置呈正交态。如果在与线扫检测方向垂直的位置(皮革运动的垂直方向)添加一个检测系统,就可以消除检测盲区,实现各向异性缺陷全方位检测。2 复合检测系统设计搭建与测试
2.1 系统设计与搭建
生产线上的皮革会经过机械结构进行传动,一般线扫描检测系统放置在传动装置的滚轴处,采用与图1相同的前向照明。根据实际检测效果,将相机垂直于皮革表面,光源以45°的倾角放置。此时为反射暗场检测,可以降低反射明场下过强的反射光造成的干扰,更好地凸显缺陷区域。如图4中A区所示。由于皮革的运动方向是单一的,在垂直方向加入的检测系统只能是面阵的,即图4中B区,其采集系统为面阵相机,光轴垂直皮革表面,相机参数匹配线扫描系统进行设置,照明采用自主设计的离轴侧入式面光源[21],同样以45°倾角放置,保证侧入式照明的同时,实现光照的均匀,避免了由传统光源侧入时造成的光照远近强度不均匀的情况出现。
为了保证缺陷的检测效果,简化程序逻辑复杂度,提高检测效率,整个采集系统采用以线扫描为主,面阵检测为辅的检测方式,其程序逻辑判断如图5所示。如果仅线阵能够检出或线面均能检出,则直接处理线扫检测结果,记录信息变化量H,反之,则采用面阵系统检测结果。
为模拟皮革的在线检测状态,以电控平移台代替传动装置,尽量保持表面平展裁剪皮革样本,2个检测系统在同一平面进行检测,图6为实测系统。
线阵系统选取与1.2系统相同,设置相机行频为7 kHz,曝光时间为50 ms,增益为2。面阵辅助系统中,相机选取水星MER-200 CCD及其配套镜头,离轴曲面光源由80颗中心波长630 nm的5 730红光贴片LED组成,额定电流10 μA。平移台使用大恒GCD-302004M长距电控平移台。
2.2 检测结果
采用图6检测系统对2种各向异性缺陷进行各向异性检测实验,缺陷样本以任意随机方向在平移台上运动,表2列出了部分缺陷的检测结果,其中红色区域为检测到的缺陷区域。表3为检测准确率的比较结果。
表 2 复合在线检测系统实测结果Table 2. Measured results of composite on-line detection system压印缺陷 油墨缺陷 线阵相机 辅助相机 线阵相机 辅助相机 图像1 图像2 结果2 图像3 结果3 由表2可以看出,第1组结果中,线扫描系统处于缺陷检测盲区内,无法识别缺陷,而辅助系统却在检测有效区,可将缺陷准确识别,此时以辅助系统判断为主;同理,对于第2组结果,辅助系统在检测盲区,而线扫描系统在有效检测区,故此时以线扫描结果为主;对于第3组结果,线扫描系统与辅助检测系统均能完整识别缺陷,此时可以线扫描检测的结果为主。
由实验可知,单一方向的检测无法对随机出现的各向异性缺陷进行完全检测,而通过辅助的面阵系统与原有线扫系统的检测互补,可对随机方向的各向异性缺陷进行全方位有效的检测和识别。通过对随机方向的缺陷进行100次检测实验,结果如表3所示。
表 3 检测准确率比较Table 3. Comparison of detection accuracy压印缺陷 油墨缺陷 仅线扫系统检测 复合系统检测 仅线扫系统检测 复合系统检测 准确率/ % 74 100 82 100 引入辅助系统后,实验对较为显著的各向异性缺陷检出率几乎可以达到100%。而对于识别难度较大的各向异性缺陷或较为复杂的检测环境,纹底滤波算法效果也会变差,进而影响检测结果,对于这一问题可通过改进算法,如使用SVM支持向量机、卷积神经网络等作为识别算法,进一步提高识别准确率及抗干扰能力。
3 结论
本文针对传统皮革表面的在线检测存在检测盲区的问题,从理论和实验两方面进行了较为系统的研究,并以此给出了消除检测盲区的工业检测解决方案。根据对缺陷区特征的光信息采集分析,表明缺陷特征光强分布与照明方向存在的特征函数关系;通过系统的实验数据拟合出了缺陷特征光强分布与照明方向的特征函数,给出缺陷的检测盲区,分析得出检测盲区与有效检测区存在正交关系;根据研究结果,模拟工业在线检测形式,采用线阵工业相机和线光源组成线阵主检测系统,并在此系统上加入1个面阵离轴照明检测辅助系统,即采用自主设计的离轴曲面照明光源,提供与线光源正交的照明,用面阵相机采集,搭建出了可完全消除检测盲区的机器视觉检测系统。采用该系统对皮革表面存在的压印和油墨缺陷进行各方向随机数百次检测,证明了采用侧入式照明的面阵系统辅助检测后,不用旋转样品,仅用2次成像即消除了在线检测盲区,对各向异性类缺陷的识别率可提升22%。本检测系统及设计方法也适用于其他表面中各向异性类缺陷的检测,在线处理简单高效,为工业在线表面各向异性缺陷检测提供了一种解决方案。
-
-
[1] 刘成淼, 李建欣, 朱日宏, 等. 基于双通道剪切干涉的高光谱偏振成像方法[J]. 光学学报,2017,37(10):134-144. LIU Chengmiao, LI Jianxin, ZHU Rihong, et al. Interferometric imaging spectropolarimeter using dual-channel lateral shearing beam splitter[J]. Acta Optica Sinica,2017,37(10):134-144.
[2] 贺宇, 王岭雪, 蔡毅, 等. 恒等探测距离折反射式周视红外成像系统设计及分析[J]. 光学学报,2017,37(4):262-271. HE Yu, WANG Lingxue, CAI Yi, et al. Design and analysis for catadioptric omnidirectional view infrared imaging system with constant detection range[J]. Acta Optica Sinica,2017,37(4):262-271.
[3] 张卫国. 海面太阳耀光背景下的偏振探测技术[J]. 中国光学,2018,11(2):231-236. doi: 10.3788/co.20181102.0231 ZHANG Weiguo. Application of polarization detection technology under the background of Sun flare on sea surface[J]. Chinese Journal of Optics,2018,11(2):231-236. doi: 10.3788/co.20181102.0231
[4] 梁健, 巨海娟, 张文飞, 等. 偏振光学成像去雾技术综述[J]. 光学学报,2017,37(4):1-13. doi: 10.3788/aos201737.0400001 LIANG Jian, JU Haijuan, ZHANG Wenfei, et al. Review of optical polarimetric dehazing technique[J]. Acta Optica Sinica,2017,37(4):1-13. doi: 10.3788/aos201737.0400001
[5] 王潇, 赵远, 杨凤, 等. 基于电光调制器的高速偏振荧光显微系统[J]. 光学学报,2017,37(11):254-261. WANG Xiao, ZHAO Yuan, YANG Feng, et al. Fluorescence microscopy system with high speed polarization based on electro optical modulator[J]. Acta Optica Sinica,2017,37(11):254-261.
[6] 李寒霜, 李博, 王淑荣. 空间紫外遥感光谱仪器偏振特性研究[J]. 光学学报,2018,38(1):185-189. LI Hanshuang, LI Bo, WANG Shurong. Polarization performance in space ultraviolet remote sensing spectral instruments[J]. Acta Optica Sinica,2018,38(1):185-189.
[7] 欧雅文, 武鹏飞, 魏合理. 混浊大气对偏振导航影响的研究[J]. 红外与激光工程,2018,47(3):189-198. OU Yawen, WU Pengfei, WEI Heli. Influence of turbid atmosphere on polarization navigation[J]. Infrared and Laser Engineering,2018,47(3):189-198.
[8] 侯俊峰, 吴太夏, 王东光, 等. 分时偏振成像系统中光束偏离的补偿方法研究[J]. 物理学报,2015,64(6):109-114. HOU Junfeng, WU Taixia, WANG Dongguang, et al. Study on compensation method of beam deviation in Division of time imaging polarimetry[J]. Acta Physica Sinica,2015,64(6):109-114.
[9] 徐宗杰. 基于振幅分割的全偏振成像系统研究[J]. 数字技术与应用,2016(10):75-76. XU Zongjie. Research on full polarization imaging system based on amplitude segmentation[J]. Digital Technology and Application,2016(10):75-76.
[10] GRUEV V, PERKINS R, YORK T. CCD polarization imaging sensor with aluminum nanowire optical filters[J]. Optics Express,2010,18(18):19087-19094. doi: 10.1364/OE.18.019087
[11] SHISHIDO S, NODA T, SASAGAWA K, et al. Polarization analyzing image sensor with on-chip metal wire grid polarizer in 65-nm standard complementary metal oxide semiconductor process[J]. Japanese Journal of Applied Physics,2011,50(4):04DL01.
[12] YAMAZAKI T, MARUYAMA Y, UESAKA Y, et al. Four-directional pixel-wise polarization CMOS image sensor using air-gap wire grid on 2.5-μm back-illuminated pixels[C]//2016 IEEE International Electron Devices Meeting (IEDM). USA: IEEE, 2016.
[13] 罗海波, 刘燕德, 兰乐佳, 等. 分焦平面偏振成像关键技术[J]. 华东交通大学学报,2017,34(1):8-13. LUO Haibo, LIU Yande, LAN Lejia, et al. Key technologies of polarization imaging for division of focal plane polarimeters[J]. Journal of East China Jiaotong University,2017,34(1):8-13.
[14] 艾克聪. 微光夜视技术的进展与展望[J]. 应用光学,2006,27(4):303-307. AI Kecong. Development and prospect of low-light-level (LLL) night vision technology[J]. Journal of Applied Optics,2006,27(4):303-307.
[15] 刘敬, 夏润秋, 金伟其, 等. 基于斯托克斯矢量的偏振成像仪器及其进展[J]. 光学技术,2013,39(1):56-62. LIU Jing, XIA Runqiu, JIN Weiqi, et al. Review of imaging polarimetry based on Stokes Vector[J]. Optical Technique,2013,39(1):56-62.
-
期刊类型引用(11)
1. 王晓健,孙小叶,连海涛,王子瑄. 夜景照明亮度比例视觉适宜性评价仿真研究. 计算机仿真. 2024(06): 411-415 . 百度学术
2. 饶繁星,李浩然,向玉鹏,曾美祖,杨小品. 基于图像处理的小口径球面光学镜片划痕检测方法研究. 工业控制计算机. 2024(08): 70-71 . 百度学术
3. 高万芳. 基于卷积神经网络的柔性皮革材料缺陷无损检测技术研究. 中国皮革. 2024(10): 20-23 . 百度学术
4. 李彦,王卫斌. 基于机器视觉技术的皮革材料缺陷可视化研究. 中国皮革. 2023(02): 55-58+64 . 百度学术
5. 任菊香,李玉鑫. 车辆盲区检测导航系统的设计. 山西电子技术. 2023(01): 24-27 . 百度学术
6. 唐艺明. 基于机器视觉的轴承表面微小缺陷检测技术. 佳木斯大学学报(自然科学版). 2023(04): 102-105 . 百度学术
7. 王也夫. 基于不同视觉检测技术的体育用品合成革缺陷检测研究. 中国皮革. 2023(08): 102-105 . 百度学术
8. 廖达海,殷明帅,罗宏斌,黄佳雯,吴南星. 基于耦合去噪算法的航空发动机中Si_3N_4圆柱滚子表面缺陷的检测方法. 兵工学报. 2022(01): 190-198 . 百度学术
9. 黄一平. 基于视觉显著度的篮球用天然皮革缺陷可视化检测研究. 中国皮革. 2022(10): 36-39+43 . 百度学术
10. 王爱英. 基于独立分量分析的纺织品缺陷快速检测系统. 信息技术. 2022(11): 117-123+129 . 百度学术
11. 赵青青. 大数据挖掘与分析在图像处理中的应用与实践研究. 信息与电脑(理论版). 2022(17): 119-121 . 百度学术
其他类型引用(7)