Light source calibration for divided focal plane polarization imaging system
-
摘要:
水下偏振成像技术是目前水下成像研究的热点,由于自然光在水中衰减大,水下成像系统多采用主动照明方式。针对分焦平面偏振成像系统中偏振照明光源与偏振探测像元偏振方向不匹配引起采集图像偏振信息存在的偏差,进而影响目标图像增强质量的问题,提出了一种分焦平面偏振成像系统光源标定方法。阐述了偏振光源的标定原理,然后给出偏振光源标定的实施步骤,最后采用偏振去雾算法和图像质量评价方法对标定前后的水下目标图像进行了图像增强和图像质量评价。评价结果表明,标定后的增强图像质量优于未标定的增强图像质量,平均梯度最大提升了2.48倍。该标定方法简单有效,实用性强,适用于分焦平面偏振成像系统偏振光源标定。
Abstract:Polarization imaging technology under water is a hot spot in the research of underwater imaging. Due to the great attenuation of natural light in water, the underwater imaging system mostly adopts active illumination method. In order to solve the problem that the polarization information of acquired images was biased due to the mismatch of polarization direction between polarization illumination source and polarization detection element in divided focal plane polarization imaging system, which affected the quality enhancement of target images, a light source calibration method for divided focal plane polarization imaging system was proposed. First, the calibration principle of polarized light source was described, then the implementation steps of polarized light source calibration were given. Finally, the underwater target images before and after calibration were enhanced and the image quality was evaluated by using polarized dehazing algorithm and image quality evaluation method. The evaluation results show that the quality of the calibrated image restoration is better than that of the uncalibrated image restoration, and the average gradient can be improved by 2.48 times at most. The proposed calibration method is simple, effective and practical, which is suitable for the calibration of polarized light source in divided focal plane polarization imaging system.
-
引言
随着人类对海洋的不断探索,极大扩展了水下成像技术的应用,同时也对水下成像技术提出了更高的要求。水下偏振成像技术利用偏振信息进行水下目标的探测与识别[1-3]。传统水下光学成像技术受水中介质的吸收和散射作用影响,采集到的水下图像存在目标模糊和对比度低等问题[4]。水下偏振成像技术与传统水下光学成像技术相比,可以有效抑制成像中的后向散射光,提高水下成像质量、改善图像对比度[5]。
偏振成像方法按照其探测原理,分为分时法、分孔径法、分振幅法以及分焦平面法。其中,分焦平面偏振方法与其他3种方法相比,具有不存在视场偏差、获得偏振信息精度较高、体积结构小等优点,是当前偏振成像研究的主流方向[6]。目前研究中,主要对分焦平面偏振成像系统的瞬时视场误差和非均匀误差校正。这2种误差都是分焦平面偏振成像系统的自身误差[7]。在水下使用时,通常采用“偏振光源+偏振成像系统”的模式进行图像采集。偏振成像系统与偏振光源的偏振度匹配,直接影响采集的水下图像以及复原后的图像质量[8-9]。目前,查到的文献多是对分振幅偏振成像系统标定的研究,对分焦平面偏振成像系统标定的研究少见报道。本文介绍一种偏振光源和分焦平面偏振成像系统在实际工作环境中标定的方法。
1 偏振光源标定原理
分焦平面偏振相机采用将光电探测器和微偏振片器件集成在同一焦平面上的方式,通过在像元上光刻金属光栅实现一个像元对应一个方向的微偏振片。分焦平面偏振成像系统相邻4个像元组成一个2×2排列的超级像元的形式,如图1所示,4个像元分别对应焦平面前偏振方向为0、45°、90°、135°的4个微偏振片[10]。这种方法将一个像素单元一分为四,因此其图像分辨率会变为原来的1/4。最后通过提取一个像素单元的4张图片,完成对目标的同时偏振探测。
水下主动偏振成像系统由分焦平面偏振相机和偏振照明光源组成,其工作过程为水中偏振照明光源发出光,经过水下目标反射在分焦平面偏振相机进行成像,最终带有其偏振和光谱信息的图像存储在PC端并进行处理,如图2所示。
获取图像偏振信息的流程图如图3所示,将分焦平面相机输出的源图像先后按图1的像元排列规则进行抽样、按照公式(1)计算Stokes参量、按照公式(2)计算偏振角AOP,AOP表示线偏振光源的偏振方向与分焦平面相机基准方向的夹角。
斯托克斯矢量包含4个参量($ {s_0} $、$ {s_1} $、$ {s_2} $、$ {s_3} $),用以描述光波的强度和偏振态[11]。4个斯托克斯参量都是光强度的时间平均值,均具有强度量纲,因此可以直接被光电探测器探测。斯托克斯矢量的数学表达如下式:
$$ {\boldsymbol{s}} = \left[ {\begin{array}{*{20}{c}} {{s_0}} \\ {{s_1}} \\ {{s_2}} \\ {{s_3}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{I_{0^\circ }} + {I_{90^\circ }}} \\ {{I_{0^\circ }} - {I_{90^\circ }}} \\ {{I_{45^\circ }} - {I_{135^\circ }}} \\ {{I_\gamma } - {I_\iota }} \end{array}} \right] $$ (1) 式中:$ {s_0} $为探测光波的总光强;$ {s_1} $为0与90°偏振方向的光强度之差; $ {s_2} $为45°与135°偏振方向的光强度之差;$ {s_3} $为右旋圆偏振光与左旋圆偏振光的强度之差。由斯托克斯矢量可以求取偏振角,表达式为
$$ {\rm{AOP}} = \frac{1}{2}\arctan \left( {\frac{{{s_2}}}{{{s_1}}}} \right) $$ (2) 公式(2)计算出的${\rm{AOP}}$为偏振照明光源的标定提供了待校正量。偏振光源标定就是通过不断调整偏振光源的线偏振方向,求得的${\rm{AOP}}$为0或90°,此时完成了水下主动偏振成像系统相机和光源的一致性调整,即偏振光源标定完毕。
因为如图2的水下成像系统中,水体对照明光源的保偏性较好[12];而水下目标,尤其是人造目标存在不同程度的退偏性,所以分焦平面相机源图像中,抽样得到的$ {I_{90^\circ }} $包含目标相对信息最强的$ {I_{\max }} $,抽样得到的$ {I_{0^\circ }} $包含目标相对信息最弱的$ {I_{\min }} $。有了$ {I_{\max }} $和$ {I_{\min }} $就可通过将这2个信息代入偏振去雾算法,获得增强后的水下目标图像[13]。分焦平面偏振成像系统光源偏振方向的标定就是为了获得较为精确的$ {I_{\max }} $和$ {I_{\min }} $这2个信息测得越准确,偏振去雾增强的效果就会越好。
2 标定环境构建及实施步骤
标定原理如前节所述,在标定过程中以分焦平面的0偏振片方向为基准方向,标定目标为将AOP校正至90°。标定示意图如图4所示。
2.1 标定环境构建
根据实际条件,对偏振光源标定环境搭建:实验水箱1个、1个偏振光源和1个偏振相机,如图5所示、计算机1台。偏振相机采用的是分焦平面偏振相机,它的分辨率像素为2 464×2 056,采用千兆网卡传输数据。为了便于水下使用,对偏振相机进行内、外封装。偏振光源主要由LED光源模块、偏振片和密封件组成,其中,LED光源模块采用大功率连续光谱LED作为发光源,波长范围为435 nm~656 nm。偏振片的安装便于调整角度,可固定。
2.2 标定实施步骤
进行偏振光源标定前,对偏振光源的偏振片位置进行标记。进入偏振相机控制软件,控制偏振相机参数。根据采集图像的实际效果,调整偏振相机参数。
对偏振光源进行标定。调整偏振光源和偏振相机的相对位置,使其满足实验条件并进行固定。再通过相机控制软件设置参数,记录相机采集的数据。通过计算机计算出偏振光源所发出的线偏振光相对相机的偏振方向,如图5(a)所示。从图5(a)中可以看出,偏振光源发出的偏振光的偏振方向不是均匀的,但是可以取概率分布最集中的方向作为偏振光的偏振方向。根据图5(a)的结果可以得出标定前偏振光源所发出的偏振光相对相机的偏振方向为−67°。
根据图5(a)求得−67°对偏振光源的偏振片角度进行调整,使之所发线偏振光相对偏振相机的偏振方向成90°。重新将偏振光源固定到指定位置,通过偏振相机控制软件设置参数,采集数据并计算偏振方向,如图5(b)所示。从图5(b)中可以得出标定后偏振光源所发出的偏振光相对偏振相机的偏振方向为90°。说明偏振片调整方向正确,完成了对偏振光源的标定。
偏振方向概率分布中,有时会出现孤立的极大值,即偏振方向为0。出现这样孤立值的原因是:存在过曝的现象,分焦平面偏振相机采集到的所有偏振方向的像素值均饱和,为255,导致计算得到的偏振光偏振方向为0。
3 标定效果验证与分析
将偏振相机、偏振光源以及靶板放置在实验水箱中,按如图6所示位置固定。偏振照明光源输出线偏振光,采用大功率连续光谱LED作为发光源,内置偏振片,光源色温选用8 000 K~12 000 K,单颗光源峰值功率可达118 W,水下光束发散角达到35°~37°。旋转偏振光源,控制偏振相机采集靶板的图像,并记录偏振光源中偏振片对应的角度。
3.1 实验数据采集
采集偏振相机输出的源图像,按公式(1)计算出图像$ {s_0} $,选取典型偏振角0、30°、60°、90°的图像$ {s_0} $以及相应的偏振增强算法后的图像进行比较分析,以验证光源标定对水下目标增强的影响。源图像如图7 所示;计算出的图像如图8所示。
图像增强算法采用全局参数估计的水下主动偏振成像增强算法[5]。该算法对McGlamery提出的经典的水下成像模型[14]进行改进,先期对正交的偏振图像进行图像增强预处理,通过分析水下主动偏振成像模型推导出后向散射光偏振度特征参量,利用多项式拟合函数估算出全局变量的后向散射光偏振度,再迭代求解出相对于最优图像质量的目标反射光偏振度,最终得到水下增强图像。计算出的图像如图9所示。
通过观察图7~图9中各图像,可以得出增强图像中偏振角90°图像细节信息优于图像。图8中的图像是采集的源图像,对比度很低。图9中的图像为计算出的实验图像。由于光在水下传播时存在散射和衰减,所采集的图像存在失真、丢失细节等问题。图9中的图像为偏振增强图像,通过增强后图像清晰度明显提高,图像细节更加丰富。
3.2 客观评价分析
客观上,为验证标定偏振光源对提高图像质量的有效性,采用平均梯度、峰值信噪比和均方误差作为图像效果的定量评价指标。
平均梯度:
$$ \begin{gathered} G = \frac{1}{{M \times N}}\sqrt {\dfrac{{{{\left( {\dfrac{{\partial f}}{{\partial x}}} \right)}^2} + {{\left( {\dfrac{{\partial f}}{{\partial y}}} \right)}^2}}}{2}} \\ \\ \end{gathered} $$ (3) 式中:$ M $和$ N $表示图像的行数和列数;$ \dfrac{{\partial f}}{{\partial x}} $和$ \dfrac{{\partial f}}{{\partial y}} $表示水平方向的梯度和垂直方向的梯度。图像的平均梯度反映了图像的清晰度和纹理变化,平均梯度反映了图像的清晰度和纹理变化,平均梯度越大,说明图像越清晰[15]。图像评价结果见表1 。
表 1 图像评价(平均梯度)Table 1. Image evaluation (average gradient)偏振角 0 30° 60° 90° 源图像 0.75 0.68 0.69 0.70 计算图像 3.71 3.58 3.59 3.61 增强图像 9.89 19.36 25.76 34.41 通过表1可以看出在平均梯度的评价下,源图像、计算图像和增强图像的数值依次提高,其中增强图像的数值最高。在同偏振角的情况下,通过偏振去雾算法得到的增强图像与计算图像相比,平均梯度的数值提高了1.67倍。在偏振角为0~90°范围内,增强图像随着偏振角的变大,平均梯度的数值逐渐增大。其中,当偏振角达到90°时,平均梯度的数值最大。可以得出当偏振角为90°时,算法增强后的图像优于其他偏振角度的图像。在增强图像中,偏振角90°的平均梯度比偏振角0的平均梯度提高了2.48倍。说明偏振角为90°时,图像清晰度最高。
峰值信噪比和均方误差:
$$ {M_{{\text{SE}}}} = \frac{1}{{M \times N}}{\sum\limits_{i = 1}^M {\sum\limits_{j = 1}^N {\left[ {X\left( {i,j} \right) - Y\left( {i,j} \right)} \right]}^2 } } $$ (4) $$ {R_{{\text{PSN}}}} = 10{\log _{10}}\left[ {\frac{{{{\left( {{2^n} - 1} \right)}^2}}}{{{M_{{\text{SE}}}}}}} \right] $$ (5) 式中:$ M $和$ N $表示图像的行数和列数;$ X\left( {i,j} \right) $表示为源图像的像素值;$ Y\left( {i,j} \right) $表示增强图像的像素值;$ n $为图像的位数,通常为8位。
表2是增强图像与源图像在不同角度下峰值信噪比和均方误差的数值。通过表2可以看出,偏振角在0~90°范围内,峰值信噪比随着角度增大而减小,均方误差随着角度增大而增加。说明随着偏振角的增加,增强图像同源图像相比细节逐渐增多,在偏振角为90°时,增强图像的细节最丰富。
表 2 图像评价(峰值信噪比和均方误差)Table 2. Image evaluation (PSNR and MSE)偏振角 0 30° 60° 90° 峰值信噪比 24.98 21.64 18.16 14.91 均方误差 5.35 7.47 10.58 14.63 4 结语
本文介绍了一种分焦平面偏振成像系统偏振光源标定的方法。详细介绍了标定原理、标定环境构建、标定步骤,并对标定结果进行了分析。通过实验结果可以看出,标定后,无论是相机采集的图像还是算法增强后的图像,均优于偏振角与基准方向不平行的图像。说明调整偏振角直接影响偏振增强的效果,证明分焦平面偏振成像系统偏振光源标定很有必要。该方法标定过程简单,可操作性强,在工作环境可直接标定,标定后效果明显。
-
表 1 图像评价(平均梯度)
Table 1 Image evaluation (average gradient)
偏振角 0 30° 60° 90° 源图像 0.75 0.68 0.69 0.70 计算图像 3.71 3.58 3.59 3.61 增强图像 9.89 19.36 25.76 34.41 表 2 图像评价(峰值信噪比和均方误差)
Table 2 Image evaluation (PSNR and MSE)
偏振角 0 30° 60° 90° 峰值信噪比 24.98 21.64 18.16 14.91 均方误差 5.35 7.47 10.58 14.63 -
[1] TAYLOR J S, WOIFF L B. Partial polarization signature results from the field testing of the shallow water real-time imaging polarimeter (shrimp)[J]. IEEE,2001,1:107-116.
[2] SCHECHNER Y Y, NARASIMHAN S G, Nayar S K. Polarization-based vision through haze[J]. Applied Optics,2003,42(3):511-525. doi: 10.1364/AO.42.000511
[3] SCHECHNER Y Y, KARPEL N. Clear underwater vision[J]. IEEE,2004,1-536-543.
[4] SCHECHNER Y Y, KARPEL N. Recovery of underwater visibility and structure by polarization analysis[J]. IEEE,2005,30(3):570-587.
[5] 于洪志, 孙春生, 胡艺铭. 一种全局参数估计的水下主动偏振去雾算法[J]. 应用光学,2020,41(1):107-113. doi: 10.5768/JAO202041.0102007 YU Hongzhi, SUN Chunsheng, HU Yiming. An underwater active polarization defogging algorithm with global parameter estimation[J]. Journal of Applied Optics,2020,41(1):107-113. doi: 10.5768/JAO202041.0102007
[6] 罗海波, 刘燕德, 兰乐佳, 等. 分焦平面偏振成像关键技术[J]. 华东交通大学学报,2017,34(1):8-13. LUO Haibo, LIU Yande, LAN Lejia, et al. Key techniques for split-focus plane polarization imaging[J]. Journal of East China Jiaotong University,2017,34(1):8-13.
[7] 张强. 分焦平面偏振成像及其在雾天车牌识别的应用研究[D]. 合肥: 合肥工业大学, 2019. ZHANG Qiang. Research on split-focus plane polarization imaging and its application to foggy weather license plate recognition[D]. Hefei: Hefei University of Technology, 2019.
[8] 鲍富成, 段锦, 董锁芹, 等. 水下目标物偏振成像特性研究[J]. 应用光学,2019,40(1):27-32. BAO Fucheng, DUAN Jin, DONG Suoqin, et al. Polarization imaging characteristics of underwater targets[J]. Journal of Applied Optics,2019,40(1):27-32.
[9] 白思克, 段锦, 鲁一倬, 等. 不同材质的偏振成像特性实验研究[J]. 应用光学,2016,37(4):510-516. doi: 10.5768/JAO201637.0401003 BAI Sike, DUAN Jin, LU Yizhuo, et al. Experimentalstudy on polarization imaging characteristics of differentmaterials[J]. Journal of Applied Optics,2016,37(4):510-516. doi: 10.5768/JAO201637.0401003
[10] 武荣. 分焦平面偏振相机的偏振像元响应建模研究[D]. 西安: 西安邮电大学, 2020. WU Rong. Modeling the polarization image element response of a split-focus planar polarization camera[D]. Xi'an: Xi'an University of Posts and Telecommunications, 2020.
[11] 闫泽亮. 基于分焦平面法的激光水下目标偏振成像技术研究[D]. 长春: 长春理工大学, 2020. YAN Zeliang. Research on laser underwater target polarization imaging based on the split-focus plane method [D]. Changchun: Changchun University of Technology, 2020.
[12] HUANG B, LIU T, HU H, et al. Underwater image recovery considering polarization effects of objects[J]. Optics Express,2016,24(9):9826-9838. doi: 10.1364/OE.24.009826
[13] LI X, HU H, ZHAO L, et al. Polarimetric image recovery method combining histogram stretching for underwater imaging[J]. Scientific Reports,2018,8(1):12430. doi: 10.1038/s41598-018-30566-8
[14] MCGlAMERY B L. A computer model for underwater camera systems[C]// Proceedings of SPIE Volume 0208, Ocean Optics VI,Monterey, United States USA: SPIE, 1980: 221-231. [15] 谢泽峰. 多传感器光电经纬仪图像增强系统研究[J]. 激光与红外. 2018, 48(11): 81-85. XIE Zefeng. Research on multi-sensor photoelectric warp beam image enhancement system[J]. Laser and lnfrared. 2018, 48(11): 81-85.
-
期刊类型引用(1)
1. 苗慧,李明. 基于数字画像的人体运动信息特征采集方法. 吉林大学学报(工学版). 2024(12): 3637-3645 . 百度学术
其他类型引用(1)