全局参数自动估计的彩色图像偏振去雾方法

代晴晴, 范之国, 宋强, 陈玥

代晴晴, 范之国, 宋强, 陈玥. 全局参数自动估计的彩色图像偏振去雾方法[J]. 应用光学, 2018, 39(4): 551-555.
引用本文: 代晴晴, 范之国, 宋强, 陈玥. 全局参数自动估计的彩色图像偏振去雾方法[J]. 应用光学, 2018, 39(4): 551-555.
Dai Qingqing, Fan Zhiguo, Song Qiang, Chen Yue. Polarization defogging method for color image based on automatic estimation of global parameters[J]. Journal of Applied Optics, 2018, 39(4): 551-555.
Citation: Dai Qingqing, Fan Zhiguo, Song Qiang, Chen Yue. Polarization defogging method for color image based on automatic estimation of global parameters[J]. Journal of Applied Optics, 2018, 39(4): 551-555.

全局参数自动估计的彩色图像偏振去雾方法

基金项目: 

国家自然科学基金 615711775

中央高校基本科研业务费专项资金 

详细信息
    作者简介:

    代晴晴(1994-),女,浙江杭州人,硕士研究生,主要从事偏振光学目标探测方面的研究。E-mail:qinglovecat@163.com

    范之国(1979-),男,安徽霍山人, 博士,副教授,主要从事智能信息处理方面的研究。E-mail: fzghfut@163.com

  • 中图分类号: TN29; TP391

Polarization defogging method for color image based on automatic estimation of global parameters

  • 摘要: 雾天环境下由于大气粒子对光线的散射作用导致成像质量下降,针对雾霾等天气下图像退化问题,提出了一种全局参数自动估计的彩色图像偏振去雾方法。利用不同角度的3幅偏振图像,自动估算无穷远处的大气光和大气光的偏振度,根据大气散射模型得到去雾后的图像。从RGB 3个色彩通道分别计算相应的参数,使得算法适用于彩色领域。首先使用暗通道方法估计无穷远处的大气光和传输图,并通过导向滤波对传输图优化;然后基于大气光和目标光的不相关性,采用全局搜索的方法估计大气光的偏振度;最后根据大气散射模型恢复出清晰目标图像,并利用对数变换进行增强。本文方法在雾霾天气下能够得到清晰的去雾图像,且在浓雾天气下,去雾图像的信息熵提升了约21%,平均梯度提升了约2倍多,标准差提升了约12%。实验结果表明,本文方法较好地解决了人工取景估计参数不佳的问题,提高了复原目标图像的清晰度和对比度,可以用于彩色图像的目标探测与识别。
    Abstract: In the foggy environment, the image quality is degraded due to scattering of light by atmospheric particles. For the image degradation under haze and other weather conditions, a global image polarization defogging method based on automatic parameter estimation was proposed.Using three polarization images of different angles, the degree of polarization of atmospheric light and atmospheric light at infinity was automatically estimated, and the image after defogging was obtained based on the atmospheric scattering model. The corresponding parameters were calculated from the three RGB color channels, making the algorithm suitable for the color field. Firstly, the dark channel method was used to estimate atmospheric light and transmission at infinity, and the transmission map was optimized by guided filtering. Then the global search method was used to estimate the degree of polarization of atmospheric light based on the non-correlation between atmospheric light and target light.Finally, clear target images were recovered from the atmospheric scattering model and enhanced using logarithmic transformation.This method can get clear defogging images under hazy weather, and in thick fog weather, the information entropy of defogged images is increased by about 21%, the average gradient is increased by about 2 times, and the standard deviation is increased by about 12%. Experimental results show that the proposed method can solve the problem of poor estimation parameters of artificial framing, improve the sharpness and contrast of the restored target image, and can be used for target detection and recognition of color images.
  • 在雾霾、浑浊水体等环境中,由于悬浮的微粒、水滴对传输光的散射作用,图像的能见度和成像对比度显著降低,使得成像质量下降,对观察目标和进一步的图像处理产生了诸多影响。同时,随着科技的发展,无人机、自动驾驶和水下机器人等应用对图像的依赖越来越强,对图像质量的要求也越来越高,因此,去雾、去散射成像技术受到了广泛关注[1-3]。根据处理方式的不同,去雾、去散射成像技术可主要分为图像处理去散射技术和光学去散射技术[4-5]

    图像处理技术又可以分为两类:一种是基于图像增强的算法,图像增强技术通常不考虑成像环境的影响,利用图像处理的方法直接增强图像对比度,代表方法如直方图均衡化算法[6]、Retinex[7]算法等。该技术的优点在于计算速度快,对应用环境没有限制,适用场景广泛;但处理过程中会丢失一定信息或图像过度增强,稳定性不高,同时噪声抑制能力弱。另一种是基于物理模型的图像复原算法,主要通过特定的模型或先验假设来估算图像的退化参量,利用该参量进行图像复原。该技术的优点在于复原图像保真度高、细节还原能力强;缺点是算法复杂度高、耗时久,适用范围有限,代表方法如暗通道先验算法[8]、SCHECHNER Y Y的偏振差分法[9]、TAN R T的单图像去雾法[10]等。近年来基于深度学习的去散射方法也在快速发展。相较于传统算法,神经网络提升了参数估计的准确性,去雾效果更加显著。典型方法是CAI B等人[11]利用卷积神经网络(CNN)学习大气散射模型中的透射率t(x)来对图像进行去雾。AOD-Net[12]、DCPDN[13]都是极具代表性的算法,该类方法虽然提升了参数估计的准确性,但仍然依赖于大气散射模型,存在参数估计偏差的弊端。

    区别于其他图像处理技术,光学去散射技术往往基于特定的光学系统,通过获取对应不同光学参数(光谱、偏振等)的多张图像实现散射光抑制或剔除[14]。由于散射光(天空中的大气散射光或水下环境中的背向散射光)具有明显的部分偏振特性,因此在诸多光学去散射技术中,偏振去散射技术性能突出。基于偏振成像的复原方法可以从多幅不同的偏振图像中获得更多的信息,理论上可以获取到细节增强的去散射图[15]。代表方法有SCHECHNER Y Y等人将偏振理论应用到去散射(去雾)领域,假设大气光是部分偏振光,物体光是非偏振光,利用两幅偏振图像进行差分处理,基于传统的大气退化模型构建了偏振差分去散射模型。周文舟[16]等人提出一种基于多尺度奇异值分解的图像融合去散射算法,利用偏振测量信息的冗余特性,采用最小二乘法提高了传统偏振图像去散射算法中偏振信息的准确度,定性分析了偏振图像融合去散射的可行性。2021年,LIANG J[17]等人基于3张偏振子图,提出了一种针对偏振度和偏振角做低通滤波的偏振去散射方法。对于浑浊水下,LI X B[6]等人通过将传统的偏振差分模型和数字图像增强算法相结合,实现了高浑浊水体环境下的图像复原,且效果明显。到目前为止,已有大量偏振方法可以有效地恢复特定场景下的退化图像,但是这些方法的复原效果很依赖于能否准确估计场景中的各种偏振参数。在强散射场景中,偏振光场分布是非常复杂的,估算出所需的偏振参数十分具有挑战性,这是限制偏振去散射算法的一大难题[18-19]。2022年,DONG Z M[20]等人提出了一种利用灰度方差选择合适的偏振图像的恢复算法,尝试在低偏振光场景下做去散射处理,取得了一定的效果。但是灰度方差是一个侧重图像全局灰阶分布的指标,而图像的偏振信息分布往往具有区域分布特点,在一幅图像中通常只有部分区域具有比较高的偏振度,比如场景中天空、建筑物的窗户、金属材料等存在高偏振物质区域,存在关键参数估算精度不高的缺点。

    针对散射介质中图像对比度提升问题,本文提出一种基于主动照明调制的水下散射抑制成像方法,在获取目标场景以及背景位置穆勒矩阵的基础上,结合计算方法对主动照明斯托克斯矢量进行调制,从而确定最佳偏振照明调制,进而实现后向散射光偏振度的最大化,最终对后向散射光最大程度抑制。实验结果表明,本方法在高浑浊度散射介质中成像效果明显,可实现对后向散射的抑制,图像对比度提升明显,图像复原结果接近空气中或微弱散射情况下人眼的视觉效果。此外,该方法采用“点对点”散射抑制,不会出现数字图像处理依赖于图像块灰度分布以及滤波器的使用所造成的图像细节丢失、图像模糊、图像噪点增加等问题,可应用于散射介质成像、散射介质目标检测与识别等场景。

    水下散射介质成像过程中,成像装置所接收到的光强主要包括两部分:第一部分为受到散射环境中散射粒子散射以及吸收作用的目标物体反射光 $ {I_{\mathrm{T}}} $;第二部分为主动照明所导致的后向散射光 $ {I_{\mathrm{B}}} $。相机接收的光强$ I $ 主要为以上两部分的非相干叠加:

    $$ I = {I_{\mathrm{T}}} + {I_{\mathrm{B}}} $$ (1)

    一般认为图像中背景位置没有目标光,只存在后向散射光。在具有主动照明的水下散射环境中,后向散射光一般为部分偏振光,其偏振状态以及偏振度将会受到主动照明光源的偏振状态、偏振度以及散射介质等因素的影响。对于水下成像中后向散射光的获取,一般认为如果图像中存在背景(无穷远处的无目标)区域,那么成像系统在此处接收到的光即被认为只存在后向散射。因此,可以通过提取图像中无穷远处的背景来对散射介质的后向散射进行计算。

    假设光源到背景之间散射介质的穆勒矩阵为$ {{\boldsymbol{M}}^{{\mathrm{back}}}} $,入射主动照明光场斯托克斯矢量为$ {\boldsymbol{S}}^{\mathrm{in}} $,背景处后向散射光的斯托克斯矢量为${\boldsymbol{S}}^{\mathrm{back}}$,则三者之间的关系如下所示:

    $$ {{\boldsymbol{S}}^{{\mathrm{back}}}} = {\left[ {\begin{array}{*{20}{c}} {s_0^{{\rm{back}}}}&{s_1^{{\rm{back}}}}&{s_2^{{\rm{back}}}}&{s_3^{{\rm{back}}}} \end{array}} \right]^{\rm{T}}} = {{\boldsymbol{M}}^{{\rm{back}}}} \cdot {{\boldsymbol{S}}^{{\rm{in}}}} $$ (2)

    为达到最佳抑制效果,在介质穆勒矩阵$ {{\boldsymbol{M}}^{{\mathrm{back}}}} $固定的情况下,需要通过调制偏振生成仪(PSG)改变入射光${{\boldsymbol{S}}^{{\mathrm{in}}}}$,从而改变后向散射光$ {{\boldsymbol{S}}^{{\mathrm{back}}}} $,进而对后向散射光偏振度进行调控,最终实现在后向散射光偏振度达到最大值时,通过调制成像系统中的偏振分析仪(PSA)对后向散射光中的偏振部分进行抑制。

    入射光${{\boldsymbol{S}}^{{\mathrm{in}}}}$可表示为

    $$ {{\boldsymbol{S}}^{in}} = \left[ {\begin{array}{*{20}{c}} {s_0^{{\rm{in}}}} \\ {s_1^{{\rm{in}}}} \\ {s_2^{{\rm{in}}}} \\ {s_3^{{\rm{in}}}} \end{array}} \right] = s_0^{in}\left[ {\begin{array}{*{20}{c}} 1 \\ {P\cos 2\alpha \cos 2\varepsilon } \\ {P\sin 2\alpha \cos 2\varepsilon } \\ {P\sin 2\varepsilon } \end{array}} \right] $$ (3)

    式中:$P$为入射光偏振度;$\alpha $为偏振椭圆长轴方位角;$\varepsilon $为偏振椭圆椭偏率;$s_0^{{\mathrm{in}}}$为入射主动照明光照强度。为尽量提高后向散射光偏振度,同时符合偏振产生装置PSG实际调制情况,入射光为完全偏振光,因此$P$被设置为1。

    实际上,后向散射光偏振度${P_{{\mathrm{back}}}}$越高,相当于越大比例的后向散射光可以被偏振分析装置PSA所抑制。在每一种入射主动照明偏振光条件下都会产生一个相应的后向散射光偏振度${P_{{\mathrm{back}}}}$,即后向散射光最大的偏振度由入射主动照明决定。因此,通过确定最大的后向散射光偏振度即可确定最优主动照明,最优入射主动照明光椭圆方位角${\alpha _{{\mathrm{opt}}}}$以及椭偏率${\varepsilon _{{\mathrm{opt}}}}$可根据式(4)确定。

    $$ \left( {{\alpha _{{\rm{opt}}}},{\varepsilon _{{\rm{opt}}}}} \right) = {\mathop {\arg }\limits_{\left( {\alpha ,\varepsilon } \right)} }\; {\max \left\{ {{P_{{\rm{back}}}}\left( {{{\boldsymbol{M}}^{{\rm{back}}}},\alpha ,\varepsilon } \right)} \right\}} $$ (4)

    根据偏振度定义,后向散射光偏振度${P_{{\mathrm{back}}}}$可表示为式(5):

    $$ \begin{gathered} {P_{{\rm{back}}}}\left( {{{\boldsymbol{M}}^{{\rm{back}}}},\alpha ,\varepsilon } \right) = \frac{1}{{s_0^{{\rm{back}}}}}{\left[ {{{\left( {s_1^{{\rm{back}}}} \right)}^2} + {{\left( {s_2^{{\rm{back}}}} \right)}^2} + {{\left( {s_3^{{\rm{back}}}} \right)}^2}} \right]^{\tfrac{1}{2}}} \;\;\;\;\;\;\;\;\\ = \frac{1}{{\displaystyle\sum\limits_{j = 0}^3 {{\boldsymbol{M}}_{0j}^{{\rm{back}}}s_j^{{\rm{in}}}\left( {\alpha ,\varepsilon } \right)} }}{\left\{ {\displaystyle\sum\limits_{i = 1}^3 {\displaystyle\sum\limits_{j = 0}^3 {{{\left[ {{\boldsymbol{M}}_{ij}^{{\rm{back}}}s_j^{{\rm{in}}}\left( {\alpha ,\varepsilon } \right)} \right]}^2}} } } \right\}^{\tfrac{1}{2}}} \\ \end{gathered} $$ (5)

    根据式(5)可以看出,当场景确定后,介质的穆勒矩阵$ {{\boldsymbol{M}}^{{\rm{back}}}} $固定不变,因此,后向散射光偏振度为方位角$\alpha $以及椭偏率$\varepsilon $的函数,可通过式(6)所示求导并验根的方法,对此二元函数最大值解析解${\alpha _{{\mathrm{opt}}}}$与${\varepsilon _{{\mathrm{opt}}}}$进行求取。

    $$ \left\{ {\begin{array}{*{20}{c}} {\dfrac{{\partial {P_{{\rm{back}}}}\left( {{{\boldsymbol{M}}^{{\rm{back}}}},\alpha ,\varepsilon } \right)}}{{\partial \alpha }} = 0} \\ {\dfrac{{\partial {P_{{\rm{back}}}}\left( {{{\boldsymbol{M}}^{{\rm{back}}}},\alpha ,\varepsilon } \right)}}{{\partial \varepsilon }} = 0} \end{array}} \right. $$ (6)

    当入射光确定后,后向散射光也随之确定,此时可根据后向散射光偏振度${P_{{\rm{back}}}}$对后向散射光进行分解,分别得到后向散射光中偏振光以及非偏振光部分,并将其分别表示为$ \boldsymbol{S}_{\mathrm{p}}^{\rm{back}} $以及$ \boldsymbol{S}_{\mathrm{u}}^{\rm{back}} $,表达式如式(7)所示:

    $$ \left. {\begin{array}{*{20}{l}} {{\boldsymbol{S}}_{\mathrm{p}}^{{\rm{back}}} = {{\left[ {\begin{array}{*{20}{c}} {{P_{{\rm{back}}}}s_0^{{\rm{back}}}}&{s_1^{{\rm{back}}}}&{s_2^{{\rm{back}}}}&{s_3^{{\rm{back}}}} \end{array}} \right]}^{\rm{T}}}} \\ {{\boldsymbol{S}}_{\mathrm{u}}^{{\rm{back}}} = {{\left[ {\begin{array}{*{20}{c}} {\left( {1 - {P_{{\rm{back}}}}} \right)s_0^{{\rm{back}}}}&0&0&0 \end{array}} \right]}^{\rm{T}}}} \end{array}} \right\} $$ (7)

    由于$ \boldsymbol{S}_{\mathrm{p}}^{\rm{back}} $为完全偏振光,因此只需令成像系统中偏振分析装置PSA的偏振特征矢量${\boldsymbol{A}}$为式(8)所示,即可满足二者互相正交,从而实现对后向散射光中的偏振部分$ \boldsymbol{S}_{\mathrm{p}}^{\rm{back}} $进行最大程度的抑制。

    $$ \begin{gathered} {\boldsymbol{A}} = \frac{1}{{{P_{{\rm{back}}}}s_0^{{\rm{back}}}}}{\left[ {\begin{array}{*{20}{c}} {{P_{{\rm{back}}}}s_0^{{\rm{back}}}}&{ - s_1^{{\rm{back}}}}&{ - s_2^{{\rm{back}}}}&{ - s_3^{{\rm{back}}}} \end{array}} \right]^{\rm{T}}}\;\;\;\;\;\;\;\; \\ = {\left[ {\begin{array}{*{20}{c}} 1&{ - \dfrac{{s_1^{{\rm{back}}}}}{{{P_{{\rm{back}}}}s_0^{{\rm{back}}}}}}&{ - \dfrac{{s_2^{{\rm{back}}}}}{{{P_{{\rm{back}}}}s_0^{{\rm{back}}}}}}&{ - \dfrac{{s_3^{{\rm{back}}}}}{{{P_{{\rm{back}}}}s_0^{{\rm{back}}}}}} \end{array}} \right]^{\rm{T}}} \\ \end{gathered} $$ (8)

    在实际光学系统中,可通过调制PSA中的偏振光学元器件(即线偏振片和四分之一波片)的状态来实现具体偏振特征矢量A。不失一般性假设PSA中线性偏振片P-2的透振方向与水平方向夹角为$\gamma $,四分之一波片WP-2快轴与水平方向夹角为$ \theta $,那么此时偏振分析装置PSA的特征向量如式(9)[21]所示:

    $$ {\boldsymbol{A}} = \left[ {\begin{array}{*{20}{c}} 1 \\ {{{\cos }^2}\left( {2\theta } \right)\cos \left( {2\gamma } \right) + \sin \left( {2\theta } \right)\cos \left( {2\theta } \right)\sin \left( {2\gamma } \right)} \\ {\sin \left( {2\theta } \right)\cos \left( {2\theta } \right)\cos \left( {2\gamma } \right) + {{\sin }^2}\left( {2\theta } \right)\sin \left( {2\gamma } \right)} \\ { - \sin \left( {2\theta } \right)\cos \left( {2\gamma } \right) + \cos \left( {2\theta } \right)\sin \left( {2\gamma } \right)} \end{array}} \right] $$ (9)

    计算可得此时成像装置接收到的图像$ I(x,y) $如式(10)所示:

    $$ \begin{split} &I(x,y) = \frac{1}{2}{{\boldsymbol{A}}^{\mathrm{T}}}{\boldsymbol{S}}\left( {x,y} \right) = \\ &\frac{1}{4}\left\{ {2{s_0}\left( {x,y} \right) + {s_1}\left( {x,y} \right)\left[ {\cos \left( {4\theta - 2\gamma } \right){\text{ + }}\cos \left( {2\gamma } \right)} \right] + } \right. \\ &{s_2}\left( {x,y} \right)\left[ {\sin \left( {4\theta - 2\gamma } \right) + \sin \left( {2\gamma } \right)} \right] - \left.{2{s_3}\left( {x,y} \right)\sin \left( {2\theta - 2\gamma } \right)} \right\} \end{split} $$ (10)

    式中:$\left( {x,y} \right)$为图像像素坐标位置;${\boldsymbol{S}} = {\left[ {{s_0}}\;\;{{s_1}}\;\;{{s_2}}\;\;{{s_3}} \right]^{\mathrm{T}}}$为场景出射光透过PSA之前的斯托克斯矢量。${\boldsymbol{S}} $可通过入射光斯托克斯矢量$ \boldsymbol{S}\mathrm{^{in}} $与整个场景穆勒矩阵$ {\boldsymbol{M}} $得到,计算公式如式(11)所示:

    $$ {\boldsymbol{S}} = {\boldsymbol{M}} \cdot {{\boldsymbol{S}}^{{\rm{in}}}} = \left[ {\begin{array}{*{20}{c}} {{m_{00}}}&{{m_{01}}}&{{m_{02}}}&{{m_{03}}} \\ {{m_{10}}}&{{m_{11}}}&{{m_{12}}}&{{m_{13}}} \\ {{m_{20}}}&{{m_{21}}}&{{m_{22}}}&{{m_{23}}} \\ {{m_{30}}}&{{m_{31}}}&{{m_{32}}}&{{m_{33}}} \end{array}} \right] \cdot \left[ {\begin{array}{*{20}{c}} {s_0^{{\rm{in}}}} \\ {s_1^{{\rm{in}}}} \\ {s_2^{{\rm{in}}}} \\ {s_3^{{\rm{in}}}} \end{array}} \right] \;\;\;\;$$ (11)

    基于上述理论,设计可行性验证实验,搭建用于穆勒矩阵成像的偏振光学探测系统。实验装置如图1所示,其中P-1和P-2为2个线偏振片,WP-1和WP-2为2个四分之一波片,实验中可通过对照明光源入射方向以及出射方向的四分之一波片及线性偏振片进行分时机械旋转,并同步采集不同条件下的图像,经过最终计算来得到场景穆勒矩阵。图1中位于入射方向的P-1和WP-1组合构成偏振生成仪(polarization state generate, PSG),负责生成主动偏振光照明;P-2以及WP-2组合构成偏振分析仪(polarization state analysis, PSA),用于实现待测偏振光的偏振解算和偏振分析。

    图  1  穆勒矩阵成像装置图
    Figure  1.  Diagram of Mueller matrix imaging device

    实验中所使用光源为中心波长625 nm的LED光源(THORLABS, M625L3);成像装置为德国 Allied Vision Technologies 公司 Stingray 系列14位数字CCD灰度相机F-033B,其像素为 492×656;高透玻璃水缸作为容器,尺寸大小为15 cm×15 cm×40 cm;偏振片为THORLABS的LPVISE200-A线性偏振片,其消光比大于$ 1\ 000:1 $;四分之一波片为THORLABS的WPQ20ME-633,其延迟准确度小于${\lambda \mathord{\left/ {\vphantom {\lambda {100}}} \right. } {100}}$,延迟均匀性小于5 nm;电控旋转台的重复定位精度为${0.1^ \circ }$,平行度$100\;{\text{μm}}$,速度${25^ \circ }$/s,分辨率为${0.01^ \circ }$;目标物被置于距离水缸前侧15 cm处,目标为白色塑料板上的塑料贴纸(贴纸内容为:数字 4,“耳朵”图标以及尺子)以及黑色记号笔所写“TJU”字迹。

    实验时,首先需模拟浑浊水下成像环境,利用牛奶作为实验场景常用的散射介质,因其具有分散均匀的特点,能够出色地仿制海水的散射特性,将其和去离子水加入水缸中,搅拌均匀,用来模拟浑浊水下散射环境。选用波长625 nm的光源是因为在可见光范围内,随着波长增加,散射系数逐渐减小,表现出近似反比例的趋势,在相同的探测距离下,红光相对于其他波长的可见光,经历的散射事件较少,这有助于维持后向散射光的较高偏振度水平。为了便于探测器更好地接收目标反射信息,系统中主动照明光源入射光束方向与相机接收到的反射光束夹角大致呈${21^ \circ }$。

    在散射介质成像实验中,为对所测得穆勒矩阵进行恰当显示同时便于计算,此处将测量得到的场景穆勒矩阵16幅图相对于左上角图片进行归一化处理,相当于将图像场景中每一个坐标点穆勒矩阵的16个数值相对于左上角${m_{00}}$进行归一化,最终实验场景归一化穆勒矩阵测量结果如图2所示。

    图  2  实验场景归一化穆勒矩阵测量结果
    Figure  2.  Experimental scenarios normalized Mueller matrix measurement results

    基于测得的斯托克斯矢量进行图像反演解算,从而得到上述理论中背景位置的穆勒矩阵和目标物的穆勒矩阵,这两个矩阵分别用来描述背景处散射环境对于入射光场的调制能力和目标场景对于入射光场的调制能力,这种调制不光体现在光强这一信息,也体现在更高维度如对偏振的调制。值得注意的是,本文展示的方法具体实施时背景区域通过人工选定,但实际操作中也可通过四叉树分层搜索[22]等方法实现自动背景区域选定,全部计算成像流程见图3

    图  3  基于穆勒矩阵的计算成像流程图
    Figure  3.  Flow chart of computational imaging based on Mueller matrix

    利用式(4)~式(6),迭代解出最优入射主动照明光椭圆方位角${\alpha _{{\mathrm{opt}}}}$以及椭偏率${\varepsilon _{{\rm{opt}}}}$,由此确定最优的入射光偏振态${{\boldsymbol{S}}^{{\rm{in}}}}$,同时可以解出PSA的最优特征向量。经过这一系列偏振解算,通过电控旋转台对PSG进行调节约束相应的入射光束${{\boldsymbol{S}}^{{\rm{in}}}}$,对PSA调节约束其偏振特征矢量${\boldsymbol{A}}$,之后进一步经过成像系统的采集,得到偏振解算处理后的图像。我们的方法通过PSA对输出的图像进行直接调制,CCD相机采集得到的便是散射抑制后的成像结果。

    将本文提出的浑浊介质偏振去散射成像方法与其他几种典型方法进行对比,结果如图4所示,其灰度直方图分布结果如图5所示。其中强度图像(Intensity image)为未经计算成像处理前,入射光经过散射介质由普通光强相机所拍摄光强图像,其结果与人眼观察视觉效果较为相近,HSI为光强图像经直方图拉伸处理后结果。可以看出,在主动照明情况下,由散射介质引起的后向散射光较为强烈,照明光场经散射后,使得目标物体看起来像是被蒙上了一层“白雾”,图像对比度提升有限,场景中目标依旧难以分辨。且HSI仅对光强图中灰度值进行拉伸而不做任何其他处理,当光强图像中由于成像设备感光芯片存在坏点或图像噪声过大导致图像中存在极值时,其拉伸效果就会受到明显影响,这将直接导致即使对图像进行了拉伸处理,但其灰度分布仍然无法占满整个灰度空间,从而使得拉伸效果大打折扣。对比度限制自适应直方图均衡(CLAHE)[23]与多尺度Retinex均为数字图像处理方法,其依赖于图像块的灰度分布以及滤波器的使用,这种算法在图像增强过程中会导致部分图像细节的丢失,其更适合于提升散射介质中整体图像观感。暗通道先验(DCP)[24]是一种统计意义上的方法,HE K等人对大量户外无雾的图像进行总结,发现在无雾图像中局部区域存在一些像素位置,这些位置对应的R、G、B通道图像中至少存在一个通道的灰度值非常低,且这些低灰度值对应区域不包括天空。DCP可以对灰度图像进行处理,但由于灰度图像通道单一且DCP对于高浑浊度强散射介质中整体偏白的光强图像处理存在缺陷,因此此处效果一般。反之,本方法对应的结果细节保留更好,处理后图像更接近于无散射介质中人眼视觉呈现效果,后续可继续结合数字图像处理的方法,对偏振散射抑制后的结果进行进一步图像增强以及图像去噪等处理,从而得到更高质量的图像复原效果。

    图  4  不同图像处理方法结果对比
    Figure  4.  Comparison of results of different image processing methods
    图  5  不同图像处理方法灰度直方图分布图
    Figure  5.  Histogram distribution of gray scale for different image processing methods

    此外,观察处理后图像的灰度分布结果可以发现,HSI的灰度范围拉伸是最有限的,并没有布满整个灰度空间,体现在图像中的视觉效果便是对比度效果很差,CLAHE和Retinex的灰度峰值与主要灰度值的分布范围较为接近,两种方法的整体视觉效果相差不大,但由于其峰值所处位置不同,明显CLAHE的图像会更亮一些。观察DCP方法处理后的直方图,其峰值分布虽未紧密连接但却分布在一定的区间内,由于其在复原目标反射光的图像处理过程中对散射抑制不完全,以至于将主动照明的非均匀性进行凸显,使得图像视觉效果变差。

    为了进一步验证所提方法的有效性,我们测试了分辨率板的成像复原效果,原始图像及不同复原结果的对比如图6所示。值得注意的是,为了验证本文所提方法的先进性,我们增添了基于低秩稀疏分解(LRSD)的去散射方法[25]进行对比。其中Ours-1表示由上述模型直接得到的呈现结果,Ours-2是在Ours-1的基础上采用CLAHE处理后进一步提升后的结果。

    图  6  不同处理方法的结果
    Figure  6.  Results of different processing methods

    图6可直观看出,所有方法相比于原始光强图已有很大的提升,但DCP处理后图像背景处的强度高于其他方法的背景强度,这是由于暗通道先验方法基于统计规律,对光场强度估计不准确导致了强度分布不均匀,Ours-1方法便消除了这种背景光场分布不均匀的情况。对比采用的4种方法中,Ours-2的对比度提升最为明显,其细节轮廓部分更为清晰,背景与目标物的分界处轮廓、数字轮廓、分辨率条纹轮廓、右侧密集条纹轮廓均与周围场景鲜明分割,但同时注意到图像表面有许多暗点,这是由于在大幅增强图像细节的同时,噪声信号也被放大,但其处理结果所包含的信息量仍然是最多的。

    对照图7,可以更清楚地看到,原始光强图的整个强度值是偏高的,灰度分布过于集中,经LRSD处理后,其灰度值曲线出现显著变化,在字符处的灰度值下降明显。Retinex与DCP相比,在开始的像素灰度值变化过程中,差异并不明显,其峰值和最小值基本一致,但在对应图像中右侧由背景板向细密小条纹过度的区域,DCP方法明显具有更好的成像效果与成像对比度。DCP方法与Ours-1方法相比,整体变化趋势都是Ours-1的灰度变化更为显著,相应成像细节也更为清晰。而Ours-2方法的灰度值分布曲线不光在边界变化处具有显著的对比度差异,即使在右侧的细密小条纹处,也可以将细节变换清晰地展现出来,将不同目标鲜明地分割出来,极大地改善了成像效果。

    图  7  图6中红色虚线灰度值曲线对比图
    Figure  7.  Comparison of red dashed gray value curves in Fig. 6

    为了量化评估,采用图像增强测量(EME)[26]、标准差(STD)[27]、信息熵(Entropy)[28]和对比度(C[29]4个评价指标对图6中的原始光强图及处理结果进行评判,见表1。EME指标更注重图像的局部细节表现,相比于光强图,LRSD方法的EME提升了70.7%,Retinex提升了201.5%,DCP方法提升了204.5%,Ours-1提升了360.7%,是DCP提升的1.8倍,Ours-2提升了1047.7%,是DCP的5.2倍、Ours-1的2.9倍,Ours-2对于细节的改善是巨大的。STD指标与对比度指标均用来描述像素灰度值的离散程度,值越高代表着像素值的差异性越大,像素之间的亮暗对比也就越明显,Ours-2方法处理后的图像,STD和对比度的值皆提升了2倍以上,与Ours-1方法相比也有60%的提升,这表明Ours-2方法在图像整体对比度上的提升也十分显著。图像的信息熵Entropy通常用来描述图像的信息量,熵越高,信息量越高,但要注意的是,引入噪声也会使得图像信息熵增加,故对于信息熵的评价并非是越高越好,要综合考虑成像效果,且对于图像评价要综合考虑多个指标,不可单一使用信息熵来作为评判,就此幅光强图像的处理结果而言,其图像信息量是最大的。

    表  1  图6中光强图及不同算法客观评价指标
    Table  1.  Objective evaluation indicators for light intensity images and different algorithms in Fig. 6
    指标 光强图 LRSD DCP Retinex Ours-1 Ours-2
    EME 1.128 1.925 3.435 3.401 5.197 12.946
    STD 0.017 0.040 0.048 0.033 0.041 0.067
    Entropy 6.912 7.361 7.513 7.302 7.383 7.745
    C 0.220 0.526 0.404 0.467 0.354 0.518
    下载: 导出CSV 
    | 显示表格

    本文提出了一种基于主动偏振照明调制实现水下散射光抑制的偏振成像方法,可以通过偏振照明优化调制实现后向散射光的偏振度最大化,从而最大程度地提升后向散射光的抑制效果。该方法在获取目标场景穆勒矩阵的基础上,通过结合计算方法对主动照明进行偏振优化调制,从而实现后向散射光偏振度最大化,最终实现将后向散射部分最大程度的抑制。本方法首先测量得到目标场景穆勒矩阵以及背景位置穆勒矩阵;其次直接给定后向散射光为完全偏振光时的斯托克斯矢量,并根据给定斯托克斯矢量以及背景位置穆勒矩阵确定入射主动照明斯托克斯矢量;接着求得与后向散射光斯托克斯矢量相互正交的偏振特征矢量;最终通过结合入射主动照明斯托克斯矢量、目标场景穆勒矩阵、目标场景背景位置穆勒矩阵、所求偏振特征矢量对散射介质中图像进行复原。实验结果和不同方法的对比结果表明,本方法可以有效提升浑浊水体下的成像退化问题,并显著提升图像质量。

  • 图  1   大气散射模型

    Figure  1.   Atmospheric scattering model

    图  2   方法的流程图

    Figure  2.   Flow chart of method

    图  3   获取的偏振图像

    Figure  3.   Polarization images obtained

    图  4   导向滤波前后的传输图及其对应去雾图像

    Figure  4.   Transmission rate before and after guided filtering and its corresponding de-fogging results

    图  5   不同的v值得到的不同图像增强结果

    Figure  5.   Different v values with different image enhancement results

    图  6   实验整体设备图(左)和拍摄场景图(右)

    Figure  6.   Experimental overall equipment (left) and scene (right)

    图  7   不同天空区域得到的Schechner的去雾图像和本文方法去雾图像对比

    Figure  7.   Comparison of defog images of Schechner from different sky regions with method in this paper

    图  8   薄雾和浓雾天气下Schechner的方法去雾图像和本文方法去雾图像对比(图 8(a)~(c)为薄雾天气/图 8(d)~(f)为浓雾天气)

    Figure  8.   Comparison of de-fogging images by Schechner's method and present method in misty and dense fog weathers (Fig. 8(a)~(c) are in haze weather / Fig. 8(d)~(f) are in thick fog weather)

    图  9   有无天空区域下He的方法去雾图像和本文方法去雾图像对比(图 9(a)~(c)为无天空区域下/ 图 9(d)~ (f)为有天空区域下)

    Figure  9.   Comparison of de-fogging images by He's method and present method with or without sky region (Fig. 9(a)~(c) are area without sky/Fig. 9(d)~ (f) are area with sky)

    表  1   薄雾和浓雾天气下Schechner的方法去雾结果和本文方法去雾结果量化对比

    Table  1   Quantitative comparison of de-fogging results of Schechner's method and present method in misty and dense fog weathers

    图 8 (a) 图 8 (b) 图 8 (c) 图 8 (d) 图 8 (e) 图 8 (f)
    信息熵 13.334 34 13.683 03 14.127 04 12.998 12 11.911 66 14.458 23
    平均梯度 2.222 343 2.671 173 5.709 84 2.140 849 2.440 347 8.247 062
    边缘强度 22.100 58 27.372 12 58.064 32 20.677 66 23.654 35 84.928 58
    标准差 44.057 36 77.846 6 78.379 45 38.139 54 66.075 6 74.361 66
    下载: 导出CSV

    表  2   有无天空区域下He的方法去雾结果和本文方法去雾结果量化对比

    Table  2   Quantitative comparison of de-fogging results by He's method and present method with or without sky region

    图 9(a) 图 9 (b) 图 9 (c) 图 9 (d) 图 9(e) 图 9 (f) 图 9 (g) 图 9 (h)
    信息熵 12.750 38 14.272 36 16.725 89 17.007 38 12.599 48 16.061 38 13.193 56 16.388 57
    平均梯度 1.712 79 3.559 987 9.843 407 13.383 38 1.478 408 6.842 758 5.763 945 12.659 89
    边缘强度 16.306 72 32.696 16 102.946 2 134.612 5 14.256 54 65.601 99 56.098 42 119.076
    标准差 19.641 67 23.559 02 62.454 13 68.261 46 29.136 32 51.484 21 61.523 37 69.468 58
    下载: 导出CSV
  • [1] 高隽, 毕冉, 赵录建, 等.利用偏振信息的雾天图像全局最优重构[J].光学精密工程, 2017, 25(8):2212-2220. http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201708029

    GAO Jun, BI Ran, ZHAO Lujian, et al.Global optimal reconstruction of fog images using polarization information[J].Optics Precision Engineering, 2017, 25(8): 2212-2220. http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201708029

    [2]

    SCHECHNER Y Y, NARASIMHAN S G, Nayar S K. Instant dehazing of images using polarization[J]. Proceedings of the 2001 IEEE Computer Society Conference, 2001, 1: I-325-I-332. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=CC026610010

    [3]

    SCHECHNER Y Y, NARASIMHAN S G, NAYAR S K. Polarization-based vision through haze[J]. Applied Optics, 2003, 42(3): 511-525. doi: 10.1364/AO.42.000511

    [4]

    HE K, SUN J, TANG X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 33(12):2341-2353.. http://cn.bing.com/academic/profile?id=00c685d62fb1b326466854c7302cfa20&encoded=0&v=paper_preview&mkt=zh-cn

    [5]

    CANTOR A. Optics of the atmosphere: scattering by molecules and particles[J]. IEEE Journal of Quantum Electronics, 1977, 24 (7):779-779. http://cn.bing.com/academic/profile?id=985cac8b481075e824b01f3172b7e1ff&encoded=0&v=paper_preview&mkt=zh-cn

    [6]

    HE K, SUN J, TANG X. Guided image filtering[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2013, 35(6):1397-1409. http://d.old.wanfangdata.com.cn/Periodical/zgtxtxxb-a201207002

    [7] 陈卫斌, 顾培夫.偏振光Stokes列矩阵表示及应用[J].光学仪器, 2004, 26(2): 42-46 doi: 10.3969/j.issn.1005-5630.2004.02.009

    CHEN Weibin, GU Peifu. Representation and application of polarized Stokes column matrix[J].Optical Instrument: 2004, 26(2): 42-46. doi: 10.3969/j.issn.1005-5630.2004.02.009

    [8] 赵录建, 高隽, 毕冉, 等.基于最大和最小光强图像的偏振去雾方法[J].应用光学, 2017, 38(3):415-420. http://d.old.wanfangdata.com.cn/Periodical/yygx201703012

    ZHAO LuJian, GAO Jun, Bi Ran, et al.Polarimetric defog method based on maximum and minimum intensity images[J].Journal of Applied Optics, 2017, 38(3):415-420. http://d.old.wanfangdata.com.cn/Periodical/yygx201703012

    [9]

    QU Y, ZOU Z. Non-sky polarization-based dehazing algorithm for non-specular objects using polarization difference and global scene feature[J]. Optics Express, 2017, 25(21):25004 doi: 10.1364/OE.25.025004

    [10] 周雨薇, 陈强, 孙权森, 等.结合暗通道原理和双边滤波的遥感图像增强[J].中国图象图形学报, 2014, 19(2):313-321. http://d.old.wanfangdata.com.cn/Periodical/zgtxtxxb-a201402018

    ZHOU Yuwei, CHEN Qiang, SUN Quansen, et al.Enhancement of remote sensing images based on the principle of dark channels and bilateral filtering[J]. Chinese Journal of Image Graphics, 2014, 19(2): 313-321. http://d.old.wanfangdata.com.cn/Periodical/zgtxtxxb-a201402018

    [11] 陈书贞, 任占广, 练秋生.基于改进暗通道和导向滤波的单幅图像去雾算法[J].自动化学报, 2016, 42(3):455-465. http://d.old.wanfangdata.com.cn/Thesis/D01111331

    CHEN Shuzhen, REN Zhanguang, LIAN Qiusheng. A single image de-fogging algorithm based on improved dark channel and guided filtering[J]. Journal of Automation, 2016, 42(3):455-465. http://d.old.wanfangdata.com.cn/Thesis/D01111331

    [12] 王昕, 孙莹莹, 李影昉.图像和视频的快速去雾算法研究[J].影像科学与光化学, 2016, 34(1):82-87. http://d.old.wanfangdata.com.cn/Periodical/ggkxyghx201601012

    WANG Xin, SUN Yingying, LI Yingfang. Research on fast fogging algorithm for image and video[J]. Image Science and Photochemistry, 2016, 34(1):82-87. http://d.old.wanfangdata.com.cn/Periodical/ggkxyghx201601012

图(9)  /  表(2)
计量
  • 文章访问数:  339
  • HTML全文浏览量:  226
  • PDF下载量:  14
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-01-26
  • 修回日期:  2018-04-25
  • 刊出日期:  2018-06-30

目录

/

返回文章
返回