引言

雾霾天气下, 大气对光产生吸收、散射、反射、折射等作用, 使拍摄的图像清晰度和辨识度严重下降, 降低了获取图像的应用价值, 如高空监控系统, 空管设备指挥系统, 遥感监控系统等。因此, 从获取的雾霾图像中恢复和增强图像的细节信息具有重要的意义。当前较好的去雾算法有两类:单幅图像去雾算法和基于偏振的去雾算法。单幅图像去雾算法能够取得较好的结果, 但是这类方法通常需要先验假设; 基于偏振的方法需要较少的假设, 因为这类算法至少需要采集2幅偏振图像, 故具有更多的信息。此外基于偏振的方法在去雾的同时能够提供丰富的目标表面特征信息, 增加信息获取的维度, 因此, 研究基于偏振特性的雾天图像去雾方法, 具有重要的研究意义和应用价值^[1]。

Schechner等人^[2-3]基于大气粒子散射后的自然光(即大气光)通常是部分偏振光这一事实去雾, 该方法需要手动旋转偏振片来获得垂直和平行的最大、最小光强图像, 手动选取天空区域来估计大气光的偏振度和无穷远处大气光强等参数, 计算得到大气光和传输图, 再根据大气散射模型复原图像。该方法利用了大气光的偏振特性, 在大部分大气和观测环境下都适用, 但是在浓雾天气下随着大气光的偏振度的增加, 该方法失去作用。在非偏振去雾领域, He^[4]提出一种基于暗通道先验理论的单幅图像去雾算法, 该方法假定在绝大多数非天空的局部区域里, 某一些像素中至少有一个颜色通道具有很低的值, 并利用soft matting算法对透射图修正, 使得输出的图像更加自然清晰。该方法在大部分情况下都适用, 能够取得不错的效果, 然而对于图像中较亮的区域如天空和白色物体, 这一假定并不成立。

1   大气散射模型

在雾霾等天气下, 图像退化的原因归结于两点:一是大气对目标光造成的衰减, 目标光由于受到大气中悬浮粒子的散射作用, 通常会降低图像亮度, 造成图像的对比度下降; 二是环境光的影响, 太阳光等照射源受到大气粒子的散射作用而形成杂散光, 通常会使图像模糊, 造成图像色彩不自然。根据Mie散射理论, 1975年McCartney提出了著名的大气散射模型^[5], 如图 1所示。

图  1  大气散射模型

Figure  1.  Atmospheric scattering model

下载: 全尺寸图片 幻灯片

从图 1可以看出, 成像系统获得的总光强I包含两部分, 一部分是目标光在经过大气衰减之后到达相机的直接传输光D, 另一部分是环境光经过空气中微粒散射后到达相机的大气光A, 如(1)式所示:

其中:L表示目标本身的光强值; β表示大气对光的衰减系数; A_∞表示无穷远处大气光强; d表示景物到成像面的距离。则大气散射模型可写为

其中:t为传输图; 对于均匀大气而言大气衰减系数β是全局量; 传输图主要由深度d决定。

Schechner^[3]根据大气散射模型, 通过旋转偏振片得到最大和最小光强图像(I^⊥和I^‖), 计算得到总光强图像(I=I^⊥+I^‖)和偏振差分图像(ΔI=I^⊥-I^‖), 通过手动选取天空区域计算大气光的偏振度$P\left(P=\frac{I_{\mathrm{sky}}^{\perp}-I_{\mathrm{sky}}^{\|}}{I_{\mathrm{sky}}^{\perp}+I_{\mathrm{sky}}^{\| }}\right)$和无穷远处的大气光A_∞(A_∞=I_sky^⊥-I_sky^‖)。

再根据(6)式计算得到大气光A和传输图t:

最后, 根据上述参数得到去雾后的目标图像L:

2   参数估计

与Schechner的方法相比较, 本文提出了一种全局参数自动估计的彩色图像偏振去雾方法。本方法利用不同角度的三幅偏振图像, 自动计算得到无穷远处的大气光和大气光的偏振度, 根据大气散射模型得到去雾后的图像。本文方法可对彩色图像进行处理, 无需手动旋转偏振片得到最大和最小光强图像, 无需手动选取天空区域计算无穷远处的大气光和大气光的偏振度。本文分别从RGB 3个色彩通道计算相应的参数, 方法流程图如图 2所示:首先, 使用线性偏振片获取同一场景不同偏振角度的3幅图像, 计算图像的stokes矢量S=[I, Q, U, V], 通过stokes矢量拟合获取最大和最小光强图像。然后根据暗通道原理^[4]估计无穷远处的大气光, 得到传输图t, 并通过导向滤波^[6]对得到的传输图t进行优化。同时, 基于大气光A和目标光强L的不相关性来计算大气光的偏振度P, 并且得到大气光A。将上述参数带入大气散射模型得到去雾图像, 并对其进行对数变换进行增强。

图  2  方法的流程图

Figure  2.  Flow chart of method

下载: 全尺寸图片 幻灯片

2.1   获取最大和最小光强图像

通常用斯托克斯矢量(I, Q, U, V)^[7]来描述光的偏振信息。在确定0°参考方向后任意偏振方向θ上的光强为^[8]

根据上式, 获得3个不同偏振方向的图像, 为简化计算, 选取0°, 60°, 120°偏振方向上的图像I(0)、I(60)、I(120), 通过拟合I(θ)和θ的关系曲线^[8]获取最大光强图像和最小光强图像。本文获得的0°、60°、120°的偏振图像, 最大和最小光强图像, 偏振差分图像如图 3所示。

图  3  获取的偏振图像

Figure  3.  Polarization images obtained

下载: 全尺寸图片 幻灯片

2.2   全局搜索估计大气光的偏振度P

本文采用基于全局搜索^[9]的方法来估计大气光的偏振度P。由于大气光A是由场景深度d和消光系数β来决定, 目标场景L是由目标本身的特征所决定, 因此可以假定大气光A和目标场景L是两个不相关的变量。表达式如下:

把方程(6)和(8)代入方程(10), 得到

在此对方程(11)变形来求解方程最优问题, 得到:

本文使用全局搜索算法(Global Search)来求解(12)式。

2.3   估计无穷远处的大气光

为了消除天空区域高亮度白色物体与强光源的干扰, 本文根据暗通道先验原理^[4]来估计A_∞。

图像的暗通道I^dark公式如下:

式中:I^c是图像I的一个颜色通道; Ω(x)是一个以x为中心的小图像块。

由于A_∞的值近似等于雾最浓区域的值, 求取A_∞的方法如下:

1) 根据(14)式计算得到暗通道图像I^dark;

2) 从I^dark中提取前0.1%亮度最高的像素点;

3) 在原图像I中提取步骤2)得到的点中强度最大的点, 将该点的RGB值赋给A_∞。

2.4   传输图t的估计与优化

文献[4]使用soft matting对初始传输图t作优化处理, 该方法的时间和空间复杂度都较高。但若不作优化处理, 则得到的t会出现较明显的方块(图 4(a)), 从而掩饰图像原本的边缘信息, 导致滤波后的图像在景深突变时出现光晕^[10](图 4(c))。导向滤波可以平滑图像细节和保持图像的边缘信息, 并且计算速度快^[11]。因此本文使用导向滤波^[6]代替soft matting过程。可以观察到用导向滤波对传输图t进行优化后, 得到的传输图t非常细腻, 无方块效应(图 4(b))。并且滤波后的去雾图像边缘清晰, 轮廓明显, 无光晕现象(图 4(d))。

图  4  导向滤波前后的传输图及其对应去雾图像

Figure  4.  Transmission rate before and after guided filtering and its corresponding de-fogging results

下载: 全尺寸图片 幻灯片

2.5   图像增强

本文算法得到的去雾图像在视觉感知上颜色整体偏暗, 图 5(a)很好地说明了这一点, 因此需要对直接得到的结果进行对数变换增强。变换公式由(14)式给出:

图  5  不同的v值得到的不同图像增强结果

Figure  5.  Different v values with different image enhancement results

下载: 全尺寸图片 幻灯片

其中:r是原始输入图像; s是变换之后的图像; c=1, 底数为v。经过对不同的v取值进行测试如图 5所示, 可以看出当v=2时天空区域颜色不自然, 整体偏暗; 当v>10时, 图像整体泛白, 细节丢失; 当v=10时整体效果明亮适中, 天空区域自然; 因此本文实验取v=10进行对数变换增强。

3   实验与结果分析

本文使用单反相机和标定过的偏振片进行原始图像采集, 偏振片分别旋转到0°、60°、120°, 用来获取同一视场下不同偏振化方向的图像。实验整体设备图和拍摄场景图如图 6所示, 其中图 6左边是实验整体设备图, 在三脚架上安装偏振相机; 图 6右边是拍摄场景图, 在单反相机上放置偏振片进行场景拍摄。本文方法所拍摄的场景能够达到的最远距离为2 000 m。

图  6  实验整体设备图(左)和拍摄场景图(右)

Figure  6.  Experimental overall equipment (left) and scene (right)

下载: 全尺寸图片 幻灯片

图 7为不同天空区域得到的Schechner的去雾图像和本文方法去雾图像对比。图 7(b)和图 7(c)所得到的去雾图像对应选取的天空区域分别在图中用方框标出, 可以看出不同天空区域的选择会极大地影响去雾的结果。本文采用全局搜索估计大气光的偏振度, 采用暗通道估计无穷远处的大气光, 不涉及对天空区域的选取, 因此去雾图像的结果不受手动选取天空区域的影响。

图  7  不同天空区域得到的Schechner的去雾图像和本文方法去雾图像对比

Figure  7.  Comparison of defog images of Schechner from different sky regions with method in this paper

下载: 全尺寸图片 幻灯片

Schechner的算法是基于大气光的偏振特性, 因此当大气光的偏振度增加时, 算法的稳定性会下降。例如强偏振情况下(浓雾)去雾的效果会差甚至会失去作用。图 8所示为薄雾和浓雾天气下Schechner的方法去雾图像和本文方法去雾图像对比。图 8(a)为2017年12月28日在合肥工业大学拍摄, 空气质量为轻度污染, AQI指数109, PM2.5指数70;图 8(d)为2018年1月16日拍摄, 空气质量为中度污染, AQI指数176, PM2.5指数133。可以看出薄雾天气下Schechner的去雾图像清晰, 但是浓雾天气下由于大气光过于强烈导致去雾后的图像雾气浓重, 远处建筑和近处的植被等细节不可见。本文的方法基于整幅图像的暗通道估计和全局搜索算法, 不仅仅是选取天空区域来计算无穷远处的大气光和大气光的偏振度, 故适用于浓雾天气。可以观察到本文方法去雾图像亮度适中, 对比度分明, 远处的建筑和草坪清晰可见。

图  8  薄雾和浓雾天气下Schechner的方法去雾图像和本文方法去雾图像对比(图 8(a)~(c)为薄雾天气/ 图 8(d)~(f)为浓雾天气)

Figure  8.  Comparison of de-fogging images by Schechner's method and present method in misty and dense fog weathers (Fig. 8(a)~(c) are in haze weather / Fig. 8(d)~(f) are in thick fog weather)

下载: 全尺寸图片 幻灯片

本文采用图像的信息熵、平均梯度、边缘强度、标准差4种统计特性参数对Schechner的方法去雾结果和本文方法去雾结果进行量化评价分析, 表 1中给出了量化结果。

表  1  薄雾和浓雾天气下Schechner的方法去雾结果和本文方法去雾结果量化对比

Table  1.  Quantitative comparison of de-fogging results of Schechner's method and present method in misty and dense fog weathers

	图 8 (a)	图 8 (b)	图 8 (c)	图 8 (d)	图 8 (e)	图 8 (f)
信息熵	13.334 34	13.683 03	14.127 04	12.998 12	11.911 66	14.458 23
平均梯度	2.222 343	2.671 173	5.709 84	2.140 849	2.440 347	8.247 062
边缘强度	22.100 58	27.372 12	58.064 32	20.677 66	23.654 35	84.928 58
标准差	44.057 36	77.846 6	78.379 45	38.139 54	66.075 6	74.361 66

下载: 导出CSV 

| 显示表格

对比表 1中两种方法去雾后的量化结果可以发现, 本文方法去雾后的结果相比Schechner的方法结果在两种情况下统计特性参数均有较大的提升。在薄雾天气下, 图像的信息熵提升了约7%, 平均梯度和边缘强度提升了约1.14倍, 标准差提升了约1%。在浓雾天气下, 图像的信息熵提升了约21%, 平均梯度提升了约2倍多, 标准差提升了约12%。

He的方法对于绝大多数非天空的局部区域适用, 但是对于图像中较亮的天空区域, 这一假设并不一定成立^[12]。图 9为有无天空区域下He的方法去雾图像和本文方法去雾图像对比。由于He方法去雾结果[图 9(b)、(f)]偏暗, 因此对其进行同样的对数变换增强, 得到的增强图像为[图 9(c)、(g)]。从图可以看出无天空区域下, 用He方法得到的图像去雾效果较好, 但是色调偏暗。但是有天空区域下, 会在天空区域出现颜色失真。本文方法是基于偏振的算法, 适用于有天空区域条件, 并且对去雾后的图像进行对数变换增强。可以看出本文方法得到的图像天空区域过渡自然, 图像亮度自然, 能够获得较多的细节信息。

图  9  有无天空区域下He的方法去雾图像和本文方法去雾图像对比(图 9(a)~(c)为无天空区域下/ 图 9(d)~(f)为有天空区域下)

Figure  9.  Comparison of de-fogging images by He's method and present method with or without sky region (Fig. 9(a)~(c) are area without sky/Fig. 9(d)~(f) are area with sky)

下载: 全尺寸图片 幻灯片

同样采用图像的信息熵、平均梯度、边缘强度、标准差4种统计特性参数对He的方法去雾后的结果和本文方法去雾结果进行量化评价分析, 表 2中给出了量化结果。

表  2  有无天空区域下He的方法去雾结果和本文方法去雾结果量化对比

Table  2.  Quantitative comparison of de-fogging results by He's method and present method with or without sky region

	图 9(a)	图 9 (b)	图 9 (c)	图 9 (d)	图 9(e)	图 9 (f)	图 9 (g)	图 9 (h)
信息熵	12.750 38	14.272 36	16.725 89	17.007 38	12.599 48	16.061 38	13.193 56	16.388 57
平均梯度	1.712 79	3.559 987	9.843 407	13.383 38	1.478 408	6.842 758	5.763 945	12.659 89
边缘强度	16.306 72	32.696 16	102.946 2	134.612 5	14.256 54	65.601 99	56.098 42	119.076
标准差	19.641 67	23.559 02	62.454 13	68.261 46	29.136 32	51.484 21	61.523 37	69.468 58

下载: 导出CSV 

| 显示表格

从表 2可以观察到本文的方法相比原始He的方法的去雾结果在信息熵、平均梯度、边缘强度和标准差等参数上有较大的提升。在基于同样的对数变换增强条件下, 无天空区域时本文方法相比He的方法在信息熵、平均梯度、边缘强度和标准差等参数上分别提升了2%、36%、31%、10%。有天空区域时本文方法相比He的方法在信息熵、平均梯度、边缘强度和标准差等参数上分别提升了23%、140%、112%、13%。验证了本文方法相对于He的方法在有天空区域时相对于无天空区域时有较大的进步。

4   结论

本文针对雾天环境成像质量下降的问题, 提出了一种全局参数自动估计的彩色图像偏振去雾方法。通过获取不同角度的3幅偏振图像, 自动估算无穷远处的大气光和大气光的偏振度, 根据大气散射模型得到去雾后的图像。本文针对复原后的图像在视觉感知上颜色整体偏暗的问题, 利用对数变换算法增强了图像的质量。本文方法无需手动旋转偏振片, 通过拟合方式自动获取最大和最小光强图像。并通过雾天实测实验, 与Schechner和He的方法进行对比可以看出本文方法无需手动选取天空区域, 并且在浓雾天气下恢复出的场景目标具有更高的清晰度和对比度, 天空区域过渡自然。