留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

混合残差学习与导向滤波的图像去雾算法

陈清江 张雪

陈清江, 张雪. 混合残差学习与导向滤波的图像去雾算法[J]. 应用光学.
引用本文: 陈清江, 张雪. 混合残差学习与导向滤波的图像去雾算法[J]. 应用光学.
Chen Qingjiang, Zhang Xue. Mixed residual learning and guided filtering image dehazing algorithm[J]. Journal of Applied Optics.
Citation: Chen Qingjiang, Zhang Xue. Mixed residual learning and guided filtering image dehazing algorithm[J]. Journal of Applied Optics.

混合残差学习与导向滤波的图像去雾算法

基金项目: 基于复振幅重构的高功率光纤激光器光束质量因子动态测量理论及技术研究(61875087);基于斜入射干涉的光学平面绝对检测技术研究(2017ZRKX0401008)
详细信息
    作者简介:

    陈清江(1966—),男,博士,教授,主要从事小波分析,图像处理与信号处理方面的研究。E-mail:qjchen66xytu@126.com

  • 中图分类号: TN201;TP391.4

Mixed residual learning and guided filtering image dehazing algorithm

  • 摘要: 为解决雾天场景图像恢复过程中图像清晰度和对比度下降的问题,提出了一种结合残差学习和导向滤波的单幅图像去雾算法。使用雾天图像与对应的清晰图像构建残差网络;采用多尺度卷积提取更多细节的雾霾特征;利用导向滤波各向异性的优点,对残差网络去雾后的图像进行滤波以保持图像边缘特性,得到更加清晰的无雾图像。实验结果表明,与DCP算法、CAP算法、SRCNN算法、DehazeNet算法和MSCNN算法相比,在合成雾天图像上,峰值信噪比值最高达到27.840 3/dB,结构相似度值最高达到0.979 6,在自然雾天图像上的运行时间最低达到了0.4 s,主观评价和客观评价均优于其它对比算法。所提去雾算法不仅去雾效果较优,而且速度较快,具有较强的实用价值。
  • 图  1  本文网络结构

    Fig.  1  The network structure of this paper

    图  2  不同算法对雾天图像Reindeer的去雾结果

    Fig.  2  Different algorithms to defog results of fog image reindeer

    图  3  不同算法对雾天图像Dolls的去雾结果

    Fig.  3  Different algorithms to defog results of fog image dolls

    图  4  不同算法对雾天图像Trees的去雾结果

    Fig.  4  Different algorithms to defog results of fog image trees

    图  5  自然雾天图像House的去雾结果对比

    Fig.  5  Comparison of defogging results of natural foggy images house

    图  6  自然雾天图像Haystack的去雾结果对比

    Fig.  6  Comparison of defogging results of natural foggy images haystack

    图  7  自然雾天图像Pumpkin的去雾结果对比

    Fig.  7  Comparison of defogging results of natural foggy images Pumpkin

    表  1  图像Reindeer采用不同算法去雾后评价指标结果

    Table  1  Evaluation indicators results by different defogging algorithms for image reindeer

    评价指标DCPCAPSRCNNDehazeNetMSCNN所提算法
    均方根误差$ \downarrow $ 0.027 3 0.025 9 0.025 5 0.014 7 0.032 6 0.013 9
    互信息 $ \uparrow $ 0.127 5 0.263 4 0.350 5 0.425 9 0.282 2 0.506 3
    平均梯度 $ \uparrow $ 11.004 4 7.149 9 6.900 7 6.633 4 7.979 9 12.200 2
    峰值信噪比 $ \uparrow $ 15.824 6 19.870 2 25.066 5 26.372 9 20.602 2 27.840 3
    结构相似度 $ \uparrow $ 0.778 2 0.650 5 0.943 9 0.947 3 0.830 3 0.979 6
    下载: 导出CSV

    表  2  图像Dolls采用不同算法去雾后评价指标结果

    Table  2  Evaluation indicators results by different defogging algorithms for image dolls

    评价指标DCPCAPSRCNNDehazeNetMSCNN所提算法
    均方根误差 $ \downarrow $ 0.032 0 0.031 3 0.021 7 0.021 3 0.024 1 0.005 6
    互信息 $ \uparrow $ 0.136 0 0.224 4 0.366 1 0.467 9 0.308 0 0.530 1
    平均梯度 $ \uparrow $ 6.274 6 3.949 4 6.250 5 5.822 8 7.157 1 7.553 6
    峰值信噪比 $ \uparrow $ 11.484 5 22.282 5 25.460 6 25.897 2 21.381 0 26.311 2
    结构相似度 $ \uparrow $ 0.841 2 0.876 9 0.947 3 0.942 6 0.879 7 0.974 4
    下载: 导出CSV

    表  3  图像trees采用不同算法去雾后评价指标结果

    Table  3  Evaluation indicators results by different defogging algorithms for image trees

    评价指标DCPCAPSRCNNDehazeNetMSCNN所提算法
    均方根误差 $ \downarrow $ 0.027 6 0.053 0 0.024 40 0.020 8 0.016 9 0.002 3
    互信息 $ \uparrow $ 0.122 0 0.254 0 0.395 1 0.365 5 0.287 0 0.454 3
    平均梯度 $ \uparrow $ 12.354 8 10.563 2 10.003 2 10.003 3 12.530 1 13.026 9
    峰值信噪比 $ \uparrow $ 17. 7543 22.146 3 23.553 1 26.322 1 23.852 8 27.133 2
    结构相似度 $ \uparrow $ 0.856 6 0.882 5 0.918 0 0.911 4 0.921 0 0.955 8
    下载: 导出CSV

    表  4  不同网络的PSNR与SSIM的对比结果

    Table  4  comparison results of PSNR and SSIM of different networks

    图像名称评价指标常规网络结构残差单元网络结构
    Reindeer 峰值信噪比 26.372 4 27.840 3
    结构相似度 0.869 5 0.979 6
    dolls 峰值信噪比 25.295 7 26.311 2
    结构相似度 0.834 0 0.974 4
    Trees 峰值信噪比 25.620 0 27.133 2
    结构相似度 0.816 5 0.955 8
    下载: 导出CSV

    表  5  图像House采用不同算法去雾后评价指标结果

    Table  5  Evaluation indicators results by different defogging algorithms for image house

    评价指标DCPCAPSRCNNDehazeNetMSCNN所提算法
    标准差 $ \uparrow $ 34.509 0 28.568 1 33.926 1 37.951 2 56.165 2 59.698 5
    信息熵 $ \uparrow $ 16.423 8 15.929 4 16.810 4 15.873 8 14.162 4 16.659 9
    平均梯度 $ \uparrow $ 11.908 3 7.174 6 7.638 3 9.028 7 12.457 2 14.633 2
    对比度 $ \uparrow $ 25.007 3 18.804 8 25.430 7 28.627 9 44.455 0 45.298 8
    下载: 导出CSV

    表  6  图像Haystack采用不同算法去雾后评价指标结果

    Table  6  Evaluation indicators results by different defogging algorithms for image haystack

    评价指标DCPCAPSRCNNDehazeNetMSCNN所提算法
    标准差 $ \uparrow $ 30.316 1 30.316 1 33.484 5 26.620 8 34.318 8 36.686 7
    信息熵 $ \uparrow $ 6.750 3 6.750 3 6.834 4 6.675 4 7.051 5 9.603 6
    平均梯度 $ \uparrow $ 13.361 2 5.341 8 5.182 2 6.981 6 6.964 3 13.565 9
    对比度 $ \uparrow $ 27.078 7 25.762 6 25.448 1 31.294 2 25.797 2 35.415 0
    下载: 导出CSV

    表  7  图像Pumpkin采用不同算法去雾后评价指标结果

    Table  7  Evaluation indicators results by different defogging algorithms for image Pumpkin

    评价指标DCPCAPSRCNNDehazeNetMSCNN所提算法
    标准差 $ \uparrow $ 47.447 9 44.814 5 44.802 50.428 2 43.165 8 49.966 6
    信息熵 $ \uparrow $ 16.102 8 15.477 8 15.999 2 15.976 1 15.978 3 17.795 9
    平均梯度 $ \uparrow $ 9.417 3 5.086 7 5.259 8 7.355 2 7.494 3 11.022 0
    对比度 $ \uparrow $ 36.189 6 37.100 3 38.540 3 42.505 2 34.853 7 45.041 6
    下载: 导出CSV

    表  8  不同算法的运行时间对比结果

    Table  8  The run time comparison results of different algorithms /s

    图像名称图像尺寸DCPCAPSRCNNDehazeNetMSCNN所提算法
    House 441×450 1.192 040 1.083 058 1.420 000 0.712 741 2.300 00 0.386 68
    Haystack 768×497 3.930 247 2.806 712 2.661 220 0.968 421 4.532 633 0.582 759
    Pumpkin 600×450 1.067 169 4.097 866 2.413 527 0.643 354 2.632 809 0.401 389
    下载: 导出CSV
  • TAN R T. Visibility in bad weather from a single image[C]//2008 IEEE Conference on Computer Vision and Pattern Recognition. New York, USA: IEEE, 2008: 1-8.
    HE K M, SUN J, TANG X O. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(12):2341-2353. doi: 10.1109/TPAMI.2010.168
    ZHU Q S, MAI J M, SHAO L. A fast single image haze removal algorithm using color attenuation prior[J]. IEEE Transactions on Image Processing,2015,24(11):3522-3533. doi: 10.1109/TIP.2015.2446191
    刘万军, 赵庆国, 曲海成. 变差函数和形态学滤波的图像去雾算法[J]. 中国图象图形学报,2016,21(12):1610-1622. doi: 10.11834/jig.20161206

    LIU Wanjun, ZHAO Qingguo, QU Haicheng. Image defog algorithm based on variogram and morphological filter[J]. Journal of Image and Graphics,2016,21(12):1610-1622. doi: 10.11834/jig.20161206
    李喆, 李建增, 胡永江, 等. 混合先验与加权引导滤波的图像去雾算法[J]. 中国图象图形学报,2019,24(2):170-179.

    LI Zhe, LI Jianzeng, HU Yongjiang, et al. Mixed prior and weighted guided filter image dehazing algorithm[J]. Journal of Image and Graphics,2019,24(2):170-179.
    沈逸云, 邵雅琪, 刘春晓, 等. 结合天空检测与纹理平滑的图像去雾[J]. 中国图象图形学报,2017,22(7):897-905.

    SHEN Yiyun, SHAO Yaqi, LIU Chunxiao, et al. Integrating sky detection with texture smoothing for image defogging[J]. Journal of Image and Graphics,2017,22(7):897-905.
    胡长胜, 詹曙, 吴从中. 基于深度特征学习的图像超分辨率重建[J]. 自动化学报,2017,43(5):814-821.

    HU Changsheng, ZHAN Shu, WU Congzhong. Image super-resolution based on deep learning features[J]. Acta Automatica Sinica,2017,43(5):814-821.
    PARDASANI R, SHREEMALI U. Image denoising and super-resolution using residual learning of deep convolutional network[EB/OL]. [2019-00-00]. https://arxiv.org/abs/1809.08229
    章云港, 易本顺, 吴晨玥, 等. 基于卷积神经网络的低剂量CT图像去噪方法[J]. 光学学报,2018,38(4):123-129.

    ZHANG Yungang, YI Benshun, WU Chenyue, et al. Low-dose CT image denoising method based on convolutional neural network[J]. Acta Optica Sinica,2018,38(4):123-129.
    李倩玉, 蒋建国, 齐美彬. 基于改进深层网络的人脸识别算法[J]. 电子学报,2017,45(3):619-625. doi: 10.3969/j.issn.0372-2112.2017.03.017

    LI Qianyu, JIANG Jianguo, QI Meibin. Face recognition algorithm based on improved deep networks[J]. Acta Electronica Sinica,2017,45(3):619-625. doi: 10.3969/j.issn.0372-2112.2017.03.017
    刘峰, 沈同圣, 马新星. 特征融合的卷积神经网络多波段舰船目标识别[J]. 光学学报,2017,37(10):240-248.

    LIU Feng, SHEN Tongsheng, MA Xinxing. Convolutional neural network based multi-band ship target recognition with feature fusion[J]. Acta Optica Sinica,2017,37(10):240-248.
    CAI B L, XU X M, JIA K, et al. DehazeNet: an end-to-end system for single image haze removal[J]. IEEE Transactions on Image Processing,2016,25(11):5187-5198. doi: 10.1109/TIP.2016.2598681
    REN W Q, LIU S, ZHANG H, et al. Single image dehazing via multi-scale convolutional neural networks[C]//Computer Vision–ECCV 2016. Cham: Springer International Publishing, 2016: 154-169.
    LI C Y, GUO J C, PORIKLI F, et al. A cascaded convolutional neural network for single image dehazing[J]. IEEE Access,2018,6:24877-24887. doi: 10.1109/ACCESS.2018.2818882
    HE K M, ZHANG X Y, REN S Q, et al. Identity mappings in deep residual networks[C]//Computer Vision – ECCV 2016. Cham: Springer International Publishing, 2016: 630-645.
    ZHANG K, ZUO W, CHEN Y J, et al. Beyond a Gaussian denoiser: residual learning of deep CNN for image denoising[J]. IEEE Transactions on Image Processing,2017,26(7):3142-3155. doi: 10.1109/TIP.2017.2662206
    廖建尚, 王立国. 两类空间信息融合的高光谱图像分类方法[J]. 激光与光电子学进展,2017,54(8):113-122.

    LIAO Jianshang, WANG Liguo. Hyperspectral image classification method based on fusion with two kinds of spatial information[J]. Laser & Optoelectronics Progress,2017,54(8):113-122.
    DONG C, LOY C C, HE K M, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2016,38(2):295-307. doi: 10.1109/TPAMI.2015.2439281
    NARASIMHAN S G, NAYAR S K. Contrast restoration of weather degraded images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(6):713-724. doi: 10.1109/TPAMI.2003.1201821
  • 加载中
图(7) / 表(8)
计量
  • 文章访问数:  593
  • HTML全文浏览量:  536
  • PDF下载量:  33
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-06-17

目录

    /

    返回文章
    返回