Remote sensing image fusion based on deep learning non-subsampled shearlet
-
摘要: 遥感图像融合是指将不同传感器得到的具有不同观测特性的图像信息有选择、有策略地结合起来,以得到具有更优观测特性的新图像的方法。提出一种深度学习结合非下采样剪切波变换(NSST)的遥感图像融合算法,利用改进的超分辨率重建网络对多光谱图像(MS)进行空间分辨率增强,全色图像(PAN)参考重建后的多光谱图像的每个分量进行直方图匹配。将对应通道的图像进行NSST变换,分别得到低频子带和若干高频子带。低频子带通过使用基于梯度域的自适应加权平均规则来获得低频融合系数,高频子带采用局部空间频率最大值规则来获得高频融合系数,最后经逆NSST变换重构获得融合图像。对不同数据集中的City和Inland多光谱图像采用双三次插值方法进行上采样,作者提出算法的通用图像质量指数(UIQI)分别为0.988 6和0.932 1,光谱角映射(SAM)分别为1.872 1和2.143 2。实验结果表明,图像结构更加清晰,保存的光谱信息更加完整,融合图像质量优于对比算法,融合图像更利于人类视觉观察。Abstract: Remote-sensing image fusion refers to the method of selectively and strategically combining image information with different observation characteristics obtained by different sensors to obtain a new image with better observation characteristics. A deep-sensing image fusion algorithm combined with non-subsampled shearlet transform (NSST) was proposed. In this algorithm, the spatial resolution of multi-spectral (MS) image is enhanced by an improved super-resolution reconstruction network. The panchromatic (PAN) image histogram-matched refers to each component of the reconstructed MS image. And the corresponding channel image is subjected to NSST transformation to obtain low-frequency sub-bands and several high-frequency direction sub-bands, respectively. To obtain low-frequency fusion coefficient, the low-frequency region uses an adaptive weighted average rule based on the gradient region, while the high-frequency sub-bands adopt the local spatial frequency maximum rule to obtain the high-frequency fusion coefficient, and finally the fused image can be obtained by inverse NSST transform reconstruction. The MS images City and Inland in different datasets were upsampled by the bicubic interpolation method. With the proposed algorithm, the general image quality index (UIQI) was 0.988 6 and 0.932 1, respectively, and the spectral angle mapping (SAM) was 1.872 1 and 2.143 2, respectively. Experimental results show that the image structure of the fusion algorithm in this paper is more clear, the saved spectral information is more complete, the fusion quality is better than the contrast algorithm, and the fusion image is more conducive to human visual observation.
-
Keywords:
- remote sensing image fusion /
- deep learning /
- super-resolution reconstruction /
- NSST
-
引言
被动式红外探测系统具有环境适应性好、隐蔽性高、抗干扰能力强等优点[1],广泛应用于军事、医疗、安防、电力、遥感以及工业等各个领域中,随着红外光学系统的应用越来越多,对红外成像系统的设计也提出了更高的要求。
军用红外设备一般工作在温度变化较大的环境中,而温度变化引起机械机构变形,透镜的表面曲率、折射率、厚度等也都会发生变化。由于红外材料的温度变化梯度比较大[2],红外光学系统的热效应比可见光系统更加明显,对成像质量的影响更大。为了在全工作温度范围内获得满意的像质,必须进行无热化处理。常见的无热化设计方法有3种:电子主动式、机械被动式和光学被动式[3-5]。而光学被动式无热化设计具有结构简单、尺寸小、质量轻、系统可靠性好等优点被广泛采用。
红外成像系统也易受到杂散光的影响,冷反射是制冷型红外光学系统中一种常见的杂光效应[6],其存在会影响光学系统的成像质量[7]。因此光学系统设计时需要对冷反射进行分析和抑制,可以利用YNI和I/Ibar[8-9]2个参数对各个表面的冷反射强度进行分析,也可以通过等效温差的方法计算各个面的冷反射贡献[10-11]对冷反射分析;对于凝视型红外光学系统,还可以采用非均匀校正的方法消除冷反射[12]。
本文采用光学被动式的无热化方法,设计了一种适用于制冷型探测器的折射式无热化光学系统。在光学设计软件Zemax中利用宏计算了系统各个面的冷反射贡献量,并在抑制冷反射的同时,达到无热化的效果。系统在-40℃~60℃温度范围内成像质量接近衍射极限,性能稳定。
1 光学系统设计实例
1.1 技术需求
本文设计一套工作在-40℃~60℃温度范围内的中波成像系统,其主要指标要求如表 1所示。
表 1 光学系统的参数Table 1. Parameters of optical system参数 数值 工作波段/μm 3.7 ~4.8 F/# 2 焦距/mm 120 工作温度/℃ -40~60 视场角 对角线最大视场角3.9° 红外探测器参数 制冷型,640×512像元,单像元尺寸15 μm×15 μm 1.2 初始结构选型及无热化设计
本文采用光学被动式无热化的设计思路,利用光学材料热特性的差异,通过3种不同特性红外材料的合理组合以消除温度变化带来的影响,对系统的热差和色差同时进行校正,最终实现系统的无热化设计。
表 2给出了常用中波红外材料的光学参数。从表中数据可知,锗的折射率较高,能够很好地校正系统的球差和色差;锗相对于硫化锌、硒化锌和硅在中波范围内具有较大的阿贝数,色散较小,可以作为负透镜来校正色差。为了消除热差,光学材料选取硅、锗、硫化锌,镜筒材料选择铝合金,其热膨胀系数为23.6×10-6/℃。
表 2 常用红外光学材料的折射率和热特性Table 2. Refractive index and thermal characteristics of commonly used infrared optical materials材料 折射率(@4 μm) dn/dt/(×10-6) 热膨胀系数/(×10-6/℃) Si 3.425 159 4.2 Ge 4.024 424 6.1 ZnS 2.252 43 7.0 ZnSe 2.433 63 7.5 通过对技术指标进行分析,在常温下选取符合要求的初始结构进行优化和设计。系统的视场和孔径较大,具有较大的高级像差,通过采用四片式的光学结构并添加锗的非球面来校正。最终确定的系统初始结构如图 1所示。在Zemax软件中建立温度的多重结构,图 2是不同温度状态下的系统的点列图。从图中可以得出,系统在常温下工作良好,在高温和低温状态下,像斑大小超出了艾里斑大小,系统的无热化效果并不理想。
在软件中添加镜筒材料的热膨胀系数,利用热分析功能,通过改变系统中硫化锌的位置,控制锗的光焦度,进行无热化设计。不同材料顺序在高温和低温时系统的离焦量如表 3所示,其中Si代表硅,Ge代表锗,Zs代表硫化锌。该系统理论的焦深±λ(f/#)2=±32 μm,可以看出,在-40℃和60℃2个极限温度时,SiZsGeSi这种顺序组合下的离焦量在焦深范围内,成像质量良好。
表 3 不同材料组合的光学系统在-40℃和60℃的离焦量Table 3. Defocus distance of optical system with different materials combination at -40℃ and 60℃材料组合顺序 -40℃时离焦量/μm 60℃时离焦量/μm SiGeSiZs -60.24 40.35 SiGeZsSi -70.47 50.24 SiZsGeSi -16.35 12.48 ZsSiGeSi -57.58 45.37 1.3 系统的冷反射抑制设计
针对已完成无热化设计的结构,在Zemax软件中采用宏语言对冷反射进行数值分析。将设计好的结构进行倒置,倒置后的示意图及表面编号如图 3所示,图中数字为各个面的标号。S1~S10表示第1面到第10面,编写的宏主要是根据公式(1)计算系统各个面的等效温差值,从而对冷反射做定量的分析。
$$ \begin{array}{l} NIT{D_{ij}} = \\ \frac{{\smallint _{{\lambda _1}}^{{\lambda _2}}\left\{ {N\left( {\lambda ,{T_H}} \right) - N\left( {\lambda ,{T_D}} \right)} \right\}{R_d}\left( \lambda \right){t_j}\left( \lambda \right){t_j}{{\left( \lambda \right)}^2}{R_j}\left( \lambda \right)d\lambda }}{{\smallint _{{\lambda _2}}^{{\lambda _2}}\frac{{\partial N(\lambda ,{T_{MS}})}}{{\partial T}}A\left( \lambda \right){R_d}\left( \lambda \right){\tau _0}\left( \lambda \right){\rm{d}}\lambda }}{\sigma _{ij}} \end{array} $$ (1) 式中:NITDij为第j面引入的冷反射;λ1、λ2为系统的工作波段;TH为镜筒内温度;TD为探测器温度;N为黑体辐射强度;τ0为整个系统的光谱透过率;tj为从镜面j到探测器的平均透过率;Rd为探测器光谱响应率;Rj为镜面j的反射率;σij为镜面j的冷反射量。通过光线追迹来计算σij的值,从探测器的任意视场经过冷阑的M条实际光线,经过j面反射再次经过冷光阑到达探测器像素点i的光线数为m条,σij=m/M。
综合考虑材料镀膜之后的反射率,设置各个面的反射率为1%。在Zemax软件中设置景物温度为300 K,探测器温度为77 K,镜筒的温度为300 K。计算出各个表面的YNI、I/Ibar和等效温差(NITD)的值。其中Y为边缘光线高度,N为折射率,I为边缘光线的入射角度,Ibar为主光线入射角度。表 4是在软件中得到无热化系统的各个表面的YNI和I/Ibar值。各个表面的等效温差贡献量如图 4所示。
表 4 无热化系统的冷反射分析结果Table 4. Narcissus analysis of athermal optical system表面序号 YNI I/Ibar 3 4.113 33 0.795 125 4 -8.638 61 1.343 549 5 -8.594 74 1.361 919 6 -0.463 68 0.607 239 7 8.732 94 0.808 685 8 8.059 04 0.799 190 9 -1.577 25 2.857 521 10 -5.355 62 1.134 264 通过对比表 4和图 4可知,利用Zemax宏计算出的NITD与近轴分析参量yni结果一致。宏计算出的S6的NITD约为250 mK,随着视场的增大,NITD降低到70 mK左右。S9的NITD值也比较大,在100 mK左右。基于以上的分析,主要对S6的冷反射进行抑制优化,通过控制曲率半径和位置来提高S6的YNI值,从而减小S6的冷反射贡献量。经过多次优化,得到一个较好的结果。通过宏计算出的NITD如图 5所示,S6的NITD在150 mK以下,各个面的NITD都较小,冷反射得到了很好的抑制。
2 设计结果及分析
通过无热化和冷反射抑制设计最终获得的结构如图 6所示。系统为四片式结构,采用硅、锗和硫化锌3种材料,其中锗的第2个表面为非球面,系统结构简单。
图 7中分别表示-40℃、20℃、60℃时系统的光学调制函数。表 5是最终光学系统在不同温度下的离焦量。从图表可知,在全工作范围内,光学系统的MTF在30 lp/mm处均大于0.5,子午和弧矢MTF曲线都接近衍射极限,离焦量在一倍焦深以内,满足无热化设计要求。系统整体达到了无热化和冷反射较小的效果。
表 5 系统不同温度下的光学离焦量Table 5. Defocus of optical system under various temperatures温度/℃ 离焦量/ μm -40 -15.17 20 0 60 8.78 3 结论
本文以光学被动式的无热化设计原则为基础,选择了合适的光学材料和机械材料,确定了初始结构,通过更改光学材料的顺序,实现光学系统的被动式无热化设计。利用Zeamx宏语言计算等效温差,有针对性进行表面优化,完成对系统冷反射的抑制,实现了在-40℃~60℃范围内保持良好的像质,冷反射现象得到抑制,满足100%冷阑效率及制冷型中波红外系统的设计需求。
-
表 1 网络结构模型对比
Table 1 Comparison of network structure models
网络模型 卷积模型 卷积核数量 SRCNN 9-1-5 n1=64, n2=32 改进的SRCNN 3-3-3 n1=64, n2=64 表 2 改进的算法评价指标对比
Table 2 Comparison of improved algorithm evaluation index
图像 方法 PSNR SSIM Butterfly SRCNN 31.26 0.872 6 改进的SRCNN 31.42 0.903 4 Bird SRCNN 33.54 0.942 6 改进的SRCNN 33.67 0.946 2 Woman SRCNN 28.34 0.914 4 改进的SRCNN 28.54 0.917 1 表 3 图像City的评价指标结果分析
Table 3 Analysis of results of evaluation indicators for image City
方法 UIQI RMSE SAM ERGAS RASE AWLP 0.944 2 8.351 0 3.477 2 5.683 8 22.745 2 GS 0.976 7 14.914 4 3.151 0 7.178 5 28.713 1 HPF 0.896 3 19.324 9 2.521 4 3.070 4 12.278 2 MTF_GLP 0.933 2 9.228 8 2.864 3 6.006 3 24.006 1 PCA 0.976 4 14.874 8 3.138 8 2.541 6 28.688 9 本文算法 0.988 6 6.015 2 1.872 1 1.124 1 10.512 6 表 4 图像Seaside的评价指标结果分析
Table 4 Analysis of results of evaluation indicators for image Seaside
方法 UIQI RMSE SAM ERGAS RASE AWLP 0.928 5 6.722 2 2.861 8 4.847 4 19.391 2 GS 0.937 4 22.366 1 2.371 0 8.248 7 32.949 6 HPF 0.920 6 15.365 5 1.539 6 2.852 2 11.389 9 MTF_GLP 0.943 6 7.772 5 2.258 0 5.135 9 20.489 4 PCA 0.977 4 22.353 2 2.170 2 8.245 7 32.938 1 本文算法 0.985 3 6.015 2 1.941 5 1.721 0 10.348 7 表 5 图像Residential的评价指标结果分析
Table 5 Analysis of results of evaluation indicators for image Residential
方法 UIQI RMSE SAM ERGAS RASE AWLP 0.923 3 6.925 2 7.467 9 7.863 4 31.656 3 GS 0.987 2 18.724 8 10.992 5 11.944 7 47.697 4 HPF 0.899 7 14.860 7 5.149 8 4.871 6 19.434 2 MTF_GLP 0.921 6 14.365 5 8.706 3 10.464 8 36.145 7 PCA 0.987 1 14.874 8 10.924 3 8.741 5 41.458 7 本文算法 0.996 4 4.955 8 3.741 4 3.731 7 15.859 4 表 6 图像Inland的评价指标结果分析
Table 6 Analysis of results of evaluation indicators for image Inland
方法 UIQI RMSE SAM ERGAS RASE AWLP 0.768 4 6.156 5 3.124 1 5.892 2 20.765 3 GS 0.883 6 6.797 3 2.638 9 8.545 4 33.405 8 HPF 0.799 6 8.160 5 2.603 6 3.643 6 15.301 6 MTF_GLP 0.856 3 6.398 4 2.331 5 6.657 1 22.669 8 PCA 0.915 4 6.731 8 2.596 4 5.892 4 28.688 9 本文算法 0.932 1 5.436 8 2.143 2 3.741 9 14.284 7 表 7 图像Coastal的评价指标结果分析
Table 7 Analysis of results of evaluation indicators for image Coastal
方法 UIQI RMSE SAM ERGAS RASE AWLP 0.803 8 6.009 2 2.852 8 9.465 7 20.765 3 GS 0.864 2 7.204 5 3.498 2 8.747 6 33.405 8 HPF 0.768 1 7.612 7 2.898 2 3.486 0 13.301 6 MTF_GLP 0.895 4 6.257 4 3.641 5 5.962 9 22.669 8 PCA 0.863 5 8.694 6 2.651 4 8.695 9 33.178 9 本文算法 0.910 9 5.378 4 1.975 6 2.947 7 12.239 5 表 8 Bicubic算法与本文算法评价指标分析
Table 8 Analysis of evaluation indexes between bicubic algorithm and our algorithm
图像 方法 UIQI RMSE SAM ERGAS RASE City 使用Bicubic 0.915 4 7.971 3 2.348 7 2.541 6 12.324 1 本文算法 0.988 6 6.015 2 1.872 1 1.124 1 10.512 6 Seaside 使用Bicubic 0.896 4 7.964 1 3.014 2 3.219 6 14.213 6 本文算法 0.985 3 6.015 2 1.941 5 1.721 0 10.348 7 Residential 使用Bicubic 0.954 6 5.346 2 5.314 2 4.956 3 17.328 6 本文算法 0.996 4 4.955 8 3.741 4 3.731 7 15.859 4 Inland 使用Bicubic 0.930 7 6.124 8 4.369 5 5.146 2 17.652 3 本文算法 0.932 1 5.436 8 2.143 2 3.741 9 14.284 7 Coastal 使用Bicubic 0.861 3 7.425 6 2.036 5 3.241 6 12.569 7 本文算法 0.910 9 5.378 4 1.975 6 2.947 7 12.239 5 -
[1] VIVONE G, ALPARONE L, CHANUSSOT J, et al. A critical comparison among pansharpening algorithms[J]. IEEE Transactions on Geoscience & Remote Sensing, 2015, 53(5):2565-2586. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=b2f2bb6c0c375ac486107b5bf1d1331e
[2] SHETTIGARA V K. A generalized component substitution technique for spatial enhancement of multispectral images using a higher resolution data set[J]. Photogrammetric Engineering & Remote Sensing, 1992, 58(5):561-567. http://cn.bing.com/academic/profile?id=decf4513dfd1f9233f302b01d49c8926&encoded=0&v=paper_preview&mkt=zh-cn
[3] CHOI M. A new intensity-hue-saturation fusion approach to image fusion with a tradeoff parameter[J]. IEEE Transactions on Geoscience & Remote Sensing, 2006, 44(6):1672-1682. doi: 10.1109-TGRS.2006.869923/
[4] JIA Yonghong. Fusion of landsat TM and SAR images based on principal component analysis[J]. Remote Sensing Technology & Application, 1998, 13(1):46-49. http://cn.bing.com/academic/profile?id=2c931bc9e4d9782714dc9504bf46e5be&encoded=0&v=paper_preview&mkt=zh-cn
[5] HUANG F H, YAN L M. Study on the hyperspectral image fusion based on the gram_schmidt improved algorithm[J]. Information Technology Journal, 2013, 12(22):6694-6701. doi: 10.3923/itj.2013.6694.6701
[6] METWALLI M R, NASR A H, ALLAH O S A, et al. Satellite image fusion based on principal component analysis and high-pass filtering[J]. Journal of the Optical Society of America A, 2010, 27(6):1385-1394. doi: 10.1364/JOSAA.27.001385
[7] OTAZU X, GONZALEZ-AUDICANA M, FORS O, et al. Introduction of sensor spectral response into image fusion methods: application to wavelet-based methods[J]. IEEE Transactions on Geoscience & Remote Sensing, 2005, 43(10):2376-2385. http://cn.bing.com/academic/profile?id=7832aa2ea7d1473dac1f6b2fd4851c11&encoded=0&v=paper_preview&mkt=zh-cn
[8] AIAZZI B, ALPARONE L, BARONTi S, et al. MTF-tailored multiscale fusion of high-resolution MS and pan imagery[J]. Photogrammetric Engineering & Remote Sensing, 2006, 72(5):591-596. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=d84209abf0bfc35f32ef48f8705ed722
[9] DA C A, ZHOU J, DO M N. The nonsubsampled contourlet transform: theory, design, and applications.[J]. IEEE Transactions on Image Processing, 2006, 15(10):3089-3101. doi: 10.1109/TIP.2006.877507
[10] YANG Y, WAN W, HUANG S, et al. A novel pan-sharpening framework based on matting model and multiscale transform[J]. Remote Sensing, 2017, 9(4):391. doi: 10.3390/rs9040391
[11] 陈清江, 张彦博, 柴昱洲, 等.基于改进对比度的有限离散剪切波图像融合[J].应用光学, 2016, 37(2):221-228. http://d.old.wanfangdata.com.cn/Periodical/yygx201602013 HEN Qingjiang, ZHANG Yanbo, CHAI Yuzhou, et al. Finite discrete shear wave image fusion based on improved contrast[J]. Journal of Applied Optics, 2016, 37(2):221-228. http://d.old.wanfangdata.com.cn/Periodical/yygx201602013
[12] DONG C, CHEN C L, HE K, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 38(2):295-307. http://d.old.wanfangdata.com.cn/Periodical/jsjfzsjytxxxb201709007
[13] 胡长胜, 詹曙, 吴从中.基于深度特征学习的图像超分辨率重建[J].自动化学报, 2017, 43(5):814-821. http://d.old.wanfangdata.com.cn/Periodical/zdhxb201705013 HU Changsheng, ZHAN Shu, WU Congzhong. Image super-resolution reconstruction based on deep feature learning[J]. Acta Automatica Sinica, 2017, 43(5):814-821. http://d.old.wanfangdata.com.cn/Periodical/zdhxb201705013
[14] 肖进胜, 刘恩雨, 朱力, 等.改进的基于卷积神经网络的图像超分辨率算法[J].光学学报, 2017, 37(3):96-104. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=gxxb201703011 XIAO Jinsheng, LIU Enyu, ZHU Li, et al. Improved image super-resolution algorithm based on convolutional neural network[J]. Acta Optica Sinica, 2017, 37(3):96-104. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=gxxb201703011
[15] 李红, 刘芳, 杨淑媛, 等.基于深度支撑值学习网络的遥感图像融合[J].计算机学报, 2016, 39(8):1583-1596. http://d.old.wanfangdata.com.cn/Periodical/jsjxb201608007 LI Hong, LIU Fang, YANG Shuyuan, et al. Remote sensing image fusion based on deep support value learning networks[J]. Chinese Journal of Computers, 2016, 39(8):1583-1596. http://d.old.wanfangdata.com.cn/Periodical/jsjxb201608007
[16] ALPARONE L, BARONTI S, GARZELLI A, et al. A global quality measurement of pan-sharpened multispectral imagery[J]. IEEE Geoscience & Remote Sensing Letters, 2004, 1(4):313-317. http://cn.bing.com/academic/profile?id=d5276b078f0090f787d9c24c26433d85&encoded=0&v=paper_preview&mkt=zh-cn
[17] GONZALEZ-AUDICANA M, SALETA J L, CATALAN R G, et al. Fusion of multispectral and panchromatic images using improved IHS and PCA mergers based on wavelet decomposition[J]. IEEE Transactions on Geoscience & Remote Sensing, 2004, 42(6):1291-1299. http://cn.bing.com/academic/profile?id=7e66abb147cd595072588c1f68893626&encoded=0&v=paper_preview&mkt=zh-cn
[18] KHAN M M, ALPARONE L, CHANUSSOT J. Pansharpening quality assessment using the modulation transfer functions of instruments[J]. IEEE Transactions on Geoscience & Remote Sensing, 2009, 47(11):3880-3891. https://core.ac.uk/display/50116468
[19] WALD L, RANCHIN T, MANGOLINI M. Fusion of satellite images of different spatial resolutions: assessing the quality of resulting images[J]. Photogrammetric Engineering & Remote Sensing, 2009, 63(6):691-699. http://cn.bing.com/academic/profile?id=72dfcaea4793b5939cd13da01141c6b7&encoded=0&v=paper_preview&mkt=zh-cn
[20] WALD L, RANCHIN T, MANGOLINI M. Fusion of satellite images of different spatial resolutions: assessing the quality of resulting images[J]. Photogrammetric Engineering & Remote Sensing, 2009, 63(6):691-699. http://d.old.wanfangdata.com.cn/NSTLQK/NSTL_QKJJ0223994015/
-
期刊类型引用(3)
1. 何睿清,周鑫宇,张慧,郝飞,宋佳潼. 基于离焦图像的晶圆表面缺陷检测. 组合机床与自动化加工技术. 2023(07): 110-113+118 . 百度学术
2. 赵婷婷,白福忠,徐永祥,高晓娟. 一种基于参数标定的投影条纹周期简易校正方法. 应用光学. 2021(01): 119-124 . 本站查看
3. 汪永勇,侯俊,李梦思,薛彤,肖雄. 基于纹理消除的液晶屏缺陷检测. 电子测量技术. 2021(12): 93-96 . 百度学术
其他类型引用(7)