Image super-resolution reconstruction based on multi-scale two-stage network
-
摘要:
针对目前图像超分辨率重建算法中所存在的特征信息提取不充分、重建图像细节信息模糊等问题，提出了一种多尺度双阶段网络来实现图像的超分辨率重建。首先，考虑到单尺度卷积层会出现特征信息提取不充分的现象，故而以多尺度卷积层为大体框架，设计网络模型；其次，考虑到重建后的图像效果，将整体网络分为2个阶段，第1阶段根据输入的低分辨率图像进行特征信息的提取和重建，第2阶段对重建后的图像进行更深一步的特征细化，从而提高重建图像的视觉效果；整体网络中还引入了跳跃连接和注意力模块，以加强特征信息的有效传播；最后，以数据集Set5、Set14、Urban100、BSDS100和Manga109作为测试集展开实验，峰值信噪比和结构相似度作为图像质量的评价指标。实验结果表明，二者的值相比以往均有所提高，且重建图像视觉效果较好。因此，该算法在客观评价和主观视觉上都取得了较好的结果。
Abstract:Aiming at the problems of the insufficient feature information extraction and the blurring of the reconstructed image details in current image super-resolution reconstruction algorithm, a multi-scale two-stage network was proposed to realize image super-resolution reconstruction. First of all, considering the phenomenon of insufficient feature information extraction in single-scale convolution layer, a network model was designed based on the general framework of multi-scale convolution layer.Secondly, considering the effect of the reconstructed image, the whole network was divided into two stages: the first stage was to extract and reconstruct the feature information according to the input low-resolution image, and the second stage was to further refine the features of the reconstructed image, so as to improve the visual effect of the reconstructed image. Jump connection and attention module were also introduced in the overall network to enhance the effective transmission of feature information. Finally, the data sets Set5, Set14, Urban100, BSDS100 and Manga109 were used as the test sets of the experiment, and the peak signal-to-noise ratio and the structural similarity were used as the evaluation indicators of image quality. The experiment shows that the values of both are improved and the visual effect of reconstructed image is good. Therefore, the algorithm has achieved good results in both objective evaluation and subjective vision.
-
Keywords:
- image super-resolution reconstruction /
- multi-scale /
- two stage /
- jump connection /
- attention module
-
引言
2μm波段光纤激光器工作在人眼安全波段，具有增益谱线宽、效率高、光束质量好的特点[1-4]，在医疗、传感、雷达和空间通信等领域具有较好的应用前景[5-7]，也可作为3 μm~5 μm中红外光参量振荡及超连续谱的泵浦源[8-9]。目前，2μm波段光纤激光器研究主要集中在超短脉冲光纤激光器[10-11]、宽调谐光纤激光器[12-13]、高功率光纤激光器[14-16]和多波长光纤激光器[17-18]，并取得了快速的进展。
可调谐光纤激光器结构简单、成本低、稳定性好，在波分复用系统、分布式光纤光栅传感系统、全光网络等方面具有很好的应用前景[19-20]。2 μm可调谐光纤激光器的研究在2010年之前多以腔外置光栅结构为主。2006年，复旦大学沈德元教授报道了一种基于衍射光栅的2 μm波段宽带可调谐掺铥光纤激光器，采用1 565 nm铒镱共掺光纤激光器泵浦双包层掺铥光纤，调谐范围达1 859 nm~2 061 nm，输出功率19.2 W[21]。2009年，R.A.Sims等报道了一种基于反射式体光栅的2 μm波段窄线宽可调谐光纤激光器[22]，调谐范围为2 004 nm~2 054 nm，线宽为50 pm，输出成功率达到17 W。2010年，F.Wang等报道了一种基于体光栅的高功率宽带可调谐掺铥光纤激光器[23]，采用792 nm激光泵浦双包层掺铥光纤，调谐范围为1 943 nm~1 998 nm，输出功率大于53 W，线宽为10 pm，斜率效率为45%。上述研究均采用了光栅调谐，虽然调谐范围大，但是自由空间耦合结构复杂，可靠性和稳定性不高。
2010年至今，随着掺铥光纤和2 μm波段光纤滤波器件工艺的成熟，全光纤结构的可调谐掺铥光纤激光器已成为研究热点。2012年，魏一振、王天枢等报道了一种基于Fabry-Perot(F-P)光纤滤波器的全光纤可调谐激光器[13]，在2 μm波段的调谐范围达70 nm。2013年，Z.Li等报道了一种基于可调谐光纤滤波器的2 μm波段光纤激光器，实现调谐范围大于250 nm，3 dB光谱平坦度为200 nm[24]。2014年，李剑锋等报道了一种采用高反射率光纤光栅(FBG)的2 μm波段可调谐掺铥光纤激光器[25]，在1 975 nm~2 150 nm波段分别采用5只中心波长不同的FBG实现了宽带调谐，斜率效率大于30%。
本文提出了一种基于F-P光纤滤波器的全光纤宽带可调谐激光器，采用环形腔结构和1 550 nm半导体激光器泵浦铥-钬共掺单模光纤(THDF)，实现了2 μm波段195 nm宽带可调谐激光输出，线宽0.05 nm，边模抑制比达到66.98 dB。
1 实验结构与工作原理
基于F-P光纤滤波器的全光纤2μm宽带可调谐环形激光器实验结构如图 1所示，经光纤放大器放大后的1 550 nm半导体泵浦光通过一个1 550 nm/2 000 nm波分复用器(WDM)注入一段4 m长铥-钬共掺光纤(THDF)，泵浦光最大输出功率为1 W，THDF受激辐射而产生光放大，反向增益光经F-P光纤滤波器滤波后，再由20:80耦合器的20%端口输出，80%端口将正反馈光返回环形腔内不断放大形成持续激光振荡。隔离器保证光在腔内单向传输，其隔离度为45 dB。输出端接自主搭建的2 μm铥钬共掺光纤放大器结构，该结构由1 550 nm半导体激光经过光纤放大器后，通过1 550 nm/2 000 nm WDM泵浦4 m长THDF产生高增益，可以将环形腔产生的激光功率提升至瓦级，10:90耦合器的10%端口采用光谱分析仪(AQ6375)观测光谱。滤波器接入环形腔采用活动连接器连接，其余器件采用熔接。
实验采用的THDF数值孔径、截止波长、模场直径分别为0.14、1 400 nm~1 500 nm、10.5 μm。F-P光纤滤波器基于F-P干涉仪原理，只对符合条件的波长具有选择作用，从而在腔内形成激光振荡，可调谐范围由干涉仪的自由光谱区(FSR)决定[26]。
2 实验结果与讨论
泵浦光进入TDF产生放大自发辐射光(ASE)，F-P滤波器的透射谱如图 2所示，图 2(a)为不同波长透射谱，可知F-P滤波器调谐范围为1 855 nm~2 045 nm，调谐带宽近190 nm。随着中心波长增加，峰值功率逐渐降低，这是由于TDF的放大自发辐射谱中心波长靠近1 850 nm[27]，滤波中心越靠近长波处，峰值功率越低。将中心波长调谐至1 945 nm时的透射光谱如图 2(b)所示，滤波器透射谱3 dB带宽为1.627 nm，边模抑制比(SMSR)最高为24 dB。
1 550 nm半导体泵浦源经1 550 nm放大器后的功率最大可达1 W，再通过1 550 nm/2 000 nm波分复用器注入THDF。当泵浦功率达到0.385 W时，激光器达到阈值，THDF在环形腔内产生受激辐射并经过滤波和正反馈形成激光振荡。泵浦功率提高至1 W时，调节F-P光纤滤波器得到了1 855 nm~2 050 nm波长范围内的可调谐激光输出，图 3(a)为在10:90耦合器的10%输出端采用光谱分析仪观察得到的不同波长激光输出光谱，带宽可达195 nm。随着调谐波长的增大，输出激光强度增加，这是因为滤波器透射中心波长靠近2 000 nm，当调谐波长逐渐靠近2 000 nm时，F-P滤波器透射率升高，腔内损耗降低导致输出激光功率增大。调谐中心波长至1 855 nm处的输出光谱如图 3(b)，3 dB线宽为0.05 nm，小于图 2(b)所示滤波器透射谱的线宽，这是由于环形腔窄化了激光线宽，使边模抑制比(SMSR)也提高到55.25 dB。图 3(c)与图 3(d)分别为中心波长在1 955 nm与2 050 nm处的输出光谱，边模抑制比分别可达66.98 dB与62.80 dB。
激光器输出功率随泵浦功率变化的关系如图 4所示。未接放大器时，采用光功率(Thorlabs PM100)探测，当波长处于1 910 nm时，输出功率随着泵浦功率变化关系如图 4(a)，当泵浦光功率为1 W时，激光器输出功率为21 mW，输出功率较低，这是由于滤波器透射中心波长靠近2 000 nm，1 910 nm距离中心波长较远导致损耗较高；且2 μm波段器件工艺不够完善，激光器效率受限于WDM的耦合效率，活动连接器、耦合器、滤波器等器件插入损耗高，造成腔内损耗大。输出端接2 μm铥钬共掺光纤放大器，如图 1所示，放大器泵浦功率为5 W，正向泵浦4 m长THDF，则输出功率随放大器的泵浦功率变化关系如图 4(b)所示，当泵浦功率为5 W时，激光输出功率为1.201 W，激光输出功率得到了很大提升。
3 结论
本文提出并研究了一种基于F-P光纤滤波器的全光纤2 μm宽带可调谐激光器，利用1 550 nm激光泵浦一段4 m长铥-钬共掺光纤，通过调节F-P光纤滤波器得到了1 855 nm~2 050 nm的近195 nm调谐带宽，并且通过后接2 μm光纤放大器使输出功率达到瓦级。该可调谐光纤激光器具有窄线宽、宽调谐范围、高信噪比、较高的输出功率等特点。可以通过改善材料性能和工艺方法，增大F-P光纤滤波器的FSR，使得激光器调谐范围进一步增加。同时，也需要改善泵浦结构，扩大光纤增益谱范围，尤其是平坦度范围。实验中，未接放大器时泵浦效率较低，可以通过完善器件制造以及光纤连接工艺进一步使损耗减小、效率提升。
-
![]()
图 10 放大因子为2时不同算法的视觉效果图
Figure 10. Visual effect pictures of different algorithms when magnification factor is 2
![]()
图 11 数据集RealSR上的不同算法对比效果图
Figure 11. Comparison effect of different algorithms on dataset RealSR
表 1 不同算法的PSNR和SSIM值对比
Table 1 Comparison of PSNR and SSIM values of different algorithms
算法 尺寸 时间/s Set5 Set14 Urban100 BSDS100 Manga109 PSNR/SSIM PSNR/SSIM PSNR/SSIM PSNR/SSIM PSNR/SSIM Bicubic 2 - 33.66/0.9299 30.24/0.8688 26.88/0.8403 31.27/0.8377 30.30/0.9339 SRCNN 2 0.18 36.66/0.9524 32.42/0.9063 29.50/0.8946 31.38/0.8570 35.74/0.9661 FSRCNN 2 0.07 37.00/0.9560 32.63/0.9089 29.87/0.9020 32.83/0.9000 36.65/0.9709 ESPCN 2 0.05 37.04/0.9530 33.40/0.9150 30.79/0.9037 33.55/0.9059 35.48/0.9666 VDSR 2 0.13 37.53/0.9587 33.03/0.9124 30.76/0.9140 33.56/0.9031 37.22/0.9729 SRResnet 2 0.12 37.58/0.9542 33.71/0.9165 32.07/0.8958 33.86/0.9095 35.73/0.9590 本文算法 2 0.12 39.09/0.9658 34.53/0.9255 32.71/0.9241 34.52/0.9209 37.68/0.9727 Bicubic 3 - 30.39/0.8682 27.55/0.7742 24.46/0.7349 27.80/0.7635 26.95/0.8556 SRCNN 3 0.18 32.75/0.9090 29.28/0.8209 26.24/0.7989 29.07/0.7702 30.59/0.9107 FSRCNN 3 0.03 33.16/0.9139 29.43/0.8242 26.43/0.8080 29.11/0.7538 31.10/0.9210 ESPCN 3 0.02 33.13/0.9156 29.49/0.8451 28.08/0.8080 30.91/0.8274 30.54/0.8949 VDSR 3 0.13 33.66/0.9213 29.77/0.8314 27.14/0.8279 30.79/0.8204 32.01/0.9310 SRResnet 3 0.12 33.91/0.9180 30.70/0.8465 28.24/0.8103 31.06/0.8300 30.88/0.8964 本文算法 3 0.11 35.20/0.9322 31.50/0.8643 29.21/0.8700 31.65/0.8792 32.73/0.9429 Bicubic 4 - 28.42/0.8104 26.00/0.7027 23.14/0.6557 26.50/0.7003 24.89/0.7866 SRCNN 4 0.18 30.48/0.8628 27.50/0.7513 24.52/0.7221 27.60/0.7120 27.58/0.8555 FSRCNN 4 0.02 30.71/0.8660 27.59/0.7549 24.62/0.7280 28.36/0.7223 27.90/0.8610 ESPCN 4 0.01 30.90/0.8306 27.73/0.7627 26.06/0.7132 28.92/0.7442 27.32/0.8153 VDSR 4 0.12 31.25/0.8330 28.02/0.7680 25.18/0.7540 29.09/0.7558 28.83/0.8770 SRResnet 4 0.11 32.05/0.9019 28.49/0.8184 26.75/0.7462 29.60/0.7743 28.48/0.8411 本文算法 4 0.10 32.75/0.9001 29.66/0.8154 27.44/0.7894 29.94/0.7952 29.86/0.8846 
下载: 导出CSV
表 2 不同损失函数在Set5上的PSNR和SSIM值
Table 2 PSNR and SSIM values of different loss functions on Set5
参数 $ {L_2} $ $ \alpha $=0.01 $ \alpha $=0.1 $ \alpha $=0.4 $ \alpha $=0.5 $ \alpha $=0.6 PSNR 39.06 38.89 38.92 38.88 39.09 38.85 SSIM 0.9647 0.9601 0.9620 0.9645 0.9658 0.9640
下载: 导出CSV
表 3 Set5上的PSNR和SSIM值
Table 3 PSNR and SSIM values on Set5
h 参数 MSTSRN MSTSRN-
RCBMSTSRN-
DFEBMSTSRN-
FRMPSNR 39.09 38.67 39.00 38.84 SSIM 0.9658 0.9614 0.9553 0.9629 时间/s 34.20 36.67 21.66 31.33
下载: 导出CSV
-
[1] 史振威, 雷森. 图像超分辨重建算法综述[J]. 数据采集与处理,2020,35(1):1-20. SHI Zhenwei, LEI Sen. Overview of image super resolution reconstruction algorithms[J]. Data Acquisition and Processing,2020,35(1):1-20.
[2] MENG B Y, HONG J W, MENG Y L, et al. Overview of research on image super-resolution reconstruction[C]//2021 IEEE International Conference on Information Communication and Software Engineering (ICICSE). New York: IEEE, 2021: 131-135.
[3] DONG C, LOY C C, HE K, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,38(2):295-307.
[4] DONG C, LOY C C, TANG X. Accelerating the super-resolution convolutional neural network[C]//European Conference on Computer Vision. Switzerland: Springer, Cham, 2016: 391-407.
[5] SHI W, CABALLERO J, HUSZÁR F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2016: 1874-1883.
[6] WANG W, HU Y, LUO Y, et al. Brief survey of single image super-resolution reconstruction based on deep learning approaches[J]. Sensing and Imaging,2020,21(1):1-20. doi: 10.1007/s11220-019-0262-y
[7] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2016: 770-778.
[8] KIM J, LEE J K, LEE K M. Accurate image super-resolution using very deep convolutional networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2016: 1646-1654.
[9] KIM J, LEE J K, LEE K M. Deeply-recursive convolutional network for image super-resolution[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2016: 1637-1645.
[10] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. (2015-04-10)[2023-01-15]. https://browse.arxiv.org/pdf/1409.1556.pdf.
[11] 周登文, 赵丽娟, 段然, 等. 基于递归残差网络的图像超分辨率重建[J]. 自动化学报,2019,45(6):1157-1165. ZHOU Dengwen, ZHAO Lijuan, DUAN Ran, et al. Image super-resolution reconstruction based on recursive residual networks[J]. Journal of Automation,2019,45(6):1157-1165.
[12] 郭继昌, 吴洁, 郭春乐, 等. 基于残差连接卷积神经网络的图像超分辨率重构[J]. 吉林大学学报(工学版),2019,49(5):1726-173. GUO Jichang, WU Jie, GUO Chunle, et al. Image super-resolution reconstruction based on residual connection convolutional neural network[J]. Journal of Jilin University (Engineering Edition),2019,49(5):1726-173.
[13] LIM B, SON S, KIM H, et al. Enhanced deep residual networks for single image super-resolution[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. New York: IEEE, 2017: 136-144.
[14] 张敏, 黄刚, 陈啟超. 基于残差学习的图像超分辨率重构方法[J]. 计算机技术与发展,2021,31(8):51-56. doi: 10.3969/j.issn.1673-629X.2021.08.009 ZHANG Min, HUANG Gang, CHEN Qichao. Image super-resolution reconstruction method based on residual learning[J]. Computer Technology and Development,2021,31(8):51-56. doi: 10.3969/j.issn.1673-629X.2021.08.009
[15] 张健, 何京璇, 王容. 基于CNN和Resblock的图像超分辨率重建算法[J]. 信息技术与网络安全,2019,38(7):54-59. ZHANG Jian, HE Jingxuan, WANG Rong. Image super-resolution reconstruction algorithm based on CNN and Resblock[J]. Information Technology and Network Security,2019,38(7):54-59.
[16] ZHANG Y, TIAN Y, KONG Y, et al. Residual dense network for image super-resolution[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018: 2472-2481.
[17] ZHANG Y, LI K, LI K, et al. Image super-resolution using very deep residual channel attention networks[C]//Proceedings of the European Conference on Computer Vision (ECCV). [S. l. ]: Arxiv, 2018: 286-301.
[18] 魏静波. 残差密集注意力网络的超分辨率重建[J]. 电子技术与软件工程,2021(14):127-128. WEI Jingbo. Super-resolution reconstruction of residual dense attention networks[J]. Electronic Technology and Software Engineering,2021(14):127-128.
[19] DAI T, CAI J, ZHANG Y, et al. Second-order attention network for single image super-resolution[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2019: 11065-11074.
[20] NIU B, WEN W, REN W, et al. Single image super-resolution via a holistic attention network[C]//European Conference on Computer Vision. Switzerland: Springer, Cham, 2020: 191-207.
[21] 李滔, 董秀成, 林宏伟. 基于深监督跨尺度注意力网络的深度图像超分辨率重建[J]. 电子学报,2023,51(1):128-138. LI Tao, DONG Xiucheng, LIN Hongwei. Deep image super-resolution reconstruction based on deep supervised cross scale attention network[J]. Journal of Electronics,2023,51(1):128-138.
[22] FEI Y, LIAN F H, YAN Y. An improved PSNR algorithm for objective video quality evaluation[C]//2007 Chinese Control Conference. New York: IEEE, 2007: 376-380.
[23] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing,2004,13(4):600-612. doi: 10.1109/TIP.2003.819861
[24] GREESHMA M S, BINDU V R. Super-resolution using deep networks for chest X-ray images[C]//6th International Conference on Image Information Processing, ICIIP 2021. [S. l. ]: [s. n. ], 2021: 198-201.
[25] WOO S, PARK J, LEE J Y, et al. CBAM: convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision (ECCV). [S. l. ]: [s. n. ], 2018: 3-19.
[26] KINGMA D P, BA J. Adam: a method for stochastic optimization[EB/OL]. (2017-01-30)[2013-01-15]. https://browse.arxiv.org/pdf/1412.6980.pdf.
-
期刊类型引用(2)
1. 韩果，丘杭海，朱鹏，罗敏芳. 大展弦比巡飞弹挂固定翼载机投放研究. 教练机. 2024(03): 37-41 . 
百度学术
2. 胡国欣，周唯，邵翔宇. 基于面阵式激光雷达的弹目交会参数解算仿真研究. 舰船电子工程. 2023(09): 88-94 . 百度学术
其他类型引用(4)
计量
- 文章访问数: 137
- HTML全文浏览量: 47
- PDF下载量: 45
- 被引次数: 6
陕公网安备 61011302001501号 