Perceptually enhanced super-resolution reconstruction model based on deep back projection
-
摘要: 以SRCNN（super-resolution convolutional neural network）模型为代表的超分辨率重建模型通常都有很高的PSNR（peak signal to noise ratio）和SSIM（structural similarity）值，但其在视觉感知上并不令人满意，而以SRGAN为代表的拥有高感知质量的GAN（generative adversarial networks）模型却很容易产生大量的伪细节，这表现在其PSNR和SSIM值通常都较低。针对上述问题，提出了一种基于深度反向投影的感知增强超分辨率重建模型。该模型采用双尺度自适应加权融合特征提取模块进行特征提取，然后通过深度反向投影进行上采样，最终由增强模块增强后得到最终输出。模型采用残差连接与稠密连接，有助于特征的共享以及模型的有效训练。在指标评价上，引入了基于学习的LPIPS（learned perceptual image patch similarity）度量作为新的图像感知质量评价指标，与PSNR、SSIM一起作为模型评价指标。实验结果表明，模型在测试数据集上PSNR、SSIM、LPIPS的平均值分别为27.84、0.7320、0.1258，各项指标均优于对比算法。Abstract: The super-resolution reconstruction models represented by the super-resolution convolutional neural network (SRCNN) models usually have high peak signal to noise ratio (PSNR) and structural similarity index measure (SSIM) values, but its visual perception is not satisfactory. And the generative adversarial networks (GAN) models represented by the super-resolution generative adversarial networks (SRGAN) having high perceptual quality is prone to produce a lot of false details, which is manifested in its low PSNR and SSIM values. To solve the above problems, a perceptually enhanced super-resolution reconstruction model based on deep back projection was proposed. The dual-scale self-adaptive weighted fusion feature extraction module was adopted by this model for feature extraction, then the sampling was carried out by the deep back projection, and finally the final output was obtained after the enhanced module was enhanced. The residual connections and dense connections were adopted by the model, which facilitated the features sharing and the effective training of the model. In the index evaluation, the learned perceptual image patch similarity (LPIPS) metric based on the learning was introduced as a new quality evaluation index of image perception, together with PSNR and SSIM as the model evaluation index. The experimental results show that the average values of PSNR, SSIM, and LPIPS of the model on the test data set are 27.84, 0.7320, and 0.1258, respectively, and all the indicators are better than the comparison algorithm.
-
引言
随着高能高功率激光器研制及其应用的不断发展，光学元件损伤几率越来越高。激光损伤阈值是评价光学元件抗损伤能力的重要技术指标，是影响高能高功率激光输出功率和能量水平的关键因素。脉冲激光导致的损伤通常是由于缺陷、膜层应力、表面污染物或者光吸收导致的热效应引起。在一定条件下，光学元件损伤阈值测量与材料性能和激光参数，特别是与激光波长、光斑尺寸和脉冲宽度等有关，影响测量结果的因素很多[1-2]。
国际上对激光损伤阈值测量装置及其测量方法进行了大量研究[3-8]。国内相关研究单位，也参考ISO标准和国内外同行的研究成果，研制了一系列激光损伤阈值测量装置[9-14]，在激光损伤阈值的测量上进行了有益的探索。但总的来说，研制的测量装置的工程化和标准化程度不高，测量设备条件不同，测试程序不统一，人为因素、环境因素和器件因素造成测量值存在较大偏差，测量数据的复现性和可比性比较差。
为了开展光学元件损伤特性及测试方法研究，我们研制了一套1 064 nm、532 nm激光损伤测试装置，该装置由计算机集成控制，具有良好操作性和运行参数控制能力，可实现1-on-1,S-on-1, R-on-1三种测试方法下的光学元件激光损伤测试。
1 激光损伤阈值测量方法
光学元件激光损伤阈值是指在激光损伤试验中，统计分析得到的光学元件表面最大不损伤的激光能量密度或峰值功率密度值，简称为零概率损伤阈值。目前国际上对于激光损伤阈值的测量，基本遵循ISO21254标准的要求。同时为适应我国的技术条件，在ISO21254标准基础上，我国也制定了相应的GB∕T 16601-2017[15]。上述标准中提出的光学元件脉冲激光损伤阈值测量方法有3种：1-on-1、S-on-1和R-on-1。
1.1 1-on-1测量方法
1） 采用不同能量密度的脉冲激光对样品进行辐照，每个能量密度辐照一组测试点，每组测试点一般不少于10个，每个测试点只照射1次。测试点之间的距离至少是入射光斑直径的4倍，以避免测试点之间的相互重叠的干扰。激光损伤探测判别系统得到不同能量密度下测试点的损伤几率。
2） 以能量密度为横坐标，损伤几率为纵坐标，对损伤几率-能量密度进行线型拟合，拟合得到的直线与横坐标的交点处的能量密度就是零概率损伤阈值，1-on-1的测量原理如图1所示。
1.2 S-on-1测量方法
1） 采用不同能量密度的脉冲激光对样品进行辐照，每个能量密度辐照1组测试点，每组测试点一般不少于10个，每个测试点照射指定的脉冲数（比如1 000次，如果发生损伤则停止照射，移至下一个测试点）。测试点之间的距离与1-on-1的规定相同。激光损伤探测判定系统得到不同能量密度下测试点的损伤几率。
2） 和1-on-1测试方法相同，拟合得到零概率损伤阈值，S-on-1的测量原理如图2所示。
1.3 R-on-1测量方法
1） 采用不同能量密度的脉冲激光对样品进行辐照，以能量密度递增的方式辐照1个测试点，如果发现该测试点损伤， 移至下一个测试点。测试点之间的距离与1-on-1的规定相同。激光损伤探测判定系统得到不同能量密度下测试点的损伤几率。
2） 在数据处理时通常采用两种方法，一种和1-on-1测试方法相同，将数据点按照能量密度分类统计损伤概率后拟合得到零概率损伤阈值，一种是计算每个位置刚损伤时的能量密度和前一个未损伤能量密度的平均值。第二种方法可得到较多的数据点，实际工作中采用较多。该测量方法如图3所示。
2 激光损伤阈值自动测量装置
双波长光学元件激光损伤阈值自动测量装置，原理及实物如图4和图5所示。该装置主要包括：脉冲激光光源系统、激光光束诊断系统、激光损伤探测系统以及控制与处理系统组成。测试过程中，将样品测试点放置于激光光路中，计算机控制脉冲激光光源系统产生不同能量密度的脉冲激光，使用不同能量密度或功率密度的单个激光脉冲对其进行辐照。对于每个选定的脉冲能量（或功率）至少选取10个测试点进行辐照并记录。使用光束诊断系统记录下每个测试点实际使用的脉冲能量密度，同时记录下样品经激光辐照后的损伤情况（损伤或未损伤）。主控软件根据获得的辐照数据，构建一幅损伤概率随能量密度变化的关系图。损伤概率数据线性外推到零损伤概率即可得到损伤阈值。
2.1 脉冲激光光源系统
激光器采用北京镭宝公司的泵浦Nd:YAG激光器，输出基频波长为1.064 μm，通过倍频晶体，输出532 nm波长激光。输出模式为TEM00，调Q后脉宽为10 ns，最大脉冲能量为2 J（1.064 μm），工作频率1 Hz～10 Hz可调。
损伤阈值测试中的可变衰减器大多采用偏振衰减的方式，由1/2波片和薄膜偏振片（或偏振分光棱镜）组成，可变衰减器衰减范围可实现0.1%～95%。损伤阈值测试中，通常要对激光能量实现大范围衰减，衰减范围要达到103量级，即最小透过率一般要小于0.1%。因此，可变衰减器最小透过率大小对于衰减范围至关重要，主要影响因素有3个方面：1） 是入射激光偏振度；2） 是偏振器消光比；3） 是半波片位相延迟偏差。对于大能量激光器来说，存在热退偏效应，常常在激光器和可变衰减器之间增加了一个薄膜偏振片，增加激光的线偏振度。通过实验验证，本装置光源系统和可变衰减器组合后可在待测元件表面获得能量密度0.1 J/cm2～100 J/cm2的脉冲激光。
2.2 光束诊断系统
激光光束诊断系统由楔形分束镜、能量计、快速响应光电探测器、示波器、光斑空域分布测量系统等组成，以获得辐照脉冲激光的能量、光斑大小和脉宽，如图6所示。楔形分束镜1的分束比可以通过能量计进行测量。损伤阈值测量过程中，激光光束诊断系统的能量计测量得到的脉冲激光的能量值通过USB接口传输到数据采集和处理系统，计算机的主控软件将分束后的反射光的能量乘以分束比，就可以计算出辐照到待测样品测量点的脉冲激光能量。通过光路调校，光斑分析仪CCD靶面与样品的待测面对称共轭，在多路同步延时电路的控制下，光斑分析仪采集得到的脉冲激光光斑的大小就是辐照到待测样品测量点的光斑大小。时域分布测量系统由快速光电探测器和1 G带宽的示波器组成，可以满足ns级短脉冲激光脉宽精密测量的要求。
2.3 在线损伤探测系统
在线损伤探测方法主要有2种：1） 是散射光探测；2） 是在线显微成像。散射光探测可以直接探测测试激光的散射信号，也可以探测与测试激光叠加照射在测试点的另一独立激光束的散射信号。基于分离光源的散射光测量装置，需要一个指向稳定性很高且强度波动很小的激光器作为辐射光源。在线显微成像方法可以在辐照过程中直接检查样品表面状态，通过比较辐照前后样品表面图像判断损伤，具有可靠性高、直观且适合自动测量的优点，在损伤阈值自动测试领域被广泛采用。本文中装置通过照明光源与在线显微相机结合进行损伤自动判断，如图7所示。
2.4 控制与处理系统
控制与处理系统是损伤阈值自动测量装置的核心，由计算机和控制箱组成。计算机通过图8所示测试软件对激光器快门、可变衰减器衰减比例、待测元件夹持机构运动等进行控制，同时控制能量计、光斑分布测量相机、在线显微相机等测量组件的数据采集，并进行分析和计算处理。
由于短脉冲激光的脉宽只有10 ns左右，要准确捕获光斑分布和脉冲波形，需要保证激光器出光时间与触发光斑分布测量相机和示波器触发信号在时序上精确匹配。本装置中所采用激光器调Q信号与出光时间为1 μs，光斑测量相机外触发信号与实际曝光之间延迟43 μs，若采用调Q信号去触发光斑测量相机，则无法捕获到脉冲光信号，因此本装置通过自研的多路同步延迟电路同步触发激光器输出、光斑采集和脉冲波形的采集。
3 测量结果及分析
3.1 测量结果
实验样品基片为K9玻璃，单面镀制1 064 nm铝反射膜和增透膜，样品尺寸50 mm×50 mm，入射角3º，光束有效面积0.001 cm2，有效脉冲宽度9.5 ns，每个能量密度下辐照20个点，能量密度台阶数设为15。激光器能量稳定性优于1%，可变衰减器范围从0.1%～97%。图9(a)为1 064 nm增透膜的损伤概率曲线，损伤阈值为27.09 J/cm2，图9(b)为1 064 nm铝反射膜的损伤概率曲线，损伤阈值为3.21 J/cm2。图10为测试过程中在线观测到的反射膜层的损伤形貌。如图10所示，铝反射膜损伤形貌主要表现为孔洞和膜层剥离，增透膜损伤主要集中在后表面，小孔洞聚集。
![]()
图 10 1 064 nm激光辐照下铝反射膜和增透膜损伤形貌Figure 10. Damage morphology of aluminum reflection films and antireflection films under 1 064 nm laser irradiation采用1 064 nm和532 nm激光，分别获得了1-on-1、S-on-1、R-on-1方式下对增透膜和铝反射膜零概率损伤阈值的测试结果，如表1所示。
表 1 损伤阈值测量结果Table 1. Measurement results of LIDT波长/nm 样品名称 LIDT/(J/cm2) 1 on 1 100 on 1 R on 1 1 064 铝反射膜 3.21 —— 2.97 增透膜 27.09 —— 25.93 532 铝反射膜 0.56 —— 0.32 增透膜 6.42 4.55 6.38 3.2 测量结果不确定度分析
激光损伤阈值的测量结果受到能量密度测试过程的影响。同时, 用能量密度区间内有限次数测量的损伤几率代替平均能量密度处的损伤几率，来确定能量密度的几率数据点的计算以及对这些点采用线性拟合的方式，也影响到测量不确定度。根据GBT 16601.2-2017以及ISO 21254-2中测试结果评估流程，对于每一个能量密度水平Hi，观测到的损伤概率Pi，由式（1）算出：
$$ {P_i} = \frac{{n_i^{\rm{d}}}}{{n_i^{\rm{d}} + n_i^{{\rm{nd}}}}} $$ (1) 式中：nid+nind是产生nid个测试点损伤而辐照的测试点总数。
用式（2）或式（3）估算数据集中每个损伤概率Pi的不确定度σi；
$$ {\sigma _i} = \sqrt {\frac{{n_i^{{\rm{nd}}}}}{{n_i^{\rm{d}}\left( {n_i^{\rm{d}} + n_i^{{\rm{nd}}}} \right)}} + \varepsilon _f^2}, \;\;\;\;\;当{n^{\rm{d}}} > 0 $$ (2) $$ {\sigma _i} = \sqrt {\varepsilon _f^2}, \;\;\;\;当{n^{\rm{d}}} = 0 $$ (3) 式中：εf为所测能量密度的不确定度分量。能量密度由能量、分束比、光斑有效面积共同决定，其不确定度分析结果如表2所示。
表 2 能量密度不确定度分析Table 2. Uncertainty analysis of laser energy density测量不确定度 激光能量密度/% 激光能量计测量相对不确定度(u1) 1.25 分光比测量相对不确定度(u2) 0.18 光斑有效面积测量[16](u3) 1.1 能量密度计算相对合成不确定度(u4) 1.67 获得不同能量密度Hi下的损伤概率Pi数据后，对测量的损伤概率曲线进行线性拟合，可以得到的斜率m和截距b：
$$ m = \frac{1}{\varDelta }\left[ {\left( {\mathop \sum \nolimits_i \frac{1}{{\sigma _i^2}}} \right)\left( {\mathop \sum \nolimits_i \frac{{{P_i}{H_i}}}{{\sigma _i^2}}} \right) - \left( {\mathop \sum \nolimits_i \frac{{{H_i}}}{{\sigma _i^2}}} \right)\left( {\mathop \sum \nolimits_i \frac{{{P_i}}}{{\sigma _i^2}}} \right)} \right] $$ (4) $$b = \frac{1}{\varDelta }\left[ {\left( {\mathop \sum \nolimits_i \frac{{H_i^2}}{{\sigma _i^2}}} \right)\left( {\mathop \sum \nolimits_i \frac{{{P_i}}}{{\sigma _i^2}}} \right) - \left( {\mathop \sum \nolimits_i \frac{{{H_i}}}{{\sigma _i^2}}} \right)\left( {\mathop \sum \nolimits_i \frac{{{P_i}{H_i}}}{{\sigma _i^2}}} \right)} \right] $$ (5) 其中
$$\varDelta = \left( {\mathop \sum \nolimits_i \frac{1}{{\sigma _i^2}}} \right)\left( {\mathop \sum \nolimits_i \frac{{H_i^2}}{{\sigma _i^2}}} \right) - {\left( {\mathop \sum \nolimits_i \frac{{{H_i}}}{{\sigma _i^2}}} \right)^2}$$ (6) $$ {H_{{\rm{th}}}} = - \frac{b}{m} $$ (7) 同时利用最小二乘法通过式（4）和式（5）可得到拟合线性方程P=mH+b或者H=P/m−b/m，根据零概率损伤阈值定义，用式（7）确定零概率损伤阈值Hth。以上节中1 064 nm波长下增透膜和铝反射膜的1 on 1测试结果为例，计算前面图9（a）增透膜损伤概率曲线对应的拟合方程为P=0.022Hth−0.596，损伤阈值Hth为27.09 J/cm2，图9（b）铝反射膜损伤概率曲线对应的拟合方程为P=0.162Hth−0.519 7，损伤阈值Hth为3.21 J/cm2。
根据标准不确定度的A类评定方法[17]，H的标准不确定度为它的估计标准偏差，同时根据标准偏差传递规律，损伤阈值的不确定度σth为
$$ {\sigma _{{\rm{th}}}} = - \frac{1}{{{m^2}}}\sqrt {{b^2}\sigma _m^2 + {m^2}\sigma _b^2} $$ (8) 式中：
$$ {\sigma _b} = \sqrt {\frac{1}{\varDelta } \sum \frac{{H_i^2}}{{\sigma _i^2}}} $$ (9) $$ {\sigma _m} = \sqrt {\frac{1}{\varDelta } \sum \frac{1}{{\sigma _i^2}}} $$ (10) 通过式（10），上节中1 064 nm增透膜和铝反射膜损伤阈值的不确定度σth分别为1.06 J/cm2、0.18 J/cm2，相对不确定度分别为3.91%和5.61%。不确定度大小主要与数据拟合直线的斜率大小以及数据拟合引起的标准偏差差异相关。由此可见，光学元件激光损伤阈值测量过程中，能量密度带来的不确定影响较小，不确定度主要来源于损伤几率及损伤概率数据拟合带来的影响。若采用线性拟合，数据拟合不确定度与光学材料损伤几率测量数据斜率及线性程度有很大关系。
4 结论
双波长激光损伤阈值自动测量装置通过计算机集成控制，利用可变衰减器、同步控制电路和分束共轭方法对调Q脉冲激光（10 ns）不同能量密度光斑进行了准确捕捉、测量。装置测量程序自动化程度高，可实现1-on-1、r-on-1、s-on-1三种方式的激光损伤阈值自动测量，为开展光学元件的激光损伤研究提供良好的损伤实验平台。
-
表 1 特征提取模块中各卷积核通道数
Table 1 Number of each convolution kernel channel in feature extraction module
卷积核 Conv1 Conv2 Conv3 Conv4 Conv5 Conv6 通道数 32 32 64 64 128 512 
下载: 导出CSV
表 2 各采样块通道数
Table 2 Number of each sampling block channel
采样块 Up-block1 Down-block1 Up-block2 Down-block2 Up-block3 Down-block3 Up-block4 通道数 8 8 8 16 24 40 64
下载: 导出CSV
表 3 PSNR对比结果
Table 3 PSNR comparison results
a b c d e f g Bicubic 25.9295 31.8773 28.6333 24.4575 24.8693 25.5690 21.9727 SRCNN 26.7771 33.6633 30.2398 26.3067 26.2491 25.7966 22.3688 SRGAN 24.5492 28.5841 23.4904 17.9372 20.7947 24.9596 21.1357 本文 26.8326 34.6261 30.4308 26.5383 27.4615 26.6875 22.3342
下载: 导出CSV
表 4 SSIM对比结果
Table 4 SSIM comparison results
a b c d e f g Bicubic 0.7139 0.8679 0.8489 0.6854 0.6412 0.5014 0.4729 SRCNN 0.7620 0.8937 0.8842 0.7803 0.7003 0.5397 0.5293 SRGAN 0.7456 0.8298 0.8030 0.6196 0.6312 0.5393 0.5257 本文 0.7682 0.9011 0.8962 0.7720 0.7126 0.5412 0.5329
下载: 导出CSV
表 5 LPIPS对比结果
Table 5 LPIPS comparison results
a b c d e f g Bicubic 0.1770 0.1137 0.1321 0.3948 0.2154 0.2984 0.3156 SRCNN 0.1258 0.0603 0.0687 0.2521 0.1341 0.2734 0.2818 SRGAN 0.1153 0.0436 0.0521 0.2173 0.0947 0.2364 0.2767 本文 0.0760 0.0382 0.0481 0.1882 0.0812 0.2269 0.2222
下载: 导出CSV
-
[1] DONG C, LOY C C, HE K, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,38(2):295-307.
[2] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2016: 770-778.
[3] KIM J, KWON L J, MU L K. Deeply-recursive convolutional network for image super-resolution[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2016: 1637-1645.
[4] TAI Y, YANG J, LIU X. Image super-resolution via deep recursive residual network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2017: 3147-3155.
[5] DONG C, LOY C C, TANG X. Accelerating the super-resolution convolutional neural network[C]//European Conference on Computer Vision. Switzerland: Springer Cham, 2016: 391-407.
[6] SHI W, CABALLERO J, HUSZÁR F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2016: 1874-1883.
[7] GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[J]. Advances in Neural Information Processing Systems. 2014, 3: 2672-2680.
[8] LEDIG C, THEIS L, HUSZÁR F, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2017: 4681-4690.
[9] CHOI J H, KIM J H, CHEON M, et al. Deep learning-based image super-resolution considering quantitative and perceptual quality[J]. Neurocomputing,2020,398:347-359. doi: 10.1016/j.neucom.2019.06.103
[10] HUANG G, LIU Z, VAN DER MAATEN L, et al. Densely connected convolutional networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2017: 4700-4708.
[11] ZHANG R, ISOLA P, EFROS A A, et al. The unreasonable effectiveness of deep features as a perceptual metric[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2018: 586-595.
[12] VU T, VAN NGUYEN C, PHAM T X, et al. Fast and efficient image quality enhancement via desubpixel convolutional neural networks[C]//Proceedings of the European Conference on Computer Vision (ECCV). Switzerland: Springer Cham, 2018.
[13] HARIS M, SHAKHNAROVICH G, UKITA N. Deep back-projection networks for super- resolution[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2018: 1664-1673.
[14] ZHAO Y, WANG R G, JIA W, et al. Iterative projection reconstruction for fast and efficient image upsampling[J]. Neurocomputing,2017,226:200-211. doi: 10.1016/j.neucom.2016.11.049
[15] RONNEBERGER O, FISCHER P, BROX T. U-net: convolutional networks for biomedical image segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Switzerland: Springer Cham, 2015: 234-241.
[16] MAO X J, SHEN C, YANG Y B. Image restoration using very deep convolutional encoder-decoder networks with symmetric skip connections[C]. [S.l.]: arXiv preprint arXiv, 2016: 1603.09056.
[17] ISOLA P, ZHU J Y, ZHOU T, et al. Image-to-image translation with conditional adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2017: 1125-1134.
[18] LIU L, JIANG H, HE P, et al. On the variance of the adaptive learning rate and beyond[C]. [S.l.]: arXiv preprint arXiv, 2019: 1908.03265.
[19] ZHANG M, LUCAS J, BA J, et al. Lookahead optimizer: k steps forward, 1 step back[C]//Advances in Neural Information Processing Systems. Switzerland: Springer, Cham, 2019: 9597-9608.
-
期刊类型引用(0)
其他类型引用(1)
计量
- 文章访问数: 570
- HTML全文浏览量: 231
- PDF下载量: 39
- 被引次数: 1
陕公网安备 61011302001501号 