基于深度反向投影的感知增强超分辨率重建模型

杨书广

杨书广. 基于深度反向投影的感知增强超分辨率重建模型[J]. 应用光学, 2021, 42(4): 691-697, 716. DOI: 10.5768/JAO202142.0402009
引用本文: 杨书广. 基于深度反向投影的感知增强超分辨率重建模型[J]. 应用光学, 2021, 42(4): 691-697, 716. DOI: 10.5768/JAO202142.0402009
YANG Shuguang. Perceptually enhanced super-resolution reconstruction model based on deep back projection[J]. Journal of Applied Optics, 2021, 42(4): 691-697, 716. DOI: 10.5768/JAO202142.0402009
Citation: YANG Shuguang. Perceptually enhanced super-resolution reconstruction model based on deep back projection[J]. Journal of Applied Optics, 2021, 42(4): 691-697, 716. DOI: 10.5768/JAO202142.0402009

基于深度反向投影的感知增强超分辨率重建模型

基金项目: 国家自然科学基金(61403298);陕西省自然科学基金(2015JM1024)
详细信息
    作者简介:

    杨书广(1991—),男,硕士研究生,主要从事深度学习与图像处理方面的研究。E-mail:964662591@qq.com

  • 中图分类号: TP391.4; TN919.81

Perceptually enhanced super-resolution reconstruction model based on deep back projection

  • 摘要: 以SRCNN(super-resolution convolutional neural network)模型为代表的超分辨率重建模型通常都有很高的PSNR(peak signal to noise ratio)和SSIM(structural similarity)值,但其在视觉感知上并不令人满意,而以SRGAN为代表的拥有高感知质量的GAN(generative adversarial networks)模型却很容易产生大量的伪细节,这表现在其PSNR和SSIM值通常都较低。针对上述问题,提出了一种基于深度反向投影的感知增强超分辨率重建模型。该模型采用双尺度自适应加权融合特征提取模块进行特征提取,然后通过深度反向投影进行上采样,最终由增强模块增强后得到最终输出。模型采用残差连接与稠密连接,有助于特征的共享以及模型的有效训练。在指标评价上,引入了基于学习的LPIPS(learned perceptual image patch similarity)度量作为新的图像感知质量评价指标,与PSNR、SSIM一起作为模型评价指标。实验结果表明,模型在测试数据集上PSNR、SSIM、LPIPS的平均值分别为27.84、0.7320、0.1258,各项指标均优于对比算法。
    Abstract: The super-resolution reconstruction models represented by the super-resolution convolutional neural network (SRCNN) models usually have high peak signal to noise ratio (PSNR) and structural similarity index measure (SSIM) values, but its visual perception is not satisfactory. And the generative adversarial networks (GAN) models represented by the super-resolution generative adversarial networks (SRGAN) having high perceptual quality is prone to produce a lot of false details, which is manifested in its low PSNR and SSIM values. To solve the above problems, a perceptually enhanced super-resolution reconstruction model based on deep back projection was proposed. The dual-scale self-adaptive weighted fusion feature extraction module was adopted by this model for feature extraction, then the sampling was carried out by the deep back projection, and finally the final output was obtained after the enhanced module was enhanced. The residual connections and dense connections were adopted by the model, which facilitated the features sharing and the effective training of the model. In the index evaluation, the learned perceptual image patch similarity (LPIPS) metric based on the learning was introduced as a new quality evaluation index of image perception, together with PSNR and SSIM as the model evaluation index. The experimental results show that the average values of PSNR, SSIM, and LPIPS of the model on the test data set are 27.84, 0.7320, and 0.1258, respectively, and all the indicators are better than the comparison algorithm.
  • 单图像超分辨率重建(SR)是计算机视觉中的一个经典问题,它的目标是从一张低分辨率(LR)图像重建高分辨率(HR)图像。SR已广泛应用于视频监控、卫星遥感图像、医学图像、显微镜成像以及图像和视频压缩等诸多领域。虽然针对图像SR提出了许多解决方案,但由于图像SR的病态性和较高的实用价值,在计算机视觉领域仍是一个活跃而富有挑战性的研究课题。近年来,深度学习技术,特别是卷积神经网络(CNN)和残差学习,极大地提升了图像超分辨率重建的性能。SRCNN[1]是首个成功采用CNN来解决SR问题的模型,它是一个简单的3层网络,可以学习低分辨率图像LR和高分辨率图像HR之间的端到端的映射,在当时取得了超越传统算法的重建效果。随后,各种用于超分辨率重建的卷积神经网络相继出现。He Kim等[2]通过引入全局残差学习,将网络深度增加到20层,在SR性能上取得了显著提高。其他一些模型,如DRCN[3]和DRRN[4],则侧重于权重共享,以减小模型参数的比例。虽然这些方法性能优越,但都需要原始LR图像的双三次插值版本作为输入,不可避免地丢失了一些细节,且计算量较大。而反卷积[5]和亚像素卷积[6],可以改善这一问题。相比于双三次插值,它们有助于减少原图像的信息损失。为了生成高质量的图像,Johnson等人提出了基于从预先训练的网络中提取的高级特征的感知损失函数,与使用逐像素损失训练的方法相比,该函数可以重构更精细的细节。近年来生成对抗网络(GANs)[7]在包括单图像超分辨率重建在内的许多计算机视觉任务中都取得了良好的效果。Ledig等人[8]使用GANs(SRGAN)获得了逼真的自然图像,其在视觉效果上明显优于非GAN网络重建的图像,但也产生了许多伪细节纹理。

    综合来看,目前已有的基于CNN进行超分辨率重建的方法可以分为两大类。第一种方法将SR作为重构问题,采用均方误差MSE作为损失函数来实现高的峰值信噪比(PSNR)和结构相似度(SSIM)值,以SRCNN等作为代表。然而,这种方法往往产生过度平滑的图像,在纹理细节上难以满足人的视觉感知需要。为了获得更好的感知质量,第二种方法将SR转换为图像生成问题。通过结合感知损失[9]与生成对抗网络(GAN),这种SR方法具有生成符合人视觉效果的纹理和细节的潜力,以SRGAN为代表。尽管GAN网络生成的高分辨率图像具有良好的感知效果,但也生成了很多原图并不具有的纹理细节,其忠实性很成问题。这表现在GAN网络生成的高分辨率图像PSNR和SSIM值通常都较低。

    针对上述问题,本文提出了一种基于深度反向投影的感知增强SR网络模型,设计了双尺度自适应加权融合的特征提取模块,基于深度反向投影的重建模块和具有U-net结构的增强模块。采用稠密连接[10]和残差连接以实现图像特征的重复利用和减少梯度消失对模型优化的影响,并引入了可学习的感知相似度[11](LPIPS)作为新的图像感知质量的评价指标和损失函数。模型可以在4倍下采样因子下重建超分辨率图像,实验结果表明,本文提出的模型在保持较高的PSNR和SSIM值的同时,感知质量也优于SRGAN生成的超分辨率图像。

    网络结构总体分为特征提取模块、重建模块、增强模块,如图1所示。

    图  1  网络总体结构
    Figure  1.  Overall structure of network

    本文结合亚像素卷积和逆亚像素卷积设计了双尺度自适应加权融合特征提取模块。该模块有2个输入分支,一支和原图分辨率相同,另一支通过亚像素卷积得到分辨率减小一半的低分辨率特征图。2个分支分别通过亚像素卷积和逆亚像素卷积[12]进行上采样和下采样,以实现两组特征图不同分辨率之间的相互转化,相比于常用的池化和各种插值实现下采样和上采样,亚像素卷积和逆亚像素卷积能够完整地保留原特征图的信息。不同分辨率的特征图分别经过上采样和下采样之后,与另一分支分辨率同样大小的特征图并行连接,并分别与各自的可学习的权重向量相乘,以自适应的调节各通道权重,藉此实现不同分辨率之间的自适应信息交互,最后再分别进行卷积,如图2所示。所有卷积核大小均为3×3,步长为1,通道数见表1。每个卷积核之后接PReLU激活函数。

    图  2  特征提取模块
    Figure  2.  Feature extraction module
    表  1  特征提取模块中各卷积核通道数
    Table  1.  Number of each convolution kernel channel in feature extraction module
    卷积核Conv1Conv2Conv3Conv4Conv5Conv6
    通道数32326464128512
    下载: 导出CSV 
    | 显示表格

    亚像素卷积的主要功能是将通道数为$c$、大小为$w \times h$的特征图组合为新的通道数为${c}/{{{r^2}}}$、大小为$(wr) \times (hr)$的高分辨率特征图,其中$r$为上采样因子。具体来说,就是将原来低分辨特征图的一个像素点扩充为$r \times r$个像素点,利用$r \times r$个低分辨率特征图的同一像素位置的值按照一定的规则来填充扩充后的$r \times r$个像素点。按照同样的规则将每个低分辨像素点进行扩充就完成了重组过程,过程中没有损失任何像素信息,且没有可学习的参数。逆亚像素卷积则是将上述过程反过来,从高分辨率得到下采样后的低分辨率图像,图像分辨率减小而通道数增加。

    特征提取模块可用公式表达如下:

    $$ \begin{array}{*{20}{l}} {{X_1} = P({X_0}*{C_1})}\\ {{X_2} = P(({X_0}*{C_2})}\\ {{X_3} = P({X_2}*{C_3})}\\ {{X_4} = P(({X_1}*DS)*{C_4})}\\ {{X_l} = Cat({X_3}*DS,{X_4})}\\ {{X_h} = Cat({X_4}*S,{X_3})}\\ {{X_{hw}} = Cat(\alpha _1^1X_h^1, \cdots ,\alpha _1^iX_h^i, \cdots ,\alpha _1^{{c_1}}X_h^{{c_1}}),1 \leqslant i \leqslant {c_1}}\\ {{X_{lw}} = Cat(\alpha _2^1X_h^1, \cdots ,\alpha _2^jX_l^j, \cdots ,\alpha _2^{{c_2}}X_l^{{c_2}}),1 \leqslant j \leqslant {c_2}}\\ {{X_5} = P({X_{hw}}*{C_5})}\\ {{X_6} = P({X_{lw}}*{C_6})*S}\\ {{X_7} = {X_6} + {X_5}} \end{array} $$

    式中:${X_k}(k = 1, \cdots ,7)$为特征图;${C_m}(m = 1, \cdots ,6)$为卷积核;${X_h}$表示并行连接后的高分辨率特征图;${X_l}$代表并行连接后的低分辨率特征图;$X_h^i(1 \leqslant i \leqslant {c_1})$表示${X_h}$的第$i$个通道;${c_1}$${X_h}$的通道数;$X_l^j(1 \leqslant j \leqslant {c_2})$表示${X_l}$的第$j$个通道;${c_2}$${X_l}$的通道数;${\alpha _1}{\rm{ = (}}\alpha _1^1, \cdots , $$ \alpha _1^{{c_1}}{\rm{)}}$${\alpha _2}{\rm{ = (}}\alpha _2^1, \cdots ,\alpha _2^{{c_2}}{\rm{)}}$为可学习的权重向量,初始值为单位向量;${X_{hw}}$为按通道加权后的高分辨率特征图;${X_{lw}}$为按通道加权后的低分辨率特征图;*表示卷积运算;$S$表示亚像素卷积;$DS$为逆亚像素卷积;$ P( \cdot )$为PReLU激活函数;$ Cat( \cdot)$表示特征图的并行连接。

    重建模块以深度反向投影[13]为基础,将低分辨率特征图4倍上采样为高分辨特征图。迭代反向投影通过交替使用上采样块(Up-block)和下采样块(Down-block)(见图4)来迭代学习低分辨率和高分辨率图像之间的误差,以更好的重建高分辨率图像。文献[14]证明了反向投影在超分辨率重建任务中的有效性。与文献[13]不同的是,本文采用亚像素卷积代替了原结构中的反卷积进行上采样,这显著减少了网络参数和运算量。本文使用了4个上采样块和3个下采样块进行重建,且各个上采样快(下采样块)之间进行了稠密连接,以共享特征图及防止梯度消失,如图3

    图  3  重建模块
    Figure  3.  Reconstruction module
    图  4  上采样块与下采样块
    Figure  4.  Up-sampling block and down-sampling block

    $t$个上采样块通过亚像素卷积将输入的LR图像${L^{t - 1}}$上采样为HR图像$H_0^t$$H_0^t$经卷积下采样为LR图像$L_0^t$,然后将$L_0^t$${L^{t - 1}}$按像素作差,得到$e_t^l$,再经亚像素卷积得到HR图像$H_1^t$,最后将$H_1^t$$H_0^t$按像素求和,得到输出${H^t}$,如图4(a)所示。卷积核的参数为:核大小为8,步长为4,填充为2。

    上采样块的结构可用公式表达如下:

    $$ \begin{array}{*{20}{l}} {H_0^t = P({L^{t - 1}}*S)}\\ {L_0^t = P(H_0^t*C)}\\ {e_t^l = L_0^t - {L^{t - 1}}}\\ {H_1^t = P(e_t^l*S)}\\ {{H^t} = H_0^t + H_1^t} \end{array} $$

    式中:$S$表示亚像素卷积;$ P( \cdot)$表示激活函数PReLU;$C$表示卷积核;*表示卷积运算;t=1,2,3,4。

    下采样块结构与上采样块类似,如图4(b)所示,用公式表达为

    $$ \begin{array}{*{20}{l}} {L_0^t = P({H^t}*C)}\\ {H_0^t = P(L_0^t*S)}\\ {e_t^h = H_0^t - {H^t}}\\ {L_1^t = P(e_t^h*C)}\\ {{L^t} = L_0^t + L_1^t} \end{array} $$

    各采样块通道数见表2

    表  2  各采样块通道数
    Table  2.  Number of each sampling block channel
    采样块Up-block1Down-block1Up-block2Down-block2Up-block3Down-block3Up-block4
    通道数88816244064
    下载: 导出CSV 
    | 显示表格

    增强模块以U-net[15]结构为主体,通过对重建后的图像进行增强以提高视觉感知。U-net最早用于医学图像分割,其结构特征为:先上采样,后下采样,且同分辨率之间采用跳跃连接[16]。这种结构有助于网络学习到不同尺度的特征,有效避免梯度消失的问题,结合低分辨率和高分辨率信息获得很好的学习效果。这也使得U-net近年来被广泛应用于图像分割、目标检测、图像生成等领域。

    本文设计的U-net结构如图5。重建后的HR图像依次和7×7×64、5×5×64、3×3×32的卷积核进行卷积,得到下采样图像,然后依次进入5个稠密残差块(见图5右边),最后再与3×3×32、5×5×64、7×7×104、3×3×3的反卷积进行卷积得到最终输出的HR图像。这里跳跃连接是按对应像素求和。除最后一层的3×3的卷积核填充为1外,其余填充皆为0,所有卷积核步长均为1。

    图  5  增强模块
    Figure  5.  Enhanced module

    稠密残差块由4个卷积层组成,依次有32、32、64、128个通道,所有卷积核大小皆为3×3,填充为1。卷积层之间采用了稠密连接:每一层都以前面所有层的输出作为输入。这种连接方式可以共享稠密残差块内的特征,文献[17]表明,共享底层特征对于图像中结构细节的正确重建非常重要,同时也增加了后续层输入的变化,有助于网络学习到更多信息。最后的输出采用了残差连接。

    本文的损失函数使用${L_2}$范数,包括像素间的损失${L_p}$以及特征图之间的LPIPS损失${L_{{\rm{LPIPS}}}}$

    I为原图,${I_{{\rm{SR}}}}$为模型的输出图,则

    $${L_{{p}}} = {\left\| {I - {I_{{\rm{SR}}}}} \right\|_2}$$

    式中$ {\Vert \centerdot \Vert }_{2}$表示${L_2}$范数。

    ${L_{{\rm{LPIPS}}}}$损失以LPIPS指标作为损失函数,对于LPIPS指标的介绍见2.2。模型总的损失$L$

    $$L = {L_{{p}}} + \lambda {L_{{\rm{LPIPS}}}}$$

    式中$\lambda $为参数,经实验后,取$\lambda $为0.1。

    本文使用General-100作为训练数据集,测试数据使用了从Flickr2K数据集中裁剪的部分图片。训练时对训练集的图像进行随机裁剪得到80×80像素大小的图像块,然后对图像块进行4倍因子的下采样以获得低分辨率输入图像。下采样采用Bicubic算法。

    本文使用Pytorch框架训练模型,学习率为0.0001,优化算法采用Ranger算法,该算法结合了RAdam算法[18]和LookAhead算法[19],能够使网络更为稳定快速地收敛。模型迭代次数为9000次,批大小为30,损失函数曲线见图6所示。

    图  6  损失函数曲线
    Figure  6.  Loss function curve

    本文采用的图像评价指标有峰值信噪比(PSNR)、结构相似度(SSIM)、可学习的感知相似度(LPIPS)。

    PSNR是最普遍和使用最为广泛的一种图像客观评价指标,数值越大说明与原图越接近。然而它是基于对应像素点间的误差,即基于误差敏感的图像质量评价。由于并未考虑到人眼的视觉特性(人眼对空间频率较低的对比差异敏感度较高,人眼对亮度对比差异的敏感度较色度高,人眼对一个区域的感知结果会受到其周围邻近区域的影响等),因而经常出现评价结果与人的主观感觉不一致的情况。

    SSIM是一种评价图像质量的主观评价指标,其值介于0~1之间,越接近1说明与原图越相似。SSIM算法在设计上考虑到了图像的结构信息在人的感知上的变化,该模型还引入了一些与感知上的变化有关的感知现象和结构信息,结构信息指的是像素之间有着内部的依赖性,尤其是空间上靠近的像素点。这些依赖性携带着目标对象视觉感知上的重要信息,因此SSIM比PSNR更适于评价图像的感知效果。

    可学习的感知相似度(LPIPS)于2018年被提出,是一种基于学习的感知相似性度量指标。与感知损失类似,其方法是:使用预训练网络(如VGG和Alex)的某些层得到特征图,然后再训练另一个精心设计的网络,网络输出特征图的距离,距离越小说明感知质量越好。实验证明感知相似度比传统相似性度量方法更好。近年来,这一指标多用于GAN网络生成的图像的评价。相比于PSNR、SSIM指标,LPIPS更能反映出由GAN所生成的图像的感知优势。

    实验从Flickr2K数据集中选取了7张图片进行测试,在4倍上采样因子下,将本文的算法结果与Bicubic、SRCNN、SRGAN的重建结果进行了对比,重建效果展示见图7,对比指标有PSNR、SSIM、LPIPS,对比结果见表3表4表5,表中最优结果均加粗显示。

    图  7  重建效果对比
    Figure  7.  Comparison of reconstruction effects
    表  3  PSNR对比结果
    Table  3.  PSNR comparison results
    abcdefg
    Bicubic25.929531.877328.633324.457524.869325.569021.9727
    SRCNN26.777133.663330.239826.306726.249125.796622.3688
    SRGAN24.549228.584123.490417.937220.794724.959621.1357
    本文26.832634.626130.430826.538327.461526.687522.3342
    下载: 导出CSV 
    | 显示表格
    表  4  SSIM对比结果
    Table  4.  SSIM comparison results
    abcdefg
    Bicubic0.71390.86790.84890.68540.64120.50140.4729
    SRCNN0.76200.89370.88420.78030.70030.53970.5293
    SRGAN0.74560.82980.80300.61960.63120.53930.5257
    本文0.76820.90110.89620.77200.71260.54120.5329
    下载: 导出CSV 
    | 显示表格
    表  5  LPIPS对比结果
    Table  5.  LPIPS comparison results
    abcdefg
    Bicubic0.17700.11370.13210.39480.21540.29840.3156
    SRCNN0.12580.06030.06870.25210.13410.27340.2818
    SRGAN0.11530.04360.05210.21730.09470.23640.2767
    本文0.07600.03820.04810.18820.08120.22690.2222
    下载: 导出CSV 
    | 显示表格

    表3表4表5可见,本文算法在PSNR、SSIM两项指标对比中,7个样本中有6个样本优于对比算法,在基于学习的感知评价指标LPIPS上则全面优于对比算法。同时可以看到,Bicubic和SRCNN在PSNR、SSIM指标上优于SRGAN,而SRGAN则在LPIPS指标上优于Bicubic和SRCNN。本文算法则在保持高的PSNR、SSIM值的情况下,同时拥有较低的LPIPS值。

    本文提出了一种基于迭代反向投影的感知增强SR模型,设计了双尺度自适应加权融合特征提取模块、基于深度反向投影的重建模块以及具有U-net结构的增强模块。结合像素间的损失和LPIPS指标作为损失函数。实验和指标评价表明,相比于SRCNN模型只追求高的PSNR和SSIM值,SRGAN模型只追求高的感知质量而不顾图像细节的忠实性,本文所提出的模型能够在保持较高PSNR和SSIM值的情况下,同时获得较好的感知质量。

  • 图  1   网络总体结构

    Figure  1.   Overall structure of network

    图  2   特征提取模块

    Figure  2.   Feature extraction module

    图  3   重建模块

    Figure  3.   Reconstruction module

    图  4   上采样块与下采样块

    Figure  4.   Up-sampling block and down-sampling block

    图  5   增强模块

    Figure  5.   Enhanced module

    图  6   损失函数曲线

    Figure  6.   Loss function curve

    图  7   重建效果对比

    Figure  7.   Comparison of reconstruction effects

    表  1   特征提取模块中各卷积核通道数

    Table  1   Number of each convolution kernel channel in feature extraction module

    卷积核Conv1Conv2Conv3Conv4Conv5Conv6
    通道数32326464128512
    下载: 导出CSV

    表  2   各采样块通道数

    Table  2   Number of each sampling block channel

    采样块Up-block1Down-block1Up-block2Down-block2Up-block3Down-block3Up-block4
    通道数88816244064
    下载: 导出CSV

    表  3   PSNR对比结果

    Table  3   PSNR comparison results

    abcdefg
    Bicubic25.929531.877328.633324.457524.869325.569021.9727
    SRCNN26.777133.663330.239826.306726.249125.796622.3688
    SRGAN24.549228.584123.490417.937220.794724.959621.1357
    本文26.832634.626130.430826.538327.461526.687522.3342
    下载: 导出CSV

    表  4   SSIM对比结果

    Table  4   SSIM comparison results

    abcdefg
    Bicubic0.71390.86790.84890.68540.64120.50140.4729
    SRCNN0.76200.89370.88420.78030.70030.53970.5293
    SRGAN0.74560.82980.80300.61960.63120.53930.5257
    本文0.76820.90110.89620.77200.71260.54120.5329
    下载: 导出CSV

    表  5   LPIPS对比结果

    Table  5   LPIPS comparison results

    abcdefg
    Bicubic0.17700.11370.13210.39480.21540.29840.3156
    SRCNN0.12580.06030.06870.25210.13410.27340.2818
    SRGAN0.11530.04360.05210.21730.09470.23640.2767
    本文0.07600.03820.04810.18820.08120.22690.2222
    下载: 导出CSV
  • [1]

    DONG C, LOY C C, HE K, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,38(2):295-307.

    [2]

    HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2016: 770-778.

    [3]

    KIM J, KWON L J, MU L K. Deeply-recursive convolutional network for image super-resolution[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2016: 1637-1645.

    [4]

    TAI Y, YANG J, LIU X. Image super-resolution via deep recursive residual network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2017: 3147-3155.

    [5]

    DONG C, LOY C C, TANG X. Accelerating the super-resolution convolutional neural network[C]//European Conference on Computer Vision. Switzerland: Springer Cham, 2016: 391-407.

    [6]

    SHI W, CABALLERO J, HUSZÁR F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2016: 1874-1883.

    [7]

    GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[J]. Advances in Neural Information Processing Systems. 2014, 3: 2672-2680.

    [8]

    LEDIG C, THEIS L, HUSZÁR F, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2017: 4681-4690.

    [9]

    CHOI J H, KIM J H, CHEON M, et al. Deep learning-based image super-resolution considering quantitative and perceptual quality[J]. Neurocomputing,2020,398:347-359. doi: 10.1016/j.neucom.2019.06.103

    [10]

    HUANG G, LIU Z, VAN DER MAATEN L, et al. Densely connected convolutional networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2017: 4700-4708.

    [11]

    ZHANG R, ISOLA P, EFROS A A, et al. The unreasonable effectiveness of deep features as a perceptual metric[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2018: 586-595.

    [12]

    VU T, VAN NGUYEN C, PHAM T X, et al. Fast and efficient image quality enhancement via desubpixel convolutional neural networks[C]//Proceedings of the European Conference on Computer Vision (ECCV). Switzerland: Springer Cham, 2018.

    [13]

    HARIS M, SHAKHNAROVICH G, UKITA N. Deep back-projection networks for super- resolution[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2018: 1664-1673.

    [14]

    ZHAO Y, WANG R G, JIA W, et al. Iterative projection reconstruction for fast and efficient image upsampling[J]. Neurocomputing,2017,226:200-211. doi: 10.1016/j.neucom.2016.11.049

    [15]

    RONNEBERGER O, FISCHER P, BROX T. U-net: convolutional networks for biomedical image segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Switzerland: Springer Cham, 2015: 234-241.

    [16]

    MAO X J, SHEN C, YANG Y B. Image restoration using very deep convolutional encoder-decoder networks with symmetric skip connections[C]. [S.l.]: arXiv preprint arXiv, 2016: 1603.09056.

    [17]

    ISOLA P, ZHU J Y, ZHOU T, et al. Image-to-image translation with conditional adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2017: 1125-1134.

    [18]

    LIU L, JIANG H, HE P, et al. On the variance of the adaptive learning rate and beyond[C]. [S.l.]: arXiv preprint arXiv, 2019: 1908.03265.

    [19]

    ZHANG M, LUCAS J, BA J, et al. Lookahead optimizer: k steps forward, 1 step back[C]//Advances in Neural Information Processing Systems. Switzerland: Springer, Cham, 2019: 9597-9608.

  • 期刊类型引用(3)

    1. 陈清江,王巧莹. 多局部残差连接注意网络的图像去模糊. 应用光学. 2023(02): 337-344 . 本站查看
    2. 莫民静. 高层建筑边缘空间BIM透视式增强现实重建模型. 粉煤灰综合利用. 2023(05): 133-139 . 百度学术
    3. 张乾闯,郭晨霞,杨瑞峰,陈晓乐. 基于轻量级网络的光纤环图像超分辨率重建. 应用光学. 2022(05): 913-920 . 本站查看

    其他类型引用(2)

图(7)  /  表(5)
计量
  • 文章访问数:  568
  • HTML全文浏览量:  230
  • PDF下载量:  39
  • 被引次数: 5
出版历程
  • 收稿日期:  2021-01-24
  • 修回日期:  2021-04-05
  • 网络出版日期:  2021-06-14
  • 刊出日期:  2021-07-20

目录

/

返回文章
返回