基于多尺度双阶段网络的图像超分辨率重建

陈清江, 尹乐璇, 邵罗仡

陈清江, 尹乐璇, 邵罗仡. 基于多尺度双阶段网络的图像超分辨率重建[J]. 应用光学, 2023, 44(6): 1343-1354. DOI: 10.5768/JAO202344.0602004
引用本文: 陈清江, 尹乐璇, 邵罗仡. 基于多尺度双阶段网络的图像超分辨率重建[J]. 应用光学, 2023, 44(6): 1343-1354. DOI: 10.5768/JAO202344.0602004
CHEN Qingjiang, YIN Lexuan, SHAO Luoyi. Image super-resolution reconstruction based on multi-scale two-stage network[J]. Journal of Applied Optics, 2023, 44(6): 1343-1354. DOI: 10.5768/JAO202344.0602004
Citation: CHEN Qingjiang, YIN Lexuan, SHAO Luoyi. Image super-resolution reconstruction based on multi-scale two-stage network[J]. Journal of Applied Optics, 2023, 44(6): 1343-1354. DOI: 10.5768/JAO202344.0602004

基于多尺度双阶段网络的图像超分辨率重建

基金项目: 国家自然科学基金(61902304);陕西省自然科学基础研究计划(2021JQ-495)
详细信息
    作者简介:

    陈清江(1966—),男,博士,教授,主要从事小波分析、图像处理与信号处理研究。E-mail:chen66xanat@126.com

    通讯作者:

    尹乐璇(1999—),女,硕士研究生,主要从事小波分析、图像处理与信号处理研究。E-mail:2470779701@qq.com

  • 中图分类号: TN919.81; TP391.4

Image super-resolution reconstruction based on multi-scale two-stage network

  • 摘要:

    针对目前图像超分辨率重建算法中所存在的特征信息提取不充分、重建图像细节信息模糊等问题,提出了一种多尺度双阶段网络来实现图像的超分辨率重建。首先,考虑到单尺度卷积层会出现特征信息提取不充分的现象,故而以多尺度卷积层为大体框架,设计网络模型;其次,考虑到重建后的图像效果,将整体网络分为2个阶段,第1阶段根据输入的低分辨率图像进行特征信息的提取和重建,第2阶段对重建后的图像进行更深一步的特征细化,从而提高重建图像的视觉效果;整体网络中还引入了跳跃连接和注意力模块,以加强特征信息的有效传播;最后,以数据集Set5、Set14、Urban100、BSDS100和Manga109作为测试集展开实验,峰值信噪比和结构相似度作为图像质量的评价指标。实验结果表明,二者的值相比以往均有所提高,且重建图像视觉效果较好。因此,该算法在客观评价和主观视觉上都取得了较好的结果。

    Abstract:

    Aiming at the problems of the insufficient feature information extraction and the blurring of the reconstructed image details in current image super-resolution reconstruction algorithm, a multi-scale two-stage network was proposed to realize image super-resolution reconstruction. First of all, considering the phenomenon of insufficient feature information extraction in single-scale convolution layer, a network model was designed based on the general framework of multi-scale convolution layer.Secondly, considering the effect of the reconstructed image, the whole network was divided into two stages: the first stage was to extract and reconstruct the feature information according to the input low-resolution image, and the second stage was to further refine the features of the reconstructed image, so as to improve the visual effect of the reconstructed image. Jump connection and attention module were also introduced in the overall network to enhance the effective transmission of feature information. Finally, the data sets Set5, Set14, Urban100, BSDS100 and Manga109 were used as the test sets of the experiment, and the peak signal-to-noise ratio and the structural similarity were used as the evaluation indicators of image quality. The experiment shows that the values of both are improved and the visual effect of reconstructed image is good. Therefore, the algorithm has achieved good results in both objective evaluation and subjective vision.

  • 某型号星载光谱仪聚焦于陆地生态系统植被和森林蓄积量探测,利用670 nm~780 nm谱段的光谱获取空间连续分布的植被荧光信号,得到太阳诱导植被荧光遥感数据,从而准确绘制植被荧光时空分布规律,满足全球植被定量监测、森林植被生产力评估的需求。光谱仪采用光栅作为色散元件,由于分光系统的存在,系统会残余较大畸变,导致数据处理困难,星载光谱仪为了校正系统的畸变,成像透镜设计为离轴透射式光学系统,系统存在3个光轴,光轴之间倾斜量达到0.606°,偏心量达到0.279 mm,增加了装调的难度。

    光学系统的质量和光学元件的装调精度息息相关,国内外调研结果表明,透射式系统装调方法多为双光路定心法,定心仪测试透镜表面球心的跳动量给出球心位置,球心连线确定光轴,装调时最小化不同透镜光轴的偏心和倾斜,达到系统设计指标[1-6]。双光路定心法只适用于同轴透射式系统,对于离轴透射式系统的装调方法未见相关报道。光谱仪成像系统最大倾斜量超出了定心仪的装调范围,无法应用双光路定心法。针对这个难题提出了一种多基准轴的定心装调方法(MAA),通过结构预置偏心和倾斜的方法构建基准轴,利用光学平板实现光轴引出,将复杂的多光轴系统装调分解成单光轴系统装调,实现了离轴透射式光学系统的高精度装调。实测结果验证了该方法的有效性,为离轴透射式系统装调开拓了新的思路。

    光谱仪采用光栅和棱镜作为色散元件,成像组件采用离轴透射式系统,补偿由光栅和棱镜引起的畸变,可实现系统的畸变最小化。成像组件包含3个光轴,光轴之间存在偏心和倾斜,如图1所示。透镜1和透镜2组成光轴1,透镜3和透镜4组成光轴2,透镜5为光轴3。光轴1和光轴2倾角为0.262°,偏心量为0.279 mm,光轴3相对于光轴1倾角为0.606°,参数如表1所示。

    图  1  成像光学系统示意图
    Figure  1.  Schematic diagram of imaging optical system
    表  1  透镜的偏心和倾斜参数
    Table  1.  Parameters of lens eccentricity and tilt
    透镜偏心X偏心Y/mm倾斜X倾斜Y/(°)
    透镜10000
    透镜20000
    透镜30−0.2790−0.262
    透镜40−0.2790−0.262
    透镜5000−0.606
    下载: 导出CSV 
    | 显示表格

    畸变是实际像高和理想像高的偏差,根据δ初级像差理论,像差分为5种初级像差,以5个塞得和数表示。畸变是主光线的垂轴像差,表达式为

    $$\delta Y' = - \dfrac{1}{{2n'u'}} \displaystyle\sum \limits_{i = 1}^k {S_{\rm{V}}}$$ (1)

    根据塞得和数表达式:

    $$ \displaystyle\sum \limits_{i = 1}^k {S_{\rm{I}}} = \displaystyle\sum \limits_{i = 1}^k luni\left( {i - i'} \right)\left( {i' - u} \right)$$ (2)
    $$ \displaystyle\sum \limits_{i = 1}^k {S_{{\rm{III}}}} = \displaystyle\sum \limits_{i = 1}^k {S_{{\rm{II}}}}\dfrac{{{i_{\textit{z}}}}}{i} = {S_{\rm{I}}}\dfrac{{{i_{\textit{z}}}^2}}{{{i^2}}}$$ (3)
    $$ \displaystyle\sum \limits_{i = 1}^k {S_{{\rm{IV}}}} = \displaystyle\sum \limits_{i = 1}^k {J^2}\dfrac{{n' - n}}{{n'nr}}$$ (4)
    $$ \displaystyle\sum \limits_{i=1}^{k}{S}_{\rm{V}}= \displaystyle\sum\limits _{i=1}^{k}({S}_{\rm{III}}+{S}_{\rm{IV}})\dfrac{{i}_{{\textit{z}}}}{i} $$ (5)

    推导得出光学系统的畸变表达式:

    $$ \begin{split} \delta {Y^\prime } = & - \dfrac{1}{{2n'u'}}\displaystyle\sum\limits_{i = 1}^k {\Bigg(luni\left( {i - {i^\prime }} \right)\left( {{i^\prime } - u} \right)\dfrac{{{i_{\textit{z}}}^2}}{{{i^2}}} + } \\ & nu{y^2}\dfrac{{{n^\prime } - n}}{{n'nr}}\Bigg)\dfrac{{{i_{\textit{z}}}}}{i} \end{split}$$ (6)

    简化后的畸变表达式为

    $$ \begin{split} \delta {Y^\prime } = & - \dfrac{1}{{2n'u'}} \displaystyle\sum \limits_{i = 1}^k \Bigg(\dfrac{{n\left( {{n^\prime } - n} \right)\left( {n - nr - {n^\prime }r} \right)lu}}{{{n^\prime }^2(l - r)}}{i_{\textit{z}}}^3+\\ & + \dfrac{{({n^\prime } - n{\rm{)}}u{y^2}}}{{l - r}}{i_{\textit{z}}}\Bigg) \end{split}$$ (7)

    式中:nn′为折射率;k为光学元件的数量;r为曲率半径;u为数值孔径;y为像高;${i_{\textit{z}} }$为主光线和光轴的夹角。由公式(7)可知畸变与主光线和光轴的夹角以及像高正相关,本系统中数值孔径和像高无法改变,为了纠正畸变,透镜系统设计为离轴透射式系统,改变主光线和光轴的夹角。装调过程中精确控制离轴透镜组的倾角可有效控制畸变。

    将实测的透镜曲率半径和中心厚度输入到光学系统优化设计软件中[7-8],重新对系统镜间距和偏心进行优化,以光轴1为基准,根据畸变计算光轴2和光轴3的失调量敏感度,如图2所示。结果表明,当畸变小于3 μm时,透镜偏心公差需小于0.05 mm,倾斜公差小于60″,镜间距公差小于0.05 mm,根据以往研究结果,直接装配无法满足系统要求[9-10]

    图  2  畸变和失调量对应关系
    Figure  2.  Relationship between distortion and misadjustment

    系统装调过程为最小化偏心以及倾斜量误差最小的过程,透镜组光轴偏差达到0.606°,超出了定心仪的测试范围,需要在系统中引入新的装调基准。考虑到装调公差相对宽松,提出了在透镜筒结构上一体化加工基准轴,预置光轴的倾斜量和偏差量,光学平板引出结构基准轴,应用OptiCentric双光路定心仪在新的基准轴上装调,将多光轴系统的装调分解成单光轴子系统装调,系统的装调流程如图3所示。

    图  3  成像系统装调流程
    Figure  3.  Assembly and adjustment process of imaging system

    机床定心可去除光学件加工过程中产生的偏心和倾斜[11],将透镜框的安装端面和透镜框的外圆加工成和光轴一致,如图4所示。固定透镜组件到机床上,千分表测量透镜框外圈的圆跳动,调整使其和机床同轴,通过光学定心方法调整透镜的偏心和倾斜,使其光轴和机床转轴重合,加工透镜框的外圆和端面与透镜光轴重合。

    图  4  机床定心示意图
    Figure  4.  Schematic diagram of machine tool centring

    系统包含2个同轴透镜组,单透镜机床定心完成后,选用OptiCentric双光路定心仪进行定心装调[12]。调整透镜1的光轴与定心仪的旋转轴一致,安装透镜2,通过垫片和侧面顶丝调整透镜2的光轴与定心仪的旋转轴一致,如图5图6所示。同理装调透镜3和透镜4组件。

    图  5  同轴装调方法
    Figure  5.  Coaxial assembly and adjustment method
    图  6  同轴装调实物图
    Figure  6.  Diagram of coaxial assembly and adjustment

    系统包含3个光轴,最大偏差0.606°,镜筒一体化加工预置偏心和倾斜,构建3个基准轴,建立装调基准。如图7所示,基准轴1和镜筒外径同轴,基准轴2相对于基准轴1的夹角为0.262°,偏心量为0.279 mm,基准轴3相对于基准轴1的夹角为0.606°。

    图  7  成像透镜框设计
    Figure  7.  Design of imaging lens frame

    基准轴的加工精度直接影响系统的装调精度,基准轴偏差计算公式为

    $$ {\rm{\alpha }} = \dfrac{{{h_1} - {h_2}}}{D} $$ (8)

    式中:$ \alpha$为基准轴倾角;$ {h_1} $$ {h_2} $为基准轴两侧的高度;D为基准内径。对公式(8)求导可得:

    $$ {\rm{\delta \alpha }} = \dfrac{1}{D}(\delta {h_1} - \delta {h_2}) - \dfrac{{{h_1} - {h_2}}}{{{D^2}}}\delta D $$ (9)

    其中内径D为100 mm,对应0.606°的倾角,基准轴两侧的高度差为1.06 mm,公式(9)第2项相对于第1项可以忽略。提高基准轴精度的关键是控制$ {h_1}$$ {h_2}$的加工精度,加工过程中重点保证基准面的高度差,加工完成后,高精度三坐标测量机测试表明,偏心公差优于0.02 mm,倾斜公差优于30″,能够满足基准轴引出精度要求。

    装调过程如图8图9所示。将镜筒固定在双光路定心仪的转台上,采用光学平板将光轴1引出,结合杠杆千分表调整光轴和定心仪同轴,倾斜量小于10″,圆跳动量小于0.015 mm,作为光轴1的基准轴。安装透镜1和透镜2组件,调整到倾斜偏差小于10″,偏心误差小于0.015 mm。将镜筒翻转180°,通过光学平板和杠杆千分表引出光轴2,作为透镜3和透镜4组件的安装基准。安装透镜3和透镜4组件时,调整倾斜偏差小于10″,偏心小于0.015 mm。光学平板引出光轴3,安装透镜5组件,调整到倾斜偏差小于10″,偏心误差小于0.015 mm,完成系统偏心和倾斜的装调。

    图  8  成像镜头装调过程
    Figure  8.  Assembly and adjustment process of imaging lens
    图  9  多基准轴装调过程
    Figure  9.  Assembly and adjustment process of multi-reference axis

    装调误差分布如图10所示。从图10可知,基准轴的引出误差为主要因素,通过进一步提高镜筒的加工精度可提高系统的装调精度。

    图  10  偏心和倾斜误差分布图
    Figure  10.  Distribution diagram of eccentricity and tilt errors

    1) 镜筒同轴度误差。镜筒的同轴度为15 μm,千分尺的测量误差为1 μm,引起的镜头偏心误差为8 μm。

    2) 镜筒基准轴偏心、倾斜误差。三坐标测量结果表明,镜筒偏心误差优于20 μm,倾斜误差优于30″。

    3) 机床主轴回转误差。机床主轴引起的倾斜误差为2″,偏心误差为3 μm。

    4) 定心仪测量误差。双光路定心仪倾斜测量误差为1″,偏心测量误差为1 μm。

    5) 同轴透镜调整误差。透镜1和透镜2组件,透镜3和透镜4组件为同轴系统,调整误差较小,偏心可控制在10 μm,倾斜控制在10″。

    6) 离轴透镜调整误差。透镜倾斜调整误差为10″,偏心调整误差为15 μm。

    7) 光学平板接触误差。光学平板平面度优于10 nm,光学平板和结构面接触误差优于10 μm,镜筒的内径为100 mm,引起镜头倾斜偏差为20.6″。

    综合以上误差,可计算得出透镜组的倾斜误差优于38.8″,偏心误差优于28.3 μm,满足系统的指标要求。

    同轴透射式系统的镜间距通过测试球面顶点得到[13],球面顶点同时也是透镜的最高点或者最低点,对于离轴系统,透镜表面的最高点和最低点不再位于球面顶点,偏差量和倾斜偏心量相关,如图11所示。球面顶点A和表面最高点A′之间距离X如下式所示:

    $$X = R - R \times {\rm{cos}}a$$ (10)

    式中:a为透镜的倾角;R为球面曲率半径。

    图  11  镜间距测试原理
    Figure  11.  Schematic diagram of lens distance test

    根据公式(10)计算得出透镜最高点距离和透镜间距的差值如表2所示。

    表  2  镜间距和测试距离对应表
    Table  2.  Corresponding lens distance and test distance
    ItemLens1 & Lens2Lens2 & Lens3Lens3 & Lens4Lens4 & Lens5
    Distance between vertex of lens/mm 1.800 50.765 25.248 6.928
    Distance between lens/mm 1.800 50.763 25.248 6.923
    Difference/mm 0 0.002 0 0.005
    下载: 导出CSV 
    | 显示表格

    在多基准轴装调过程中,通过接触式方法测量镜间距[14-15],如图12所示。首先测量透镜1和透镜2之间的镜间距以及透镜3和透镜4之间的镜间距,将透镜2的光轴调整到和双光路定心仪的转台同轴,通过探针分别测量透镜1和透镜2上表面的顶点高度d1d2。透镜1和透镜2的镜间距计算方法如下式:

    图  12  镜间距测试过程
    Figure  12.  Test process of lens distance
    $${D_{12}} = {d_2} - {d_1} - {D_2}$$ (11)

    式中:D2为透镜2的中心厚度;D3为透镜3的中心厚度。同理测量透镜3和透镜4镜间距D34

    透镜1和透镜2组件安装到镜筒中,测量透镜2的上表面最高点H2,安装透镜3和透镜4组件,测量透镜4上表面最高点H4,透镜2和透镜3的镜间距D23如下式:

    $${D_{23}} = {H_4} - {H_2} - {D_{34}} - {D_3} - {D_4}$$ (12)

    同理测量透镜4和透镜5镜间距D45系统装调后实物图如图13所示。

    图  13  成像镜头实物图
    Figure  13.  Diagram of imaging lens

    镜间距测量误差如表3所示。探针2次测量得出镜间距,系统装调倾斜误差优于38.8″,偏心误差优于28.3 μm,引起的镜间距测量误差≤1 μm,综合两种测量误差,镜间距测量误差≤14.2 μm,满足系统指标要求。

    表  3  镜间距测量误差
    Table  3.  Measurement error of lens distance
    误差源探针单点测量
    误差/μm
    偏心倾斜引起的
    误差/μm
    镜间距
    误差/μm
    数值10114.2
    下载: 导出CSV 
    | 显示表格

    系统装调完成后,分别测试光轴1,光轴2和光轴3,因为光轴1和光轴3的夹角为0.606°,超出了定心仪的测量范围,采用分段测试的方式,分别测试光轴1和光轴2的偏差,光轴2和光轴3的偏差,测试结果如表4表5所示,与设计结果的偏差如表6所示。最大偏心误差为25.4 μm,最大倾斜误差为17.7″,实际畸变和理论畸变对比如图14所示。从图14可看出,最大畸变为2.77 μm,平均偏差0.32 μm,系统装调结果满足指标要求。

    表  4  透镜1和透镜2组件以及透镜3和透镜4组件的偏心倾斜
    Table  4.  Eccentricity and tilt of lens 1, 2 and lens 3, 4
    ParametersDecenter X/μmDecenter Y/μmTilt X/(″)Tilt Y/(″)
    Axis10000
    Axis2−10.4−297.5−3.3−960.9
    下载: 导出CSV 
    | 显示表格
    表  5  透镜3和透镜4组件以及透镜5组件的偏心倾斜
    Table  5.  Eccentricity and tilt of lens 3, 4 and lens 5
    Decenter X/μmDecenter Y/μmTilt X/(″)Tilt Y/(″)
    Axis20000
    Axis3−9.1−253.5−17.6−1232.1
    下载: 导出CSV 
    | 显示表格
    表  6  透镜组的偏心倾斜偏差
    Table  6.  Eccentricity and tilt deviation of lens
    DifferenceDecenter X/μmDecenter Y/μmTilt X/(″)Tilt Y/(″)
    Axis10000
    Axis2−10.4−18.5−3.3−17.7
    Axis31.325.4−14.36.3
    下载: 导出CSV 
    | 显示表格
    图  14  理论畸变和实际畸变对比图
    Figure  14.  Comparison of theoretical and actual distortion

    本文提出了一种新的离轴透射式系统的装调方法——多基准轴定心装调方法(MAA),克服传统的同轴透射系统定心装调缺陷,通过结构预置偏心和倾斜的方法构建基准轴,并辅助光学平板将复杂的多光轴系统装调分解成单光轴系统装调,利用此方法装调了光谱仪多光轴成像系统。装调结果表明,透镜偏心误差小于25.4 μm,倾斜误差小于17.7″,实现了系统的高精度装调。本装调方法不受定心仪测量范围的限制,可针对任意光轴的透射系统进行装调,突破了传统透射式装调方法的边界,为离轴透射式系统装调开拓了新的思路。

  • 图  1   网络流程

    Figure  1.   Network process

    图  2   多尺度卷积层

    Figure  2.   Multiscale convolution layer

    图  3   网络整体结构

    Figure  3.   Overall network structure

    图  4   残差组合块

    Figure  4.   Residual combination block

    图  5   深度特征提取块

    Figure  5.   Depth feature extraction block

    图  6   混洗单元

    Figure  6.   Shuffle unit

    图  7   特征细化模块

    Figure  7.   Feature refinement module(FRM)

    图  8   二倍放大因子下的损失函数曲线图

    Figure  8.   Loss function curve under double magnification factor

    图  9   不同算法训练时间的比较

    Figure  9.   Comparison of training time for different algorithms

    图  10   放大因子为2时不同算法的视觉效果图

    Figure  10.   Visual effect pictures of different algorithms when magnification factor is 2

    图  11   数据集RealSR上的不同算法对比效果图

    Figure  11.   Comparison effect of different algorithms on dataset RealSR

    图  12   数据集RealSR上的失败案例

    Figure  12.   Failure cases on dataset RealSR

    图  13   不同损失函数的视觉效果图

    Figure  13.   Visual renderings of different loss functions

    表  1   不同算法的PSNR和SSIM值对比

    Table  1   Comparison of PSNR and SSIM values of different algorithms

    算法尺寸时间/sSet5Set14Urban100BSDS100Manga109
    PSNR/SSIMPSNR/SSIMPSNR/SSIMPSNR/SSIMPSNR/SSIM
    Bicubic2-33.66/0.929930.24/0.868826.88/0.840331.27/0.837730.30/0.9339
    SRCNN20.1836.66/0.952432.42/0.906329.50/0.894631.38/0.857035.74/0.9661
    FSRCNN20.0737.00/0.956032.63/0.908929.87/0.902032.83/0.900036.65/0.9709
    ESPCN20.0537.04/0.953033.40/0.915030.79/0.903733.55/0.905935.48/0.9666
    VDSR20.1337.53/0.958733.03/0.912430.76/0.914033.56/0.903137.22/0.9729
    SRResnet20.1237.58/0.954233.71/0.916532.07/0.895833.86/0.909535.73/0.9590
    本文算法20.1239.09/0.965834.53/0.925532.71/0.924134.52/0.920937.68/0.9727
    Bicubic3-30.39/0.868227.55/0.774224.46/0.734927.80/0.763526.95/0.8556
    SRCNN30.1832.75/0.909029.28/0.820926.24/0.798929.07/0.770230.59/0.9107
    FSRCNN30.0333.16/0.913929.43/0.824226.43/0.808029.11/0.753831.10/0.9210
    ESPCN30.0233.13/0.915629.49/0.845128.08/0.808030.91/0.827430.54/0.8949
    VDSR30.1333.66/0.921329.77/0.831427.14/0.827930.79/0.820432.01/0.9310
    SRResnet30.1233.91/0.918030.70/0.846528.24/0.810331.06/0.830030.88/0.8964
    本文算法30.1135.20/0.932231.50/0.864329.21/0.870031.65/0.879232.73/0.9429
    Bicubic4-28.42/0.810426.00/0.702723.14/0.655726.50/0.700324.89/0.7866
    SRCNN40.1830.48/0.862827.50/0.751324.52/0.722127.60/0.712027.58/0.8555
    FSRCNN40.0230.71/0.866027.59/0.754924.62/0.728028.36/0.722327.90/0.8610
    ESPCN40.0130.90/0.830627.73/0.762726.06/0.713228.92/0.744227.32/0.8153
    VDSR40.1231.25/0.833028.02/0.768025.18/0.754029.09/0.755828.83/0.8770
    SRResnet40.1132.05/0.901928.49/0.818426.75/0.746229.60/0.774328.48/0.8411
    本文算法40.1032.75/0.900129.66/0.815427.44/0.789429.94/0.795229.86/0.8846
    下载: 导出CSV

    表  2   不同损失函数在Set5上的PSNR和SSIM值

    Table  2   PSNR and SSIM values of different loss functions on Set5

    参数$ {L_2} $$ \alpha $=0.01$ \alpha $=0.1$ \alpha $=0.4$ \alpha $=0.5$ \alpha $=0.6
    PSNR39.0638.8938.9238.8839.0938.85
    SSIM0.96470.96010.96200.96450.96580.9640
    下载: 导出CSV

    表  3   Set5上的PSNR和SSIM值

    Table  3   PSNR and SSIM values on Set5 h

    参数MSTSRNMSTSRN-
    RCB
    MSTSRN-
    DFEB
    MSTSRN-
    FRM
    PSNR39.0938.6739.0038.84
    SSIM0.96580.96140.95530.9629
    时间/s34.2036.6721.6631.33
    下载: 导出CSV
  • [1] 史振威, 雷森. 图像超分辨重建算法综述[J]. 数据采集与处理,2020,35(1):1-20.

    SHI Zhenwei, LEI Sen. Overview of image super resolution reconstruction algorithms[J]. Data Acquisition and Processing,2020,35(1):1-20.

    [2]

    MENG B Y, HONG J W, MENG Y L, et al. Overview of research on image super-resolution reconstruction[C]//2021 IEEE International Conference on Information Communication and Software Engineering (ICICSE). New York: IEEE, 2021: 131-135.

    [3]

    DONG C, LOY C C, HE K, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,38(2):295-307.

    [4]

    DONG C, LOY C C, TANG X. Accelerating the super-resolution convolutional neural network[C]//European Conference on Computer Vision. Switzerland: Springer, Cham, 2016: 391-407.

    [5]

    SHI W, CABALLERO J, HUSZÁR F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2016: 1874-1883.

    [6]

    WANG W, HU Y, LUO Y, et al. Brief survey of single image super-resolution reconstruction based on deep learning approaches[J]. Sensing and Imaging,2020,21(1):1-20. doi: 10.1007/s11220-019-0262-y

    [7]

    HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2016: 770-778.

    [8]

    KIM J, LEE J K, LEE K M. Accurate image super-resolution using very deep convolutional networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2016: 1646-1654.

    [9]

    KIM J, LEE J K, LEE K M. Deeply-recursive convolutional network for image super-resolution[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2016: 1637-1645.

    [10]

    SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[EB/OL]. (2015-04-10)[2023-01-15]. https://browse.arxiv.org/pdf/1409.1556.pdf.

    [11] 周登文, 赵丽娟, 段然, 等. 基于递归残差网络的图像超分辨率重建[J]. 自动化学报,2019,45(6):1157-1165.

    ZHOU Dengwen, ZHAO Lijuan, DUAN Ran, et al. Image super-resolution reconstruction based on recursive residual networks[J]. Journal of Automation,2019,45(6):1157-1165.

    [12] 郭继昌, 吴洁, 郭春乐, 等. 基于残差连接卷积神经网络的图像超分辨率重构[J]. 吉林大学学报(工学版),2019,49(5):1726-173.

    GUO Jichang, WU Jie, GUO Chunle, et al. Image super-resolution reconstruction based on residual connection convolutional neural network[J]. Journal of Jilin University (Engineering Edition),2019,49(5):1726-173.

    [13]

    LIM B, SON S, KIM H, et al. Enhanced deep residual networks for single image super-resolution[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. New York: IEEE, 2017: 136-144.

    [14] 张敏, 黄刚, 陈啟超. 基于残差学习的图像超分辨率重构方法[J]. 计算机技术与发展,2021,31(8):51-56. doi: 10.3969/j.issn.1673-629X.2021.08.009

    ZHANG Min, HUANG Gang, CHEN Qichao. Image super-resolution reconstruction method based on residual learning[J]. Computer Technology and Development,2021,31(8):51-56. doi: 10.3969/j.issn.1673-629X.2021.08.009

    [15] 张健, 何京璇, 王容. 基于CNN和Resblock的图像超分辨率重建算法[J]. 信息技术与网络安全,2019,38(7):54-59.

    ZHANG Jian, HE Jingxuan, WANG Rong. Image super-resolution reconstruction algorithm based on CNN and Resblock[J]. Information Technology and Network Security,2019,38(7):54-59.

    [16]

    ZHANG Y, TIAN Y, KONG Y, et al. Residual dense network for image super-resolution[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018: 2472-2481.

    [17]

    ZHANG Y, LI K, LI K, et al. Image super-resolution using very deep residual channel attention networks[C]//Proceedings of the European Conference on Computer Vision (ECCV). [S. l. ]: Arxiv, 2018: 286-301.

    [18] 魏静波. 残差密集注意力网络的超分辨率重建[J]. 电子技术与软件工程,2021(14):127-128.

    WEI Jingbo. Super-resolution reconstruction of residual dense attention networks[J]. Electronic Technology and Software Engineering,2021(14):127-128.

    [19]

    DAI T, CAI J, ZHANG Y, et al. Second-order attention network for single image super-resolution[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2019: 11065-11074.

    [20]

    NIU B, WEN W, REN W, et al. Single image super-resolution via a holistic attention network[C]//European Conference on Computer Vision. Switzerland: Springer, Cham, 2020: 191-207.

    [21] 李滔, 董秀成, 林宏伟. 基于深监督跨尺度注意力网络的深度图像超分辨率重建[J]. 电子学报,2023,51(1):128-138.

    LI Tao, DONG Xiucheng, LIN Hongwei. Deep image super-resolution reconstruction based on deep supervised cross scale attention network[J]. Journal of Electronics,2023,51(1):128-138.

    [22]

    FEI Y, LIAN F H, YAN Y. An improved PSNR algorithm for objective video quality evaluation[C]//2007 Chinese Control Conference. New York: IEEE, 2007: 376-380.

    [23]

    WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing,2004,13(4):600-612. doi: 10.1109/TIP.2003.819861

    [24]

    GREESHMA M S, BINDU V R. Super-resolution using deep networks for chest X-ray images[C]//6th International Conference on Image Information Processing, ICIIP 2021. [S. l. ]: [s. n. ], 2021: 198-201.

    [25]

    WOO S, PARK J, LEE J Y, et al. CBAM: convolutional block attention module[C]//Proceedings of the European Conference on Computer Vision (ECCV). [S. l. ]: [s. n. ], 2018: 3-19.

    [26]

    KINGMA D P, BA J. Adam: a method for stochastic optimization[EB/OL]. (2017-01-30)[2013-01-15]. https://browse.arxiv.org/pdf/1412.6980.pdf.

  • 期刊类型引用(2)

    1. 杜国军,张玉贵,崔博伦,江澄,欧宗耀. 碳卫星超光谱探测仪地面光谱定标. 光谱学与光谱分析. 2023(05): 1556-1562 . 百度学术
    2. 严冬,国成立,刘泉,黎发志,余晨阳,马洋,张宇龙,闫力松. 大数值孔径宽光谱折反式物镜设计(特邀). 红外与激光工程. 2023(09): 66-72 . 百度学术

    其他类型引用(3)

图(13)  /  表(3)
计量
  • 文章访问数:  141
  • HTML全文浏览量:  48
  • PDF下载量:  45
  • 被引次数: 5
出版历程
  • 收稿日期:  2023-01-15
  • 修回日期:  2023-07-09
  • 网络出版日期:  2023-10-13
  • 刊出日期:  2023-11-14

目录

/

返回文章
返回