基于亚像素和梯度引导的光场图像超分辨率

韦玮, 陈芬, 张华波, 罗英国, 张鹏, 彭宗举

韦玮, 陈芬, 张华波, 罗英国, 张鹏, 彭宗举. 基于亚像素和梯度引导的光场图像超分辨率[J]. 应用光学, 2024, 45(5): 956-965. DOI: 10.5768/JAO202445.0502003
引用本文: 韦玮, 陈芬, 张华波, 罗英国, 张鹏, 彭宗举. 基于亚像素和梯度引导的光场图像超分辨率[J]. 应用光学, 2024, 45(5): 956-965. DOI: 10.5768/JAO202445.0502003
WEI Wei, CHEN Fen, ZHANG Huabo, LUO Yingguo, ZHANG Peng, PENG Zongju. Light field images super-resolution based on sub-pixel and gradient guide[J]. Journal of Applied Optics, 2024, 45(5): 956-965. DOI: 10.5768/JAO202445.0502003
Citation: WEI Wei, CHEN Fen, ZHANG Huabo, LUO Yingguo, ZHANG Peng, PENG Zongju. Light field images super-resolution based on sub-pixel and gradient guide[J]. Journal of Applied Optics, 2024, 45(5): 956-965. DOI: 10.5768/JAO202445.0502003

基于亚像素和梯度引导的光场图像超分辨率

基金项目: 重庆市自然科学基金(cstc2021jcyj-msxmX0411,CSTB2022NSCQ-MSX0873); 重庆理工大学研究生教育高质量发展行动计划资助成果(gzlcx20233138,gzlcx20233081)
详细信息
    作者简介:

    韦玮(1999—),男,硕士研究生,主要从事光场超分辨率研究。E-mail:545645775@qq.com

    通讯作者:

    陈芬(1973—),女,博士、教授,主要从事图像和视频信号处理研究。E-mail:chenfen@cqut.edu.cn

  • 中图分类号: TN201;TP391.4

Light field images super-resolution based on sub-pixel and gradient guide

  • 摘要:

    针对光场相机捕获到的光场图像空间分辨率较低等问题,提出一种基于亚像素和梯度引导的光场图像超分辨率方法。设计了多重亚像素信息提取模块,该模块将子孔径图像分为水平、垂直、对角和反对角4个图像堆,并分别提取各图像堆的亚像素信息。同时,考虑到梯度先验可为预测高频细节提供有效线索,在重建过程中融合了子孔径图像的梯度多重亚像素信息。在5个公开数据库上的实验结果表明,本文方法不仅在客观指标上普遍优于现有方法,在主观视觉效果上也有更好的表现,边缘纹理细节更加清晰。

    Abstract:

    For the problem of low spatial resolution of light field images captured by light field cameras, a super-resolution method for light field images based on sub-pixel and gradient guide was proposed. A multiple sub-pixel information extraction module was designed, which divided the sub-aperture images into four image stacks: horizontal, vertical, diagonal and anti-diagonal, and extracted the sub-pixel information of each image stack separately. Meanwhile, considering that the gradient prior could provide effective clues for predicting high-frequency details, the gradient multiple sub-pixel information of the sub-aperture images was fused in the reconstruction process. Experimental results on five publicly available databases show that the proposed method not only generally outperforms the existing methods in terms of objective indexes, but also has better performance in the subjective visual effect, which the edge texture details are clearer.

  • 我国南海海域存在较多的争议岛礁,战时需要军舰对岛礁上敌方军事目标进行打击,因此需加强舰船对岸昼夜打击能力的训练。光学跟瞄作为军舰武器系统目标指示的一种重要手段,必须具备对岸目标昼夜探测跟踪能力,因此需对现有部分光学跟瞄设备进行加改装或重新设计,配装红外热像仪,使其具备昼夜观察及目标跟踪能力。

    红外系统设计首先要解决的重要问题便是工作波段的选择,选择合适的工作波段对系统的探测性能、复杂性和成本有很大影响[1]。实际工程应用中,不同波段的红外探测系统会受探测器性能、大气传输特性、目标和背景辐射特性等多个因素的影响,实际使用效果也存在较大差异。所以,在系统设计之初,需要对上述影响因素进行分析和计算,并结合相关试验数据,才能做出最合适的选择。

    在常用的红外探测器中,制冷型探测器的灵敏度要明显优于非制冷探测器,这是因为目前多数红外探测器为光子探测器,在低温下灵敏度更高、性能更好;且制冷型探测器的最高帧频可达200 Hz以上,非制冷探测器的最高帧频均在100 Hz以下,所以在高性能红外探测跟踪系统中均采用制冷型探测器,非制冷探测器则用于一般的红外观察系统[2-3]

    根据工作波段的不同, 制冷型探测器, 又分为中波制冷型探测器(3 μm~5 μm)和长波制冷型探测器(8 μm~12 μm)。两类探测器在除光谱段以外所有方面都相同的前视红外,其噪声等效温差(NETD)可大略表示其相对性能。如果假定采用背景限红外光电探测器(BLIPs),那么2个谱段的NETD比值为:

    $$ \frac{{{\left[ NETD \right]}_{3-5}}}{~{{\left[ NETD \right]}_{8-12}}}~=\frac{5D_{BLIP}^{*}\left( 12\mu \right)\int\limits_{8}^{12}{N\left( \lambda , T \right)d\lambda }}{12D_{BLIP}^{*}\left( 5\mu \right)\int\limits_{3}^{5}{N\left( \lambda , T \right)d\lambda }\text{ }} $$ (1)

    根据(1)式,代入相关参数计算得到在3 μm~5μm波段工作的前视红外的NETD值大约是在8 μm~12 μm波段工作的前视红外NETD值的约3倍[4-5]。实际中,在考虑大型焦平面凝视阵列时,由于有缺陷敏感元,上述优势大大减少,有缺陷的像元有高于特定NETD的值,提高了所有阵列的平均NETD,一般中波红外探测器单元灵敏度比长波红外探测器高2倍~3倍。因此2种波段探测器灵敏度对热像仪整机性能影响差别不大,选择时需参考目标和背景的能量辐射特性、大气传输特性及系统其他方面的要求。

    对红外热像仪整机系统来说,在光学衍射限制和同一分辨角的情况下,中波的光学口径要比长波的小一半,可显著降低红外热像仪整机的体积与质量,符合热像仪小尺寸、轻质量的发展趋势;另外,由于长波碲镉汞探测器材料固有的特性及制备技术方面的问题,长波碲镉汞焦平面探测器比中波碲镉汞焦平面探测器,在制造成本上要高很多。

    基于上述的2个主要原因,中波凝视焦平面热像仪在第三代焦平面热成像技术的发展进程中异军突起,其发展与应用速度超过同规格(单元数)的长波热像仪,这与其较高的性价比、以及体积小及质量轻的优势是密不可分的。

    通常,热像系统分辨率受到光学衍射和光学设计引起的像差的限制。在无像差系统中,最佳聚焦点的图像分辨率受到光学元件直径和聚焦辐射波长的限制。对无像差变焦系统,波长为λ的光的点源的图像将呈现为一个亮点,即由同心亮环和暗环包围的艾里斑,这种斑的直径被认为大约为:

    $$ d=2.44\times {{10}^{-6}}\lambda F~ $$ (2)

    式中:d是艾里斑的直径,单位为m;F为光学系统F数,很明显波长越小,艾里斑的直径越小,分辨率越大[6]。因此,3 μm~5 μm前视红外比8 μm~12 μm前视红外有更好的分辨率。

    对于高湿度应用环境,大量的水蒸汽强烈吸收长波红外的辐射,远距离目标长波辐射的衰减程度远大于中波辐射的衰减程度,因此中波红外在高湿环境下优于长波红外[7]。但一般而言,目标离得越近,中波红外波段的优势越弱,一般低于4 km斜距时,长波红外波段能较好地透过,可见度越低,长波红外波段比中波红外波段好。这是由于中波红外的辐射被阴霾强烈吸收。对大于8 km的斜距而言,在浓重的阴霾条件下,当可见距离减小到5 km时,2个波段的透过率是相等的。对于低于5 km以下的可见距离和低于8 km以下的斜距,长波红外波段的透过率优于中波红外波段的透过率[8]

    在热带大气模式下,分别在能见度5 km、10 km和23 km,比较计算的中波红外和长波红外大气透过率,结果如表 1所示。

    表  1  不同距离、不同能见度下的大气透过率(热带大气模式)
    Table  1.  Atmospheric transmittance of different distances and visibilities (Tropical atmosphere)
    距离/km 不同能见度下中波透过率 不同能见度下长波透过率
    5/km 10/km 23/km 5/km 10/km 23/km
    2 0.209 1 0.301 5 0.371 0 0.348 4 0.396 3 0.426 4
    4 0.079 1 0.164 1 0.248 5 0.140 2 0.182 2 0.211 5
    5 0.050 2 0.124 9 0.209 8 0.090 5 0.125 9 0.152 0
    6 0.032 2 0.096 1 0.179 1 0.059 0 0.087 9 0.110 3
    10 0.005 8 0.035 7 0.101 1 0.011 3 0.022 3 0.032 9
    20 0.000 1 0.003 6 0.028 8 0.000 2 0.000 9 0.002 1
    下载: 导出CSV 
    | 显示表格

    通常,对于跟踪系统而言,目标与背景的辐射对比度越强,越有利于目标的探测。定义目标在某个波段内的辐射出射度为MT,背景在该波段内的辐射出射度为MB,定义目标与背景辐射对比度[9]

    $$ C=\frac{{{M}_{T}}-{{M}_{B}}~}{{{M}_{B}}}~ $$ (3)
    表  2  不同温度目标在不同波段辐射通量密度
    Table  2.  Radiant flux density of different temperature targets at different wave bands
    目标温度K/℃ 总辐射通量密度/(W/cm2) 3 μm~5 μm波段辐射通量密度/(W/cm2) 8 μm~12 μm波段辐射通量密度/(W/cm2)
    300(27) 4.62×10-2 5.80×10-4 1.20×10-2
    310(27) 5.24×10-2 8.24×10-4 1.41×10-2
    下载: 导出CSV 
    | 显示表格

    对于低空探测,假定目标温度为310 k,背景温度为300 k,则中波波段辐射对比度C3-5=0.421,长波波段辐射对比度C8-12=0.175。即表明在相同目标和背景温度条件下,中波红外辐射对比度为长波红外辐射对比度的2.4倍。因此,对于背景与环境温度接近时的低空探测,中波红外热图像理论上有更好的对比度,有利于目标的探测跟踪。

    当黄昏或清晨时,太阳高度角低,海水反射太阳光辐射后有可能进入热像仪的观测视场内,太阳离散的闪耀斑对目标跟踪存在一定的干扰。由于中波辐射对比度强于长波,反射的闪耀斑干扰效应中波强于长波,因此在抗海背景杂波方面,长波优于中波[10]。但无论采用哪个波段,都应考虑采用一定的措施(如窄带滤光)减少海水反射的离散太阳光斑对跟踪的影响。

    本文针对课题需求进行了红外昼夜探测能力摸底试验,通过采集中波和长波红外探测器在不同时间段、不同气候条件下对相同目标的成像情况,分析在不同时间段、不同气候条件下表 3中2种探测器的观测能力。

    表  3  参试的红外热像仪性能参数
    Table  3.  Parameters of infrared thermal imager for testing
    工作波段/μm 探测器元数 成像分辨率 NETD/mk 视场 光学系统透过率/%
    中波红外 3~5 640×512 640×512 35 1.5°×1.2° 70
    长波红外 8~12 288×4带微扫 768×576 100 2°×1.5° 75
    下载: 导出CSV 
    | 显示表格

    选取不同距离的建筑物目标,目标1(18 km)、目标2(10 km)、目标3(7 km)、目标4(5 km),在冬季和夏季使用长波和中波红外热像仪对上述目标进行探测摸底试验,实验结果根据可探测到的目标距离及成像质量分为不同等级,用数值0~10代替,数值越大表示探测效果越好。选择能见度较高时的试验数据,将2种探测器的探测结果分别按照时刻、湿度绘制探测效果曲线对比图。

    夏季的试验结果如图 2图 3所示。

    图  2  中波与长波夏季探测效果湿度曲线对比图
    Figure  2.  Comparison of humidity curves of mid-wave infrared and long-wave infrared detection effects in summer
    图  3  中波与长波冬季探测效果时间曲线对比图
    Figure  3.  Comparison of time curve of mid-wave infrared and long-wave infrared detection effects in winter

    图 1可以看出,2种探测器在白天的探测效果均优于夜间探测效果,在下午时段探测效果最佳,分析下午探测效果较上午更好的因素有:①下午与上午相比湿度低,大气中水蒸气含量少、光谱衰减较少;②探测器探测的为建筑物的西侧,上午时段为阴面,温度较低,下午受阳光照射温度上升,目标与环境辐射对比度增大、成像效果更好;③试验目标在探测器的正东方向,上午时段探测器会受到部分太阳辐射杂光影响,造成图像模糊,对比度下降。

    图  1  中波与长波夏季探测效果时间曲线对比图
    Figure  1.  Comparison of time curves of mid-wave infrared and long-wave infrared detection effects in summer

    长波红外在夜间探测能力明显下降,尤其是凌晨以后探测效果急剧下降;中波红外夜间探测效果相对白天稍差,下降程度比长波红外小,夜间探测效果也相对较好。分析原因是由于夜间建筑物热量逐渐散发,与环境温差逐渐减小,且环境湿度增加造成红外光谱传输的衰减,大气中水蒸气对长波辐射的衰减程度更大。

    图 2可以看出,2种探测器探测效果都随湿度的增大呈降低趋势,由于大气中水蒸气对长波辐射的长波红外受湿度影响更大,中波红外受湿度影响探测效果变化相对较小。在高温高湿环境条件下,中波红外效果更好。

    冬季实验结果如图 3图 4所示。

    Figure  4.  Comparison of humidity curve of mid-wave infrared and long-wave infrared detection effects in winter

    图 3图 4可以看出,2种探测器在冬季的探测效果整体变化趋势与夏季基本一致:白天的探测效果优于夜间,下午时段探测效果最佳;随着湿度的增大,长波红外比中波红外的衰减程度更大。图 3中夜间及上午时段中波探测效果比长波好,正是由于夜间湿度增大,长波红外衰减严重所导致,与图 4所体现出的规律一致。试验结果表明在高湿环境条件下,中波红外效果更好。

    2种探测器冬季和夏季试验结果对比曲线如图 5图 6所示。

    图  5  长波冬季与夏季探测效果时间曲线对比图
    Figure  5.  Comparison of time curve of long-wave infrared detection effects in summer and winter
    图  6  中波冬季与夏季探测效果时间曲线对比图
    Figure  6.  Comparison of time curve of mid-wave infrared detection effects in summer and winter

    图 5图 6可以看出,长波红外在冬季的探测效果明显优于夏季的探测效果,中波红外冬季探测效果略优于夏季,考虑到2次试验选择的相同目标,能见度也相近,区别仅在于冬季气温要低于夏季气温,因此试验结果在一定程度表明长波红外更适用于低温环境条件下的目标探测。

    综合以上各组试验数据对比情况,在湿热的环境下中波红外效果更好,在低温干燥的环境下两种探测器效果相差不大,需结合系统的其他要求来综合考虑。

    本文从探测器性能、光学弥散斑、大气传输特性、目标与背景辐射对比度、海杂波干扰等方面将中波红外和长波红外进行了对比分析,结合课题需求,初步得出以下结论:

    a) 探测器方面,2种波段探测器对整机灵敏性影响相差不大,中波红外整机体积小、质量轻,且探测器成本比长波红外低,有利于光电跟踪系统的小型化;

    b) 中波红外艾里斑的直径更小,比长波红外有更好的分辨率;

    c) 南海属于热带大气条件,高湿高热,且对岸打击距离多在10 km以上,属于远距离探测,在上述使用条件下中波红外效果要优于长波红外;

    d) 对岸打击时,目标均为低空目标,文中计算结果表明在中波波段目标背景辐射对比度高于长波波段,更利于对目标的探测跟踪;

    e) 长波红外受海水反射的太阳辐射影响较小,抗海杂波干扰方面优于中波红外,课题主要为加强夜间对岸目标探测跟踪能力,因此海杂波的影响较小,而且可在系统采取一定措施(窄带滤光)减少白天海杂波影响。

    综上所述,在对岸远距离打击武器系统中,昼夜跟瞄光电设备应选用中波红外热像仪。在有条件的情况下,可考虑选择红外双波段探测,发挥各自波段的优势,提高探测效率。

  • 图  1   网络总体结构

    Figure  1.   Overall structure diagram of proposed network

    图  2   周围视图的亚像素信息

    Figure  2.   Sub-pixel information from surrounding view images

    图  3   水平极平面图像中的亚像素信息

    Figure  3.   Sub-pixel information in horizontal EPI

    图  4   多重亚像素信息提取模块

    Figure  4.   Multiple sub-pixel information extraction blocks

    图  5   空间角度增强自注意力层

    Figure  5.   Spatial-angular enhanced self-attention layer

    图  6   梯度融合跨注意力层

    Figure  6.   Gradient fusion cross-attention layer

    图  7   不同方法视觉效果对比 (场景Building_Decoded)

    Figure  7.   Comparison of visual effects of different methods (scene Building_Decoded)

    图  8   不同方法视觉效果对比 (场景Origami)

    Figure  8.   Comparison of visual effects of different methods (scene Origami)

    表  1   不同方法2×超分辨率PSNR(dB)/SSIM对比

    Table  1   PSNR(dB)/SSIM quantitative comparison of different methods 2× super-resolution

    Method Scale EPFL HCI_new HCI_old INRIA_Lytro Stanford_Gantry
    Bicubic ×2 29.88/0.9024 31.65/0.9373 37.46/0.9695 31.77/0.9086 30.75/0.9441
    VDSR ×2 32.50/0.9598 34.37/0.9561 40.61/0.9867 34.44/0.9741 35.54/0.9789
    EDSR ×2 33.09/0.9629 34.83/0.9592 41.01/0.9874 34.98/0.9764 36.30/0.9818
    ResLF ×2 33.62/0.9706 36.69/0.9739 43.42/0.9932 35.39/0.9804 38.35/0.9904
    LFSSR ×2 33.67/0.9744 36.80/0.9749 43.81/0.9938 35.28/0.9832 37.94/0.9898
    LFSSR-ATO ×2 34.27/0.9757 37.24/0.9767 44.21/0.9942 36.17/0.9842 39.64/0.992 9
    LF-Inter ×2 34.11/0.9760 37.17/0.9763 44.57/0.994 6 35.83/0.9843 38.43/0.9909
    MEG-Net ×2 34.31/0.9773 37.42/0.9777 44.10/0.9942 36.10/0.9849 38.77/0.9914
    DPT ×2 34.49/0.9758 37.35/0.977 1 44.30/0.9943 36.41/0.9843 39.43/0.9926
    Proposed ×2 34.53/0.976 4 37.64/0.9785 44.65/0.9946 36.43/0.984 8 39.89/0.9933
    下载: 导出CSV

    表  2   不同4×超分辨率方法PSNR(dB)/SSIM对比

    Table  2   PSNR(dB)/SSIM quantitative comparison of different methods 4× super-resolution

    Method Scale EPFL HCI_new HCI_old INRIA_Lytro Stanford_Gantry
    Bicubic ×4 25.46/0.7711 27.58/0.8636 32.42/0.9143 27.30/0.8058 25.91/0.8322
    VDSR ×4 27.25/0.8777 29.31/0.8823 34.81/0.9515 29.76/0.9204 28.51/0.9001
    EDSR ×4 27.83/0.8854 29.59/0.8869 35.18/0.9536 29.65/0.9256 28.70/0.9072
    ResLF ×4 28.26/0.9035 30.72/0.9107 36.71/0.9682 30.34/0.9412 30.19/0.9372
    LFSSR ×4 28.60/0.9112 30.93/0.9145 36.91/0.9696 30.59/0.9468 30.57/0.9426
    LFSSR-ATO ×4 28.51/0.9115 30.88/0.9135 37.00/0.9699 30.71/0.9484 30.61/0.9430
    LF-Inter ×4 28.81/0.9162 30.96/0.9161 37.15/0.9716 30.78/0.9491 30.36/0.9409
    MEG-Net ×4 28.75/0.9160 31.10/0.9177 37.29/0.9716 30.67/0.9490 30.77/0.9453
    DPT ×4 28.94/0.9170 31.20/0.918 8 37.41/0.972 1 30.96/0.950 3 31.15/0.948 8
    Proposed ×4 28.88/0.9180 31.34/0.9212 37.55/0.9729 31.01/0.9513 31.25/0.9500
    下载: 导出CSV

    表  3   2×超分辨率模型参数量、Flops和PSNR/SSIM对比

    Table  3   Comparison of 2× super-resolution model parameters, Flops and PSNR/SSIM

    Method Params/M Flops/G PSNR (dB)/SSIM
    EDSR 38.62 988.47 36.04/0.9735
    ResLF 8.65 37.06 37.49/0.9817
    LF-Inter 5.04 42.33 38.02/0.9844
    MEG-Net 1.69 48.39 38.14/0.9851
    LFSSR-ATO 1.22 453.03 38.31/0.9847
    DPT 3.66 57.32 38.40/0.9848
    Proposed 4.51 79.04 38.63/0.9855
    下载: 导出CSV

    表  4   消融实验对比

    Table  4   Comparison of ablation experiment

    Gradient branch Main branch Params/M Flops/G PSNR (dB)/SSIM
    ResASPP+RB MSPIE ResASPP+RB MSPIE
    2.57 47.48 33.54/0.9740
    2.99 58.35 33.95/0.9758
    3.66 57.32 33.80/0.9748
    4.09 68.18 34.02/0.9755
    4.51 79.04 34.17/0.9760
    下载: 导出CSV
  • [1]

    JIA C, SHI F, ZHAO M. Object detection based on light field imaging[C]// Proceedings of 2022 IEEE 25th International Conference on Computer Supported Cooperative Work in Design, May 4-6, 2022, Hangzhou, China. New York: IEEE, 2022: 239-244.

    [2]

    HAN L, SHI Z, ZHENG S N, et al. Light field depth estimation using RNN and CRF[C]// Proceedings of 2022 7th International Conference on Image, Vision and Computing, July 26-28, 2022, Xi’an, China. New York: IEEE, 2022: 725-729.

    [3] 宋力争, 林冬云, 彭侠夫, 等. 基于深度学习的patch-match双目三维重建[J]. 应用光学, 2022, 43(3): 436-443. doi: 10.5768/JAO202243.0302003

    SONG Lizheng, LIN Dongyun, PENG Xiafu, et al. Patch-match binocular 3D reconstruction based on deep learning[J]. Journal of Applied Optics, 2022, 43(3): 436-443. doi: 10.5768/JAO202243.0302003

    [4]

    XU Y F, ZHAO J K. Deep multi-levels edge-guided network for super-resolution[C]// Proceedings of 2022 19th International Computer Conference on Wavelet Active Media Technology and Information Processing, December 16-18, 2022, Chengdu, China. New York: IEEE, 2022: 1-5.

    [5]

    LIU Y H, LI S M, LIU A Q. Two-way guided super-resolution reconstruction network based on gradient prior[C]// Proceedings of 2021 IEEE International Conference on Image Processing, September 19-22, 2021, Anchorage, AK, USA. New York: IEEE, 2021: 1819-1823.

    [6]

    YOON Y, JEON H G, YOO D, et al. Light field image super-resolution using convolutional neural network[J]. IEEE Signal Processing Letters, 2017, 24(6): 848-852. doi: 10.1109/LSP.2017.2669333

    [7]

    WANG Y Q, WANG L G, YANG J G, et al. Spatial-angular interaction for light field image super-resolution[C]// Proceedings of the 16th European Conference on Computer Vision, August 23-28, 2020, Glasgow, United Kingdom. Berlin: Springer, 2020: 290-308.

    [8]

    YEUNG H W F, HOU J H, CHEN X M, et al. Light field spatial super-resolution using deep efficient spatial-angular separable convolution[J]. IEEE Transactions on Image Processing, 2019, 28(5): 2319-2330. doi: 10.1109/TIP.2018.2885236

    [9]

    WU G C, ZHAO M D, WANG L Y, et al. Light field reconstruction using deep convolutional network on EPI[C]// Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition, July 21-26, 2017, Honolulu, HI, USA. New York: IEEE, 2017: 1638-1646.

    [10] 安平, 陈欣, 陈亦雷, 等. 基于视点图像与EPI特征融合的光场超分辨率[J]. 信号处理, 2022, 38(9): 1818-1830.

    AN Ping, CHEN Xin, CHEN Yilei, et al. Light field super-resolution based on viewpoint image and EPI feature fusion[J]. Signal Processing, 2022, 38(9): 1818-1830.

    [11]

    ZHANG S, LIN Y, SHENG H. Residual networks for light field image super-resolution[C]// Proceeding of 2019 IEEE Conference on Computer Vision and Pattern Recognition, June 16-21, 2019, Long Beach, CA, USA. New York: IEEE, 2019: 11038-11047.

    [12]

    ZHANG S, CHANG S, LIN Y. End-to-end light field spatial super-resolution network using multiple epipolar geometry[J]. IEEE Transactions on Image Processing, 2021, 30: 5956-5968. doi: 10.1109/TIP.2021.3079805

    [13]

    JIN J, HOU J H, CHEN J, et al. Light field spatial super-resolution via deep combinatorial geometry embedding and structural consistency regularization[C]// Proceedings of 2020 IEEE Conference on Computer Vision and Pattern Recognition, June 13-19, 2020, Seattle, WA, USA. New York: IEEE, 2020: 2260-2269.

    [14]

    WANG Y Q, YANG J G, WANG L G, et al. Light field image super-resolution using deformable convolution[J]. IEEE Transactions on Image Processing, 2021, 30: 1057-1071. doi: 10.1109/TIP.2020.3042059

    [15]

    WANG S Z, ZHOU T F, LU Y, et al. Detail-preserving transformer for light field image super-resolution[J]. AAAI Conference on Artificial Intelligence, 2022, 36(3): 2522-2530. doi: 10.1609/aaai.v36i3.20153

    [16]

    CAO J Z, LI Y W, ZHANG K, et al. Video super-resolution transformer[EB/OL]. [2023-06-15]. https://arxiv.org/abs/2106.06847.

    [17]

    DOSOVITSKIY A, BEYER L, KOLESNIKOV A, et al. An image is worth 16×16 words: transformers for image recognition at scale[EB/OL]. [2023-06-15]. https://www.cnblogs.com/lucifer1997/p/18210509.

    [18]

    HUI Z, GAO X B, YANG Y C, et al. Lightweight image super-resolution with information multi-distillation network[C]// Proceedings of the 27th ACM International Conference on Multimedia, October, 2019, New York, NY, USA. New York: ACM, 2019: 2024-2032.

    [19]

    RERABEK M, EBRAHIMI T. New light field image dataset[C]// Proceedings of 8th International Conference on Quality of Multimedia Experience. Lisbon: Portugal, 2016: 2409457.

    [20]

    HONAUER K, JOHANNSEN O, KONDERMANN D, et al. A dataset and evaluation methodology for depth estimation on 4D light fields[C]// 13th Asian Conference on Computer Vision. Taiwan: Springer , 2016, 19-34.

    [21]

    WANNER S, MEISTER S, GOLDLUECKE B. Datasets and benchmarks for densely sampled 4D light fields[J]. Vision, Modelling and Visualization, 2013, 13: 225-226.

    [22]

    PENDU M L, JIANG X R, GUILLEMOT C. Light field in painting propagation via low rank matrix completion[J]. IEEE Transactions on Image Processing, 2018, 27(4): 1981-1993. doi: 10.1109/TIP.2018.2791864

    [23]

    VAISH V, ADAMS A. The (new) standford light field archive[EB/OL]. [2023-06-15]. http://lightfield.stanford.edu/.

    [24]

    KIM J, LEE J K, LEE K M. Accurate image super-resolution using very deep convolutional networks[C] //IEEE Conference on Computer Vision and Pattern Recognition, June 26-July 1, 2016, Las Vegas, USA. New York: IEEE, 2016: 1646-1654.

    [25]

    LIM B, SON S, KIM H, et al. Enhanced deep residual networks for single image super-resolution[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition, July 21-26, 2017, Honolulu, USA. New York: IEEE, 2017: 1132-1140.

  • 期刊类型引用(1)

    1. 付健,赵建辉,李帆,张馗. 基于水幕的舰船红外干扰策略研究. 应用光学. 2021(03): 404-412 . 本站查看

    其他类型引用(0)

图(8)  /  表(4)
计量
  • 文章访问数:  93
  • HTML全文浏览量:  22
  • PDF下载量:  33
  • 被引次数: 1
出版历程
  • 收稿日期:  2023-06-24
  • 修回日期:  2023-10-27
  • 网络出版日期:  2024-07-04
  • 刊出日期:  2024-09-14

目录

/

返回文章
返回