基于亚像素和梯度引导的光场图像超分辨率

韦玮; 陈芬; 张华波; 罗英国; 张鹏; 彭宗举

doi:10.5768/JAO202445.0502003

基于亚像素和梯度引导的光场图像超分辨率

重庆理工大学电气与电子工程学院，重庆 400054

基金项目: 重庆市自然科学基金(cstc2021jcyj-msxmX0411，CSTB2022NSCQ-MSX0873)；重庆理工大学研究生教育高质量发展行动计划资助成果(gzlcx20233138，gzlcx20233081)

详细信息

作者简介:
韦玮（1999—），男，硕士研究生，主要从事光场超分辨率研究。E-mail：545645775@qq.com

通讯作者:
陈芬（1973—），女，博士、教授，主要从事图像和视频信号处理研究。E-mail：chenfen@cqut.edu.cn

中图分类号: TN201;TP391.4
计量
- 文章访问数: 92
- HTML全文浏览量: 22
- PDF下载量: 33
出版历程
- 收稿日期: 2023-06-24
- 修回日期: 2023-10-27
- 网络出版日期: 2024-07-04
- 刊出日期: 2024-09-14

Light field images super-resolution based on sub-pixel and gradient guide

School of Electronics and Electronic Information Engineering, Chongqing University of Technology, Chongqing 400054, China

摘要

摘要:
针对光场相机捕获到的光场图像空间分辨率较低等问题，提出一种基于亚像素和梯度引导的光场图像超分辨率方法。设计了多重亚像素信息提取模块，该模块将子孔径图像分为水平、垂直、对角和反对角4个图像堆，并分别提取各图像堆的亚像素信息。同时，考虑到梯度先验可为预测高频细节提供有效线索，在重建过程中融合了子孔径图像的梯度多重亚像素信息。在5个公开数据库上的实验结果表明，本文方法不仅在客观指标上普遍优于现有方法，在主观视觉效果上也有更好的表现，边缘纹理细节更加清晰。
- 超分辨率 /
- 光场图像 /
- 亚像素信息 /
- 深度学习
Abstract:
For the problem of low spatial resolution of light field images captured by light field cameras, a super-resolution method for light field images based on sub-pixel and gradient guide was proposed. A multiple sub-pixel information extraction module was designed, which divided the sub-aperture images into four image stacks: horizontal, vertical, diagonal and anti-diagonal, and extracted the sub-pixel information of each image stack separately. Meanwhile, considering that the gradient prior could provide effective clues for predicting high-frequency details, the gradient multiple sub-pixel information of the sub-aperture images was fused in the reconstruction process. Experimental results on five publicly available databases show that the proposed method not only generally outperforms the existing methods in terms of objective indexes, but also has better performance in the subjective visual effect, which the edge texture details are clearer.
- super-resolution /
- light field images /
- sub-pixel information /
- deep learning

HTML全文

引言

在雾、霾大气中悬浮着大量的微小颗粒, 这些微小颗粒具有非常强的散射效应, 使得成像系统获取的图像模糊不清, 成像效果严重降质^[1-3]。因此, 研究雾、霾天气下清晰成像的方法, 具有十分重要的应用价值。偏振成像作为一种新兴的光学成像技术, 已经在光学遥感、军事侦察和医学诊断上得到了广泛应用。相对于传统光学成像, 偏振成像不仅可以获得目标的颜色和强度信息, 还可以获得环境和目标的偏振信息^[4]。利用偏振信息可以对雾天图像进行重构, 实现图像清晰化处理。

针对雾天图像模糊不清的问题, 国内外学者做了大量的研究工作, 主要包括两类：一类是非偏振的单幅图像去雾方法, 比较经典的有Tan和He的去雾方法。Tan^[5]基于无雾图像的对比度比有雾图像对比度要高的现象, 通过最大化局部对比度, 实现了单幅图像的去雾。He^[6]提出了一种基于暗通道先验的单幅图像去雾方法, 利用暗通道先验方法, 可以估计出大气传输图, 利用细化修补后的大气传输图可重构出目标图像。另一类是偏振去雾方法, Schechner^[7-9]提出了基于差分成像的偏振去雾算法, 其认为大气光为部分偏振光, 而目标光为非偏振光。利用获取的同一场景下的偏振差分图像, 估算大气光偏振信息, 通过人工选取天空区域, 估计无穷远处大气光强, 最后利用雾天成像模型恢复出目标图像。非偏振去雾方法包括图像增强和图像复原两方面, 图像增强不考虑图像退化的机理, 只提高目标对比度, 但对目标细节的复原能力有限。图像复原通过建立大气散射模型, 对造成图像质量下降的影响因素进行估计, 并反演退化过程, 复原目标图像。但是, 该方法对模型参数的估计仅依据图像强度信息, 相关参数估计方法也存在局限性, 复原的目标图像容易出现噪声斑块。偏振去雾方法不仅可以获取图像的强度信息, 还可以获取偏振信息, 增加了去雾模型的信息维度。太阳光经大气散射, 形成部分偏振光; 不仅大气光具有偏振特性, 目标光也具有偏振特性。目标光的偏振态不仅与大气中微粒的散射作用有关, 还与目标本身材质, 表面粗糙度有关。因此, 大气光偏振特性和目标光偏振特性存在差异。针对目标光偏振特性和大气光偏振特性的差异, 提出了一种利用目标偏振信息和大气偏振信息的雾天图像重构方法。首先, 从光强图像中, 初步分离出大气光图像和目标光图像, 利用大气光图像和目标光图像, 解析大气光偏振态和目标光偏振态, 再根据偏振信息估计相关参数, 最终重构出目标图像。

1 雾天偏振图像重构模型

在雾、霾等天气条件下, 大气中悬浮着大量微小颗粒, 大气光和目标光在传播过程中, 会与大气中悬浮的微小颗粒接触产生散射作用。大气光与悬浮的微粒散射后变成部分偏振光, 大气光到达成像系统的偏振态与大气中微粒浓度、大小、成像距离有关。目标光的偏振态不仅与大气中微粒的散射作用有关, 还与目标本身材质, 表面粗糙度有关, 不同的目标到达成像系统的偏振态不同。因此, 成像系统探测到的偏振信息不仅包含了大气光的偏振信息, 还包含了目标光的偏振信息。但是, 应该考虑大气光偏振信息和目标光偏振信息存在的差异性。雾天偏振成像模型如图 1所示。

图 1 雾天偏振成像模型

Figure 1. Imaging model in fog weather

下载: 全尺寸图片幻灯片

其数学表达式可描述为

$$ I = D + A $$

(1)

$$ {I_P} = {D_P} + {A_P} $$

(2)

$$ {I_P} = IP $$

(3)

式中：I表示成像系统获得的总光强; D表示目标光强; A为大气光强; I_P表示成像系统获得的总偏振光强; D_P表示目标偏振光; A_P表示大气偏振光; D_P和A_P存在差异。

根据偏振度的定义：

$$ {D_P} = D{P_D} $$

(4)

$$ {A_P} = A{P_A} $$

(5)

式中：P表示总光强偏振度; P_D表示目标光偏振度; P_A表示大气光偏振度。将(3)、(4)、(5)式代入(2)式可得

$$ IP = D{P_D} + A{P_A} $$

(6)

联立(1)式和(6)式, 在目标光图像和大气光图像中, 分别建立D_P和A_P的解析式：

$$ D = \frac{{I\left( {P - {P_A}} \right)}}{{{P_D} - {P_A}}} $$

(7)

$$ A = \frac{{I\left( {P - {P_D}} \right)}}{{{P_A} - {P_D}}} $$

(8)

根据大气散射模型^[10-12]D和A的数学表达式分别为

$$ D = JT(x) $$

(9)

$$ A = {A_\infty }(1 - T(x)) $$

(10)

式中：J表示目标表面反射光光强, 即为目标图像; T(x)表示大气传输率; A_∞为无穷远处大气光强。由(1)、(9)、(10)式, 消去大气传输率T(x), 可得到雾天成像模型的表达式为

$$ J = \frac{D}{{1 - A/A\infty }} $$

(11)

将(7)、(8)式代入雾天成像模型(11)可得雾天偏振图像重构模型的表达式

$$ J = \frac{{I\left( {P - {P_A}} \right)}}{{{P_D} - {P_A} + I\left( {P - {P_D}} \right)/{A_\infty }}} $$

(12)

文中提出的雾天偏振图像重构模型是在大气散射模型的基础上, 引入了目标光和大气光的偏振信息, 增加了模型的信息维度。在构建偏振去雾模型时, 考虑了彼此偏振信息的差异性, 分别在大气光图像和目标光图像中解析大气光偏振信息和目标光偏振信息。(12)式中, 总光强I和偏振度P可由偏振图像直接计算得出, 所以偏振图像重构模型中, 只要估算目标光偏振度P_D, 大气光偏振度P_A和无穷远处大气光强A_∞, 即可重构出目标图像J。

2 模型参数估计

2.1 估算大气光偏振度和目标光偏振度

估算大气光偏振度P_A和目标光偏振度P_D, 需要从获得的偏振图像中初步分离出大气光图像A和目标光图像D, 并分别在大气光图像和目标光图像中计算出大气光偏振度P_A和目标光偏振度P_D。

现有估算大气光的方法有暗原色先验^[6]和中值滤波方式^[13], 暗原色先验方法无法处理天空区域以及景物亮度和天空接近的区域; 中值滤波具有一定的滤波效果, 但是, 一定程度上会造成去雾后图像的边缘细节丢失。针对以上问题本文采用一种融合图像梯度信息的高斯滤波方法来估算大气光强和目标光强。

高斯滤波(Gaussian blur, GB)是一种根据正态分布来分配权值的线性平滑滤波器。相对于均值滤波器和中值滤波器, 高斯滤波器引入了空间距离因子, 对滤波窗口内的像素计算权重, 越位于窗口外侧的像素权重越低, 其对待处理像素的影响就越小, 位于窗口内侧的像素与待处理像素更接近, 权重更高。高斯滤波数学表达式如下

$$ {\omega _g}(x,y) = \frac{1}{{2{\rm{ \mathsf{ π} }}{\delta ^2}}}\exp \left( {\frac{{ - \left( {{x^2} + {y^2}} \right)}}{{2{\delta ^2}}}} \right) $$

(13)

$$ GB\left( I \right) = \sum\limits_{x,y \in \mathit{\Omega }} {{\omega _g}} (x,y)I(x,y) $$

(14)

式中：ω_g是高斯模板即权重矩阵; x和y表示周边像素相对于中心像素的相对坐标; δ表示模糊半径即权重矩阵的大小; I表示待滤波图像; Ω为开窗区域。

由于高斯滤波只考虑了图像像素的空间距离, 没有考虑图像梯度信息, 因此高斯滤波实际上是一种低通滤波器, 会让图像低频部分通过, 滤除高频部分。对于图像梯度变化快的部分, 高斯滤波容易丢失图像细节, 造成图像边缘模糊。

在高斯滤波进行权重分配时, 引入图像梯度信息即梯度相似度因子, 与空间距离因子相结合构成新的权重分配函数, 融合图像梯度信息的高斯滤波(GB′)的数学表达式如下

$$ {d_g} = \sqrt {{{\left| {\frac{{{\partial _{I(x)}}}}{{{\partial _x}}} - \frac{{{\partial _{I(y)}}}}{{{\partial _x}}}} \right|}^2} + {{\left| {\frac{{{\partial _{I(x)}}}}{{{\partial _y}}} - \frac{{{\partial _{I(y)}}}}{{{\partial _y}}}} \right|}^2}} $$

(15)

$$ {\omega _d}(x,y) = \exp \left( {\frac{{ - d_g^2}}{{2{\delta ^2}}}} \right) $$

(16)

$$ G{B^\prime }(I) = \sum\limits_{x,y \in \mathit{\Omega }} {{\omega _d}} (x,y){\omega _g}(x,y)I(x,y) $$

(17)

式中：d_g表示x与y之间的梯度距离; ω_d为x与y之间的梯度相似性。

采用上述滤波函数对偏振图像I₀、I₆₀、I₁₂₀分别进行差分滤波处理, 得到大气光偏振图像A₀、A₆₀、A₁₂₀, 滤波公式如下:

$$ \left\{ {\begin{array}{*{20}{l}} {{I^\prime } = G{B^\prime }(I) - G{B^\prime }\left( {I - G{B^\prime }(I)} \right)}\\ {A = \max \left( {\min \left( {a{I^\prime },I} \right),0} \right)} \end{array}} \right. $$

(18)

获得A₀、A₆₀、A₁₂₀后, 根据(1)式可得出目标光偏振图像D₀、D₆₀、D₁₂₀:

$$ \left\{ {\begin{array}{*{20}{l}} {{D_0} = {I_0} - {A_0}}\\ {{D_{60}} = {I_{60}} - {A_{60}}}\\ {{D_{120}} = {I_{120}} - {A_{120}}} \end{array}} \right. $$

(19)

由此, 可根据Stokes矢量公式在大气光图像A内计算大气光偏振度P_A：

$$ \left\{ {\begin{array}{*{20}{l}} {{I_A} = \frac{2}{3}\left( {{A_0} + {A_{60}} + {A_{120}}} \right)}\\ {{Q_A} = \frac{2}{3}\left( {2{A_0} - {A_{60}} - {A_{120}}} \right)}\\ {{U_A} = \frac{2}{{\sqrt 3 }}\left( {{A_{60}} - {A_{120}}} \right)} \end{array}} \right. $$

(20)

$$ {P_A} = \frac{{\sqrt {Q_A^2 + U_A^2} }}{{{I_A}}} $$

(21)

同理, 也可在目标光图像D内计算大气光偏振度P_D。

2.2 估算无穷远处大气光强

现有去雾方法中, 无穷远处大气光强通常认为是雾天图像中最亮的像素值或者人工选取图像中天空区域某一点的强度值, 作为整幅图像无穷远处的大气光强值, 这种方法均存在一定的偶然性。选取图像中最亮的像素值作为无穷远处大气光强容易受到噪声点和白色建筑物等目标的干扰, 使估计的无穷远处大气光强值偏高, 而选取图像中天空区域某一点的强度值作为无穷远处大气光强的方法必须要求包含天空区域。

文中无穷远处大气光强A_∞的估算在大气光图像A内进行, 在大气光图像A空间内估算无穷远处大气光强, 可有效避免大气光图像D内白色建筑物等高亮度目标的干扰。对大气光图像A取图像块Ω, 对图像块Ω内的有效像素点计算标准差σ。通过3σ法则阈值分割, 求Z(x, y)二值化矩阵：

$$ \begin{array}{l} \mathit{\boldsymbol{Z}}(x,y) = \\ \left\{ {\begin{array}{*{20}{c}} 1&{\left| {A(x,y) - \frac{1}{{\left| \mathit{\Omega } \right|}}\left. {\sum\limits_{x,y \in \mathit{\Omega }} A (x,y)} \right|} \right| \le 3 \times \sigma }\\ 0&{\left| {A(x,y) - \frac{1}{{\left| \mathit{\Omega } \right|}}\left. {\sum\limits_{x,y \in \mathit{\Omega }} A (x,y)} \right|} \right| > 3 \times \sigma } \end{array}} \right. \end{array} $$

(22)

式中：Z(x, y)为经过3σ法则阈值分割的二值化矩阵; A(x, y)表示Ω内坐标为(x, y)的像素点; Ω为3×3的图像块; σ表示图像块Ω内像素点的标准差。

归零化图像块Ω内异常像素点的灰度值：

$$ {A^\prime }(x,y) = Z(x,y) \times \mathop A\limits_{x,y \in \mathit{\Omega }} (x,y) $$

(23)

得到的A′(x, y)为去除噪声点和高亮度目标像素点的图像块Ω, 在对图像块Ω内的像素作最大值滤波, 得到图像块Ω内亮度最高的像素值作为无穷远处大气光A_∞的估计值：

$$ {A_\infty } = \mathop {\max }\limits_{x,y \in \mathit{\Omega }} \left( {{A^\prime }\left( {x,y} \right)} \right) $$

(24)

为了分析估算结果受噪声的影响, 与现有亮原色方法^[11]进行定量对比分析。本文方法和亮原色方法估算无穷远处大气光强结果如图 2所示。

图 2 无穷远处大气光强估算结果

Figure 2. Estimation of atmospheric light intensity at infinity

下载: 全尺寸图片幻灯片

图 2中(a)、(b)、(c)为原始偏振图像, (d)为亮原色方法估算无穷远处大气光图像, (e)为本文方法估算无穷远处大气光图像。原始偏振图像中建筑物表面白色反射光会对无穷远处大气光图像的估算产生干扰。亮原色方法估算结果受目标干扰明显, 图像中目标轮廓突出, 建筑物表面反射光在亮原色方法中直接判别为无穷远处大气光强。采用3σ法则阈值分割结合最大值滤波的方法, 在大气光图像A空间内估算无穷远处大气光强。首先, 在大气光图像A空间内估算无穷远处大气光强, 可有效避免白色建筑物等高亮度目标的干扰, 通过3σ法则阈值分割可进一步剔除图像中的异常噪声点, 降低残留噪声对无穷远处大气光估算结果的影响。最后, 通过最大值滤波方法得到每一像素点处的无穷远处大气光强值。

为了定量分析本文方法估算结果, 引入平均梯度和边缘强度作为定量评价标准。图 2中无穷远处大气光图像的定量评价结果如表 1所示。

表 1 实验结果定量评价

Table 1. Quantitative evaluation of experimental results

实验方法	平均梯度	边缘强度
亮原色方法	4.826 7	11.375 2
本文方法	0.976 4	1.267 4

下载: 导出CSV

| 显示表格

平均梯度和边缘强度分别反映图像对比度和图像层次, 值越大表明无穷远处大气光的估算结果受目标和噪声的影响越大。通过定量对比分析可知, 本文方法估算结果的平均梯度和边缘强度远远低于亮原色方法估算结果, 说明本文方法可有效避免白色建筑物等高亮度目标的干扰, 降低图像噪声对估算结果的影响。

3 实验结果分析

采用已经标定的三通道偏振测量系统^[14-15]搭建实验平台, 开展雾天偏振图像采集实验。三通道偏振测量系统通过棱镜分光的方法, 可以同时获得一个场景下的0°、60°、120°的雾天偏振图像。系统工作波段为380 nm ~1 000 nm, 分辨率为1 392×1 040像素。实验结果如图 3所示, 图中烟囱距离相机3.7 km, 其中图 3(a)、(b)、(c)分别为三通道偏振测量系统采集的0°、60°、120°雾天偏振图像。图 3(d)、(e)是大气光图像A和目标光图像D。图 3(f)、(g)为大气光偏振度图像P_A和目标光偏振度图像P_D, 图 3(h)为重构后的目标图像J。通过实验结果可以看出, 去雾后目标图像J中楼房、烟囱等目标变得清晰可见, 图像边缘细节明显, 且图像中没有出现明显的图像噪声。

图 3 雾天重构实验结果

Figure 3. Reconstruction experimental results under fog environments

下载: 全尺寸图片幻灯片

图 4为大气光偏振度图像P_A和目标光偏振度图像P_D的灰度直方图分布, 不难发现, 目标光偏振度图像灰度动态范围比大气光偏振度图像灰度动态范围宽, 表明目标光和大气光同样具有偏振特性, 都为部分偏振光, 且大气光偏振信息和目标光偏振信息存在差异。

图 4 P_A和P_D图像直方图

Figure 4. P_A & P_D histograms

下载: 全尺寸图片幻灯片

为了进一步验证本文方法在不同天气下的适用性, 针对雾霾、雨、雪等不同天气开展了大量的实测实验。其中, 图 5是分别与Tan^[5]、He^[6]、Schechner^[7-9]的重构效果比较。图 5(a1)~(a3)为原始图像, 其中, (a1)雾霾天PM2.5为200, 能见度1 000 m; (a2)雨天降雨量20 mm/24 h, 能见度800 m; (a3)雪天降雪量2.5 mm/24 h, 能见度500 m。图 5(b1)~(b3)为Tan的重构效果, 图 5(c1)~(c3)为He的重构效果, 图 5(d1)~(d3)为Schechner的重构效果, 图 5(e1)~(e3)是本文方法重构效果。实验结果表明本文方法能够从原始图像中较好地恢复出目标信息, 并能有效降低重构后目标图像出现的图像细节丢失和噪声斑块, 通过雾霾、雨、雪等不同天气下的实验说明本方法具有较好的环境适用性。

图 5 重构实验对比

Figure 5. Contrast of reconstruction experiments

下载: 全尺寸图片幻灯片

文中引入信息熵、平均梯度、灰度标准差和边缘强度4种统计特性参数作为定量评价标准。图 5中各组实验图像的定量评价结果如表 2所示。通过数据对比可知, 本文方法整体上重构后图像的信息熵提升约40%, 灰度标准差提升了约90%, 平均梯度和边缘强度提高了3倍。数据表明本文方法在雾霾、雨天、雪天情况下均有较好的图像重构效果, 且相对于以上3种重构方法, 重构图像质量有所提升。

表 2 实验结果定量评价

Table 2. Quantitative evaluation of experimental results

实验天气	图像	信息熵	平均梯度	灰度标准差	边缘强度
雾霾天气	原始图像	5.154 7	1.357 2	21.369 1	4.186 2
	Tan	6.407 6	3.113 2	38.384 0	8.158 9
	He	6.923 3	4.881 2	40.008 1	10.923 0
	Schechener	7.046 6	3.418 6	34.992 6	11.254 9
	本方法	7.366 4	4.910 4	41.054 0	13.368 2
雨雾天气	原始图像	6.248 7	2.963 4	23.593 0	6.827 3
	Tan	6.996 9	7.552 3	26.251 4	8.943 6
	He	9.352 2	14.600 4	29.234 0	18.518 2
	Schechener	8.024 8	12.966 6	40.700 6	16.163 4
	本方法	10.057 7	15.962 4	45.915 5	18.951 3
大雪天气	原始图像	4.956 2	0.839 1	8.642 9	1.835 7
	Tan	6.277 6	3.495 8	10.316 1	5.842 6
	He	7.285 2	3.915 8	13.343 2	8.951 7
	Schechener	5.972 6	2.084 8	8.762 2	4.698 2
	本方法	8.866 3	5.538 0	14.344 3	9.536 8

下载: 导出CSV

| 显示表格

为了定量分析去雾后图像失真对比, 采用结构相似度(SSIM)图像质量评价方法^[16], SSIM是一种常用的图像质量评价方法, 来源于人类视觉系统能够高度自适应地提取场景中的结构信息, 通过比较图像结构信息的改变而近似的反映图像失真, 结构相似度值越大, 图像失真度越小。

利用偏振光学模拟实验舱^[17]模拟大气雾天环境, 在偏振光学模拟实验舱内放置黑白棋盘格作为场景目标, 用能见度仪测得的光透过率值表征烟雾浓度。首先采集一张无雾图像作为SSIM评价方法的无失真图像, 其次在偏振光学模拟实验舱内模拟不同浓度的烟雾, 获取不同浓度烟雾下的有雾图像。然后用以上4种去雾算法分别处理有雾图像, 得到的目标图像作为待测试图像, 利用SSIM方法分析比较目标图像的失真程度。

图 6为室内实验获取的有雾和无雾棋盘格图像, 其中图 6(a)为无雾图像作为无失真图像, 图 6(b)~(f)分别为不同浓度的有雾图像。图 7为目标图像的SSIM评价结果, SSIM指标越高, 表明目标图像越接近于无失真图像。随着玻璃缸内烟雾浓度增加, 去雾后目标图像质量降低, 4种去雾方法的曲线均呈下降趋势。从整体上看, 本文方法重构的目标图像SSIM指标一直高于0.6, 能够较好的重构出目标图像, 降低图像失真, 且随着烟雾浓度的增加, 本文方法的SSIM曲线下降最慢。

图 6 无雾和有雾棋盘格图像

Figure 6. Fogless and foggy checker board image

下载: 全尺寸图片幻灯片

图 7 结构相似性(SSIM)分析去雾图像质量

Figure 7. Image quality analysis for defogging in structure similarity (SSIM)

下载: 全尺寸图片幻灯片

4 结论

提出了一种利用目标和大气偏振信息的雾天图像重构方法。考虑目标光偏振信息和大气光偏振信息的差异性, 首先, 从光强图像中分离出目标光图像和大气光图像, 并分别从目标光图像和大气光图像中解析目标光偏振信息和大气光偏振信息, 构建偏振去雾模型; 在高斯滤波中融合图像梯度信息代替常用的中值滤波方法, 从偏振图像中, 滤波估算出大气光强和目标光强, 使滤波后的图像更平滑, 保留了图像边缘细节; 采用3σ法则阈值分割方法, 滤除大气光图像中亮度异常的像素点, 然后在大气光图像中估算无穷远处大气光强, 避免了图像中噪声点和白色建筑物等高亮度目标的干扰; 最后, 重构出目标图像。在不同天气环境下开展外场实验, 结果表明, 该方法能够较好地在雾霾、雨、雪天气下重构出目标图像, 并能有效降低图像细节丢失、图像噪声和图像失真, 具有较好的环境适用性。

图 1 网络总体结构

Figure 1. Overall structure diagram of proposed network

下载: 全尺寸图片幻灯片

图 2 周围视图的亚像素信息

Figure 2. Sub-pixel information from surrounding view images

下载: 全尺寸图片幻灯片

图 3 水平极平面图像中的亚像素信息

Figure 3. Sub-pixel information in horizontal EPI

下载: 全尺寸图片幻灯片

图 4 多重亚像素信息提取模块

Figure 4. Multiple sub-pixel information extraction blocks

下载: 全尺寸图片幻灯片

图 5 空间角度增强自注意力层

Figure 5. Spatial-angular enhanced self-attention layer

下载: 全尺寸图片幻灯片

图 6 梯度融合跨注意力层

Figure 6. Gradient fusion cross-attention layer

下载: 全尺寸图片幻灯片

图 7 不同方法视觉效果对比 (场景Building_Decoded)

Figure 7. Comparison of visual effects of different methods (scene Building_Decoded)

下载: 全尺寸图片幻灯片

图 8 不同方法视觉效果对比 (场景Origami)

Figure 8. Comparison of visual effects of different methods (scene Origami)

下载: 全尺寸图片幻灯片

表 1 不同方法2^×超分辨率PSNR(dB)/SSIM对比

Table 1 PSNR(dB)/SSIM quantitative comparison of different methods 2^× super-resolution

Method	Scale	EPFL	HCI_new	HCI_old	INRIA_Lytro	Stanford_Gantry
Bicubic	×2	29.88/0.9024	31.65/0.9373	37.46/0.9695	31.77/0.9086	30.75/0.9441
VDSR	×2	32.50/0.9598	34.37/0.9561	40.61/0.9867	34.44/0.9741	35.54/0.9789
EDSR	×2	33.09/0.9629	34.83/0.9592	41.01/0.9874	34.98/0.9764	36.30/0.9818
ResLF	×2	33.62/0.9706	36.69/0.9739	43.42/0.9932	35.39/0.9804	38.35/0.9904
LFSSR	×2	33.67/0.9744	36.80/0.9749	43.81/0.9938	35.28/0.9832	37.94/0.9898
LFSSR-ATO	×2	34.27/0.9757	37.24/0.9767	44.21/0.9942	36.17/0.9842	39.64/0.992 9
LF-Inter	×2	34.11/0.9760	37.17/0.9763	44.57/0.994 6	35.83/0.9843	38.43/0.9909
MEG-Net	×2	34.31/0.9773	37.42/0.9777	44.10/0.9942	36.10/0.9849	38.77/0.9914
DPT	×2	34.49/0.9758	37.35/0.977 1	44.30/0.9943	36.41/0.9843	39.43/0.9926
Proposed	×2	34.53/0.976 4	37.64/0.9785	44.65/0.9946	36.43/0.984 8	39.89/0.9933

下载: 导出CSV

表 2 不同4^×超分辨率方法PSNR(dB)/SSIM对比

Table 2 PSNR(dB)/SSIM quantitative comparison of different methods 4^× super-resolution

Method	Scale	EPFL	HCI_new	HCI_old	INRIA_Lytro	Stanford_Gantry
Bicubic	×4	25.46/0.7711	27.58/0.8636	32.42/0.9143	27.30/0.8058	25.91/0.8322
VDSR	×4	27.25/0.8777	29.31/0.8823	34.81/0.9515	29.76/0.9204	28.51/0.9001
EDSR	×4	27.83/0.8854	29.59/0.8869	35.18/0.9536	29.65/0.9256	28.70/0.9072
ResLF	×4	28.26/0.9035	30.72/0.9107	36.71/0.9682	30.34/0.9412	30.19/0.9372
LFSSR	×4	28.60/0.9112	30.93/0.9145	36.91/0.9696	30.59/0.9468	30.57/0.9426
LFSSR-ATO	×4	28.51/0.9115	30.88/0.9135	37.00/0.9699	30.71/0.9484	30.61/0.9430
LF-Inter	×4	28.81/0.9162	30.96/0.9161	37.15/0.9716	30.78/0.9491	30.36/0.9409
MEG-Net	×4	28.75/0.9160	31.10/0.9177	37.29/0.9716	30.67/0.9490	30.77/0.9453
DPT	×4	28.94/0.9170	31.20/0.918 8	37.41/0.972 1	30.96/0.950 3	31.15/0.948 8
Proposed	×4	28.88/0.9180	31.34/0.9212	37.55/0.9729	31.01/0.9513	31.25/0.9500

下载: 导出CSV

表 3 2^×超分辨率模型参数量、Flops和PSNR/SSIM对比

Table 3 Comparison of 2^× super-resolution model parameters, Flops and PSNR/SSIM

Method	Params/M	Flops/G	PSNR (dB)/SSIM
EDSR	38.62	988.47	36.04/0.9735
ResLF	8.65	37.06	37.49/0.9817
LF-Inter	5.04	42.33	38.02/0.9844
MEG-Net	1.69	48.39	38.14/0.9851
LFSSR-ATO	1.22	453.03	38.31/0.9847
DPT	3.66	57.32	38.40/0.9848
Proposed	4.51	79.04	38.63/0.9855

下载: 导出CSV

表 4 消融实验对比

Table 4 Comparison of ablation experiment

Gradient branch		Main branch		Params/M	Flops/G	PSNR (dB)/SSIM
ResASPP+RB	MSPIE	ResASPP+RB	MSPIE	Params/M	Flops/G	PSNR (dB)/SSIM
—		√		2.57	47.48	33.54/0.9740
—			√	2.99	58.35	33.95/0.9758
√		√		3.66	57.32	33.80/0.9748
√			√	4.09	68.18	34.02/0.9755
	√		√	4.51	79.04	34.17/0.9760

下载: 导出CSV

参考文献(25)

[1]	JIA C, SHI F, ZHAO M. Object detection based on light field imaging[C]// Proceedings of 2022 IEEE 25th International Conference on Computer Supported Cooperative Work in Design, May 4-6, 2022, Hangzhou, China. New York: IEEE, 2022: 239-244.
[2]	HAN L, SHI Z, ZHENG S N, et al. Light field depth estimation using RNN and CRF[C]// Proceedings of 2022 7th International Conference on Image, Vision and Computing, July 26-28, 2022, Xi’an, China. New York: IEEE, 2022: 725-729.
[3]	宋力争, 林冬云, 彭侠夫, 等. 基于深度学习的patch-match双目三维重建[J]. 应用光学, 2022, 43(3): 436-443. doi: 10.5768/JAO202243.0302003 SONG Lizheng, LIN Dongyun, PENG Xiafu, et al. Patch-match binocular 3D reconstruction based on deep learning[J]. Journal of Applied Optics, 2022, 43(3): 436-443. doi: 10.5768/JAO202243.0302003
[4]	XU Y F, ZHAO J K. Deep multi-levels edge-guided network for super-resolution[C]// Proceedings of 2022 19th International Computer Conference on Wavelet Active Media Technology and Information Processing, December 16-18, 2022, Chengdu, China. New York: IEEE, 2022: 1-5.
[5]	LIU Y H, LI S M, LIU A Q. Two-way guided super-resolution reconstruction network based on gradient prior[C]// Proceedings of 2021 IEEE International Conference on Image Processing, September 19-22, 2021, Anchorage, AK, USA. New York: IEEE, 2021: 1819-1823.
[6]	YOON Y, JEON H G, YOO D, et al. Light field image super-resolution using convolutional neural network[J]. IEEE Signal Processing Letters, 2017, 24(6): 848-852. doi: 10.1109/LSP.2017.2669333
[7]	WANG Y Q, WANG L G, YANG J G, et al. Spatial-angular interaction for light field image super-resolution[C]// Proceedings of the 16th European Conference on Computer Vision, August 23-28, 2020, Glasgow, United Kingdom. Berlin: Springer, 2020: 290-308.
[8]	YEUNG H W F, HOU J H, CHEN X M, et al. Light field spatial super-resolution using deep efficient spatial-angular separable convolution[J]. IEEE Transactions on Image Processing, 2019, 28(5): 2319-2330. doi: 10.1109/TIP.2018.2885236
[9]	WU G C, ZHAO M D, WANG L Y, et al. Light field reconstruction using deep convolutional network on EPI[C]// Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition, July 21-26, 2017, Honolulu, HI, USA. New York: IEEE, 2017: 1638-1646.
[10]	安平, 陈欣, 陈亦雷, 等. 基于视点图像与EPI特征融合的光场超分辨率[J]. 信号处理, 2022, 38(9): 1818-1830. AN Ping, CHEN Xin, CHEN Yilei, et al. Light field super-resolution based on viewpoint image and EPI feature fusion[J]. Signal Processing, 2022, 38(9): 1818-1830.
[11]	ZHANG S, LIN Y, SHENG H. Residual networks for light field image super-resolution[C]// Proceeding of 2019 IEEE Conference on Computer Vision and Pattern Recognition, June 16-21, 2019, Long Beach, CA, USA. New York: IEEE, 2019: 11038-11047.
[12]	ZHANG S, CHANG S, LIN Y. End-to-end light field spatial super-resolution network using multiple epipolar geometry[J]. IEEE Transactions on Image Processing, 2021, 30: 5956-5968. doi: 10.1109/TIP.2021.3079805
[13]	JIN J, HOU J H, CHEN J, et al. Light field spatial super-resolution via deep combinatorial geometry embedding and structural consistency regularization[C]// Proceedings of 2020 IEEE Conference on Computer Vision and Pattern Recognition, June 13-19, 2020, Seattle, WA, USA. New York: IEEE, 2020: 2260-2269.
[14]	WANG Y Q, YANG J G, WANG L G, et al. Light field image super-resolution using deformable convolution[J]. IEEE Transactions on Image Processing, 2021, 30: 1057-1071. doi: 10.1109/TIP.2020.3042059
[15]	WANG S Z, ZHOU T F, LU Y, et al. Detail-preserving transformer for light field image super-resolution[J]. AAAI Conference on Artificial Intelligence, 2022, 36(3): 2522-2530. doi: 10.1609/aaai.v36i3.20153
[16]	CAO J Z, LI Y W, ZHANG K, et al. Video super-resolution transformer[EB/OL]. [2023-06-15]. https://arxiv.org/abs/2106.06847.
[17]	DOSOVITSKIY A, BEYER L, KOLESNIKOV A, et al. An image is worth 16×16 words: transformers for image recognition at scale[EB/OL]. [2023-06-15]. https://www.cnblogs.com/lucifer1997/p/18210509.
[18]	HUI Z, GAO X B, YANG Y C, et al. Lightweight image super-resolution with information multi-distillation network[C]// Proceedings of the 27th ACM International Conference on Multimedia, October, 2019, New York, NY, USA. New York: ACM, 2019: 2024-2032.
[19]	RERABEK M, EBRAHIMI T. New light field image dataset[C]// Proceedings of 8th International Conference on Quality of Multimedia Experience. Lisbon: Portugal, 2016: 2409457.
[20]	HONAUER K, JOHANNSEN O, KONDERMANN D, et al. A dataset and evaluation methodology for depth estimation on 4D light fields[C]// 13th Asian Conference on Computer Vision. Taiwan: Springer , 2016, 19-34.
[21]	WANNER S, MEISTER S, GOLDLUECKE B. Datasets and benchmarks for densely sampled 4D light fields[J]. Vision, Modelling and Visualization, 2013, 13: 225-226.
[22]	PENDU M L, JIANG X R, GUILLEMOT C. Light field in painting propagation via low rank matrix completion[J]. IEEE Transactions on Image Processing, 2018, 27(4): 1981-1993. doi: 10.1109/TIP.2018.2791864
[23]	VAISH V, ADAMS A. The (new) standford light field archive[EB/OL]. [2023-06-15]. http://lightfield.stanford.edu/.
[24]	KIM J, LEE J K, LEE K M. Accurate image super-resolution using very deep convolutional networks[C] //IEEE Conference on Computer Vision and Pattern Recognition, June 26-July 1, 2016, Las Vegas, USA. New York: IEEE, 2016: 1646-1654.
[25]	LIM B, SON S, KIM H, et al. Enhanced deep residual networks for single image super-resolution[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition, July 21-26, 2017, Honolulu, USA. New York: IEEE, 2017: 1132-1140.

施引文献(11)

期刊类型引用(5)

1.	宋培娟，高连平，任宇. 基于三维激光扫描的建筑模型可视化制作研究. 激光与红外. 2022(03): 349-354 . 百度学术
2.	刘泉新，林世治，吴光强，陈丹，吴坤华，陈生，张亚. 大视场光电测量系统广角相机标定方法研究. 光学技术. 2022(04): 452-458 . 百度学术
3.	张培培，王宁宁，谢国坤. 小波变换和深度学习的激光偏振图像重构研究. 激光杂志. 2022(10): 87-91 . 百度学术
4.	石磊，马丽茵. 基于稀疏度自适应的视觉图像三维清晰重构. 计算机仿真. 2021(03): 139-142 . 百度学术
5.	宋闯，姜鹏，段磊，孙剑峰，范之国. 新型光电探测技术在精确制导武器上的应用研究(特约). 红外与激光工程. 2020(06): 218-227 . 百度学术

其他类型引用(6)

资源附件(0)

图(8) / 表(4)

计量

文章访问数: 92
HTML全文浏览量: 22
PDF下载量: 33
被引次数: 11

引言
1 雾天偏振图像重构模型
2 模型参数估计
2.1 估算大气光偏振度和目标光偏振度
2.2 估算无穷远处大气光强
3 实验结果分析
4 结论

基于亚像素和梯度引导的光场图像超分辨率

作者简介:
韦玮（1999—），男，硕士研究生，主要从事光场超分辨率研究。E-mail：545645775@qq.com

通讯作者:
陈芬（1973—），女，博士、教授，主要从事图像和视频信号处理研究。E-mail：chenfen@cqut.edu.cn

计量

Light field images super-resolution based on sub-pixel and gradient guide