Research on infrared imaging deblurring algorithm based on spectrum analysis
-
摘要:
针对红外成像中出现的像差和运动模糊问题，提出了一种基于谱分析的红外成像模糊去除算法。该方法通过对模糊问题的分析，利用红外图像频谱信息构建了模糊函数估计方法，通过数据拟合项和正则项的优化，实现红外图像的模糊去除。实验在运动模糊图像数据集和静态像差图像上进行测试，结果表明：在数据集模糊去除实验上，相比之前的方法，本文方法峰值信噪比（PSNR，peak signal-to-noise ratio）提升了2.01 dB，结果相似性（SSIM ，structural similarity index）提升了0.06；静态像差图像在实验室条件下通过短波红外探测器采集，算法在主观上有较明显的复原效果，且针对高通量光学系统成像复原效果更为显著。
Abstract:To solve the problems of aberrations and motion blur encountered in infrared imaging, an algorithm for infrared imaging deblurring based on spectrum analysis was proposed. By analyzing the blur problems, a blur function estimation approach was constructed by using the spectral information of infrared images, and the deblurring of infrared images was achieved by optimizing the data fitting terms and regularization terms. The experiments were conducted on datasets containing motion-blurred images and static aberration images. The results show that in the experiments of datasets deblurring, in comparison to previous methods, the peak signal-to-noise ratio (PSNR) of proposed algorithm is improved by 2.01 dB, and the structural similarity index (SSIM) is improved by 0.06. The static aberration images are acquired using a short-wave infrared detector under laboratory conditions, and the restored images show the significant improvement subjectively, particularly in high-throughput optical system imaging scenarios.
-
引言
红外探测器具有透过度好、夜视能力强的优点，且对某些物体更敏感。高灵敏红外探测器能更快速探测目标，但为了构建出此探测器，需要提升单位时间的辐射照度，这就需要更多的光线被成像系统捕获，因此需使用更大的透镜[1]。大透镜带来的大像差使得图像更为模糊，并且在相机运动的情况下，到达传感器的光线会更少，这会导致图像质量更差[2]。
图像形成过程是一个将真实世界的三维场景投影到二维焦平面上的过程，往往会受到很多因素的影响而不能清晰成像。该过程不仅受光学系统像差的影响，同时也受拍摄过程中多种因素的影响，最后的模糊图像可以表示为
$$ {I_{\mathrm{b}}} = {{S}}\left( {f\left( {{{D}}\left( {{{P}}({I_{\rm{s}}}) * {k_{\rm{e}}}} \right) * {k_{\rm{i}}}} \right)} \right) + n $$ (1) 式中：$ {I_{\rm{b}}} $是传感器得到的模糊图像；${I_{{{\rm{s}}}}}$是潜在的清晰图像；$ {P}(\cdot) $表示三维物体对二维图像的透视投影；$ {k_{\rm{e}}} $是由外部因素导致的模糊函数；$ {D}(\cdot) $是几何畸变算子；$ {k_{\rm{i}}} $表示由内部因素导致的模糊函数；$ f(\cdot) $表示非线性相机响应函数；$ {S}(\cdot) $表示传感器阵列的采样运算；$ n $表示噪声；$ * $表示卷积。对于内部模糊函数${k_{\rm{i}}}$，主要产生原因来自于光学系统，各种球形透镜的组合导致了像差的产生。对于外部模糊函数${k_{\rm{e}}}$，则是由相机抖动、散焦等因素导致。
在实际使用中，一般仅需从模糊图像中恢复清晰图像。因此，可以将$ {k_{\mathrm{e}}} $和$ {k_{\mathrm{i}}} $结合为$ k $，将式(1)使用以下退化模型来描述：
$$ {I_{\rm{b}}} = k * {I_{\rm{s}}} + n $$ (2) 式中：$ k $为模糊函数。图像复原的目标是得到清晰的图像$ {I_{\rm{s}}} $，在消除噪声$ n $的影响后，当模糊函数$ k $已知时，只需从观测值$ {I_{\rm{b}}} $中恢复清晰图像${I_{\rm{s}}}$(非盲去模糊)；在模糊函数$ k $未知时，则需要从观测值$ {I_{\rm{b}}} $中同时恢复$ {I_{\rm{s}}} $和$ k $(盲去模糊)。图像去模糊是一个不确定问题，因为模糊核$ k $高频部分有很多值为0，导致复原的清晰图像可能存在多个解。
关于成像模糊去除方法，非盲去模糊有经典的维纳滤波和Lucy-Richardson方法[3]等。针对光学系统像差问题，KAM Z首次在显微镜成像中提出了自适应光学的概念[4]，通过用微分干涉的方法估计点扩散函数，再用反卷积消除图像像差。自适应光学也有像差测量方法、像差校正设备以及这些组件在操作中的连接方式[5]。而对于盲去运动模糊问题，解决方法主要有以下5类：1) 贝叶斯推断[6]，此方法是将先验知识与观测数据结合起来；2) 变分方法[7]，此方法通过最小化一个能量函数来恢复清晰图像；3) 稀疏表示方法[8]，此方法假设清晰图像具有相似的几何结构，然后通过优化方法得到清晰图像；4) 单应性模型方法[9]，此方法假设图像中的像素之间存在单应性变换关系，通过估计变换参数来恢复清晰图像；5)基于区域的方法[10]，此方法将图像分割成不同的区域，并针对每个区域估计不同的模糊核。在此之外，也有其他研究相对较少的方法，比如GOLDSTEIN A [11]根据频谱异常来估计模糊核，FERGUS R [12]假设整张图像模糊均匀一致，使用贝叶斯方法估计模糊核，再使用标准去卷积来恢复模糊图像，CHO S [13]等人使用图像导数来迭代估计潜在图像和模糊核。
本文针对高灵敏光电系统成像模糊问题，提出了一种基于谱分析的红外成像模糊去除算法，从光学系统的像差和运动模糊两个角度对模糊图像进行了复原处理。具体内容根据清晰图像频谱规律，旨在提出一种既能复原像差图像，又能复原运动模糊图像的方法。本文的主要架构如下：首先，通过分析不同F#数光学系统与成像模糊，以及外界因素如相机抖动引起的模糊，借此构建模糊问题目标函数；然后，详细描述估计点扩散函数的长度和角度的方法，以及根据估计的模糊核恢复清晰图像；最后，在实验部分，分别在运动模糊数据集以及实验室条件下采集的红外像差图像上进行测试。
1 模糊问题的建立
此节内容主要介绍光学成像过程的像差形成原理，并且结合原理对模糊问题进行分析，最后构建模糊问题的目标函数。
1.1 图像模糊与光学系统口径的关系建立
对于一个理想光学系统而言，其能够将空间中的每一个点都清晰地成像，不受光束宽度的限制，如图1的红线所示。无论是轴上的点还是轴外的点，物平面上的一个点恰好对应像平面上的一个点。对于不同距离的位置成像，可以通过调整传感器与透镜平面的距离来调整焦平面与透镜平面的距离。
但在实际光学系统中，一个物点成的像往往不是一个几何点，而是一个弥散圆，弥散圆的大小和形状受衍射和像差两种因素共同影响。常见的几何成像模型如图1所示。图1中，$ {S_1} $是焦点深度，$ {S_2} $是透镜到物体之间的距离，$A$是透镜直径。从图中可以看出，不在焦平面上的点最后达到传感器平面会形成一个弥散圆，如图1中的蓝线所示。根据几何关系，对应焦平面上的弥散圆的直径大小$ C $可以表示为
$$ C = A\frac{{\left| {{S_2} - {S_1}} \right|}}{{{S_2}}} $$ (3) 而在实际应用中，需要求解的图像的模糊核与图像平面的弥散圆直径$ c $相关，根据几何关系，并结合式（3）可以推导出$ c $为
$$ c = A\frac{{\left| {{S_2} - {S_1}} \right|}}{{{S_2}}}\frac{{{f_1}}}{{{S_1}}} $$ (4) 由透镜公式（5），可根据焦距$ f $求取光学镜头到感光元件的距离$ {f_1} $：
$$ \frac{1}{f} = \frac{1}{{{f_1}}} + \frac{1}{{{S_1}}} $$ (5) 结合以上公式，弥散圆的直径可以用式（6）来表示
$$ c = \frac{{\left| {{S_2} - {S_1}} \right|}}{{{S_2}}}\frac{{{f^2}}}{{N\left( {{S_1} - f} \right)}} $$ (6) 式中：N为光学系统的F#数。可以得出，弥散圆直径的大小和F#数成反比，F#数越小的光学系统弥散圆更大。因此，弥散圆更大，导致模糊核直径更大，使得成像更为模糊，如图2所示，图2(a)的小F#数光学系统成像明显比图2(b)的大F#数光学系统成像更为模糊。
由于像差的存在，模糊核不仅由弥散圆决定， 图3所示是常见的球差和彗差。球差就是光线离透镜轴线的成像位置与通过透镜中心的光线的成像位置不同的结果。相比球差影响的是轴上物体的模糊，彗差则会导致远离光轴的物体出现扭曲。轴外物点发出的不同孔径角的光线经透镜折射后不会交于一点，而是在像面上产生一个彗星状的光斑。
1.2 图像频谱分析
自然清晰图像频谱统计学规律[14-15]通常可以使用下式来描述：
$$ |\hat x(\omega ){|^2} = c{\left\| \omega \right\|^{ - \beta }} $$ (7) 式中，$ \beta $在一般情况下取2。对于模糊图像，在相机曝光期间，相机的抖动会带来运动模糊，运动带来的模糊是沿着运动方向的，在相机直线运动的情况下，不同角度的模糊核如图4所示，其频谱角度也和模糊核角度相关。根据运动模糊核与图像模糊的关系，一部分图像去模糊的数据集就是使用人工模糊核卷积清晰图像来得到合成的模糊图像，这样制作的数据集相对成本较低。为了满足真实世界的去模糊研究，逐渐有学者设计光学系统来采集清晰模糊图像对，比如RIM J [16]构建的RealBlur数据集。此数据集采集图像的光学系统为分光镜，将一个接光口的光均匀地分到2个相机上，一个相机使用高速快门来拍摄清晰图像，另一个相机使用慢速快门来拍摄与之对应的模糊图像。
![]()
图 4 模糊核角度与频谱的关系Figure 4. Relationship between angle of blur kernel and its frequency spectrum这里随机选择了RealBlur数据集场景66的模糊图片和对应的清晰图片，如图5所示。对其作傅里叶变换得到频谱图片，可以发现，即便有清晰图像作为参照，时域模糊图像中仍然不能轻易确定模糊方向。但是在频域图片中，可以很清晰地发现模糊核的角度，并且结合清晰图像中并未有其角度的出现，可以确认其为运动模糊核的方向。可以得出，模糊频谱图像中的模糊角度等于模糊核的角度：
$$ \hat y\left( \omega \right) = \hat k\left( \omega \right) $$ (8) ![]()
图 5 模糊图像与清晰图像与其各自的频谱Figure 5. Blurred and clear images and their respective frequency spectra1.3 模糊问题的建立
1.1节中介绍了光学系统导致的模糊，得出了弥散圆直径和F#数成反比的关系，1.2节介绍了运动模糊与频谱的关系。结合式（2），可知图像复原是一个不适定问题，为了保证图像复原尽可能接近潜在的清晰图像，构建以下目标函数：
$$ Y = {d_{{\text{blur}}}}\left( {\widehat {{I_{\rm{s}}}},\widehat k,{I_{\rm{b}}}} \right) + {d_{{\text{image}}}}\left( {\widehat {{I_{\rm{s}}}}} \right) $$ (9) 式中：$ {d_{{\text{blur}}}} $为数据拟合项，用来度量恢复图像$ \widehat {{I_{\mathrm{s}}}} $与通过观测数据$ {I_{\mathrm{b}}} $和退化公式计算得到的潜在清晰图像之间的差异程度；$ {d_{{\text{image }}}} $为正则项，用来保持复原后图像的平滑性与一致性。本文将在第2.3节中详细介绍数据拟合项和正则项这两项平衡模型的拟合能力和泛化能力，以及如何使用式(9)来复原清晰图像。
2 图像去模糊方法
本节将详细介绍从模糊图像中估计点扩散函数的过程，将点扩散函数分为长度和方向两个部分，分别估计长度和角度。不同于GOLDSTEIN A [11]从图像的全局频谱对图像进行去模糊的过程，本文通过分析图像的每个局部来估计模糊核，并且在得到估计的模糊核$ \widehat k $的情况下，通过优化模糊问题的目标函数得到清晰图像。
2.1 模糊核长度估计
图像去模糊问题通常被称为逆滤波问题。对图像一个区域进行沿着给定方向$ {n_\theta } = \left( {\cos \theta ,\sin \theta } \right) $求取偏导数，可得图像的连续方向导数$ {D_\theta }u(x) $：
$$ \begin{gathered} {D_\theta }u\left( x \right) = \frac{{\partial u}}{{\partial x}}\left( {x,y} \right)\cos \theta + \frac{{\partial u}}{{\partial y}}\left( {x,y} \right)\sin \theta \\ = \iint_{{{[ - \pi ,\pi ]}^2}} {\hat u\left( \xi \right)}{\rm{i}}\left( {\xi \cdot {n_\theta }} \right){e^{{\rm{i}}\left( {x\xi } \right)}}{\rm{d}}\xi \\ = \iint_{{{[ - \pi ,\pi ]}^2}} {\hat u\left( \xi \right)\left( {{{\hat d}_\theta }} \right)\left( \xi \right)}{e^{{\rm{i}}\left( {x\xi } \right)}}{\rm{d}}\xi \\ \end{gathered} $$ (10) 式中：$ \hat u(\xi ) $表示图像的傅里叶变换；$ \left( {{{\hat d}_\theta }} \right)\left( \xi \right) $表示连续方向导数算子。对$ {D_\theta }u(x) $对称滤波后白化，得：
$$ \begin{split} \left|\left(\widehat{D_\theta I_{\mathrm{b}}}\right)\left(\xi n_\theta\right)\right|^2 & =\left|\left(\hat{d}_\theta\right)\left(\xi \mathrm{n}_\theta\right)\right|^2\left|\hat{I}_s\left(\xi {n}_\theta\right)\right|\left|\hat{{k}}\left(\xi {n}_\theta\right)\right| \\ & =c_\theta \cdot\left|\hat{k}\left(\xi n_\theta\right)\right|^2+\widehat{r_\theta^{\varepsilon}}(|\xi|) \end{split} $$ (11) 对式（11）投影至一维并且求自相关，可得：
$$ R\left( {{P_\theta }\left( {{D_\theta }v} \right)} \right)(x) = {c_\theta } \cdot R\left( {{P_\theta }(k)} \right)(x) + {\mu _\theta } $$ (12) 式中：$ R(\cdot) $是自相关的符号；$ {P}_{\theta }(\cdot) $表示在$ \theta $方向上的投影；$ {\mu _\theta } $是一个极小的数，可以忽略不计。将式（12）扩展至整幅图像上，在假设噪声已经基本去除干净的情况下，可以计算出局部图像中模糊核的能量谱：
$$ \begin{gathered} \left( {\widehat {R\left( {{P_\theta }(k)} \right.}} \right)(\xi \cos \theta ) = {\left| {\widehat {{P_\theta }(k)}(\xi \cos \theta )} \right|^2} = {\left| {\hat k\left( {\xi {n_\theta }} \right)} \right|^2} \\ \end{gathered} $$ (13) 在得到$ {\left| {\hat k\left( {\xi {n_\theta }} \right)} \right|^2} $后，能求取$ R\left( {{P_\theta }(k)} \right) $，从而求取出$ \left| {\hat k} \right| $。
2.2 模糊核估计
上一节中，从频谱的统计学规律估计出的模糊核长度是取了模糊核的最大值。为了更准确地估计出模糊核向量，从式（8）入手，将二维模糊函数根据角度分解成多个一维模糊函数$ k\left( {\left| {\hat k} \right|,\hat k\left( \theta \right)} \right) $。由于一维模糊核的高频部分都为0，可以假设其为一个理想的低通滤波器，这样不同方向的一维模糊核不会互相影响，即：
$$ {I_{\rm{b}}}*k\left( {\left| {\hat k} \right|,\hat k\left( \theta \right)} \right) = {I_{\rm{s}}}*k\left( {\left| {\hat k} \right|,\hat k\left( \theta \right)} \right)*k\left( {\left| {\hat k} \right|,\hat k\left( \theta \right)} \right) $$ (14) 选择合适一维的模糊核再次模糊图像，并不会对图像进行改变，与之对应，使用一个和原本模糊核不一致的模糊核去模糊图像时，势必导致模糊图像发生改变。为了求取真实的模糊核，最小化差异便可求取：
$$ \arg \min {\left| {{I_{\rm{b}}}*k\left( {\left| {\hat k} \right|,\hat k\left( \theta \right)} \right) - {I_{\rm{b}}}} \right|^2} $$ (15) 针对此类问题的去模糊研究，SCHULER C J等人[17]假设整幅图像的模糊核是均匀的，而GAST J等人[18]将模糊核参数化，因为离轴越远，高频成分的传输会受到更小的抑制，使得高频信息更难被滤波掉，从而出现较少的模糊现象，因此，SAMUYLOV D K等人[19]将不同位置的点扩散函数的大小使用高斯函数来进行描述。遵循以上的理论，将模糊核的长度与高斯函数相关联，定义成式（16）：
$$ K(x,y,\left| {\hat k} \right|) = \frac{1}{{2\pi {{\left| {\hat k} \right|}^2}}}\exp \left( { - \frac{{{x^2} + {y^2}}}{{2{{\left| {\hat k} \right|}^2}}}} \right) $$ (16) 式中：$ x $和$y$分别表示距离纵轴和水平轴的距离。因此，可以将模糊过程建模成下式：
$$ {I_{\mathrm{b}}}(x,y) = {I_{\text{s}}}(x,y)*K(x,y,\left| {\hat k} \right|) $$ (17) $$ {I_{\mathrm{b}}}(x,y) = \displaystyle\sum\limits_{i = x - \tfrac{{l - 1}}{2}}^{x + \tfrac{{h - 1}}{2}} {\displaystyle\sum\limits_{j = y - \tfrac{{h - 1}}{2}}^{y + \tfrac{{l - 1}}{2}} {{I_{\mathrm{s}}}} } (i,j) \cdot G\left( {x - i,y - j,\left| {\hat k} \right|} \right) $$ (18) 式中：$ h,l $分别表示图像的长和宽。
2.3 清晰图像获取方法
本节解释在得到估计的模糊核$ \widehat k $的情况下，如何通过优化方法复原出一幅清晰图像。根据在1.3节构建的模糊问题的目标函数：
$$ Y = {d_{{\text{blur}}}}\left( {\widehat {{I_{\rm{s}}}},\widehat k,{I_{\rm{b}}}} \right) + {d_{{\rm{image}}{\text{ }}}}\left( {{I_{\rm{b}}}} \right) $$ (19) 使用第1项数据拟合项评估复原后图像与潜在清晰图像之间的差异程度，来保证复原后的图像符合基本假设。根据模糊过程的退化模型式（2），将其定义为
$$ {d_{{\text{blur }}}}\left( {\widehat {{I_{\rm{s}}}},\widehat {{k}},{I_{\rm{b}}}} \right) = {\left\| {\widehat {{k}} * \widehat {{I_{\rm{s}}}} - {I_{\rm{b}}}} \right\|^2} $$ (20) 同时，使用正则化项来约束解空间，其目的是为了保证图像的光滑程度，并且确保复原后的图像与潜在的清晰图像之间的差异最小化。参考文献[20]提出的针对L1正则化的优化方法，将其应用于此问题，并定义为
$$ {d_{{\text{image}}}}\left( {\widehat {{I_{\mathrm{s}}}}} \right) = \mu \sum\limits_{i = 0}^{N - 1} {\sum\limits_{j = 0}^{N - 1} {\left| {\nabla {{\hat I}_{{{\text{s}}_{i,j}}}}} \right|} } $$ (21) 复原后的图像应保证其模糊过程，并且避免反卷积过程带来的噪声，因此，通过最小化$ Y $得到清晰图像，将问题转化为
$$ \mathop {\arg \min }\limits_{{I_{\rm{b}}},{I_{\rm{s}}}} \sum\limits_{i,j} {\left| {\nabla {{\hat I}_{{{\rm{s}}_{i,j}}}}} \right|} + \sum\limits_{i,j} {{{\left( {{{\widehat K}_{i,j}} * {{\hat I}_{{{\rm{s}}_{i,j}}}} - {I_{{{\rm{b}}_{i,j}}}}} \right)}^2}} $$ (22) 在实际操作中，为了减轻在反卷积过程中产生的伪影所导致的边界不连续性，模糊图像$ {I_{\mathrm{b}}} $会通过边缘衰减[21]进行预处理。这种衰减是通过使用估计的卷积核对图像进行环形模糊并混合2个图像来完成的，以便在保持原始模糊图像${I_{\rm{b}}}$位于图像域的中心部分的同时，将重新模糊的图像$K*{I_{\rm{s}}}$保留在边界周围。
3 实验
3.1 运动模糊数据集的图像复原实验
为了更好地验证算法对运动模糊图像的复原效果，实验选取了SUN L [22]等人构建的灰度运动模糊图像数据集中的10个场景，如图6所示，第1列从左到右分别是场景1～场景5，第2列分别是场景6～场景10。实验使用CHO S [13]等人、LEVIN A [23]等人、KRISHNAN D [7]等人和BAI Y [24]等人提出的几种经典算法对模糊图像进行复原，并与本文算法进行比较，对场景1的复原效果如图7所示。本文提出的算法复原结果与其他经典复原算法结果进行比较，发现本文提出的算法复原图像在主观上和客观上均有一定的提升，在10个场景上的复原结果对比如表1所示。
由表1可知，最好的结果用加粗表示，平均PSNR（peak signal-to-noise ratio）相较BAI Y[24]等人提出的方法提升了2.01 dB，SSIM（structural similarity index）则提升了
0.0605 。从结果可以看出，本文提出的算法更稳定，其他方法波动较大，可能原因是因为本文方法基于频域假设，受空域场景变化影响较小，其他基于空域的方法随场景的变化波动较大。表 1 算法结果对比图Table 1. Comparison of algorithm resultsPSNR/SSIM CHO S[13] KRISHNAN D[7] LEVIN A[23] BAI Y[24] 本文算法 场景1 19.43/ 0.5652 22.01/ 0.7776 20.69/ 0.7259 24.82/ 0.7729 25.21/ 0.8079 场景2 31.56/ 0.8383 28.83/ 0.8357 27.91/ 0.8159 32.42/ 0.8777 30.75/ 0.8895 场景3 16.31/ 0.4978 20.85/ 0.7306 21.95/ 0.7597 27.75/ 0.8604 28.09/ 0.8831 场景4 25.05/ 0.8331 25.30/ 0.8332 23.21/ 0.7502 29.53/ 0.8975 34.20/ 0.9564 场景5 13.70/ 0.3240 21.84/ 0.7632 22.28/ 0.7618 21.88/ 0.6655 30.76/ 0.9278 场景6 19.96/ 0.6288 25.87/ 0.8031 27.92/ 0.8329 37.52/ 0.9497 31.98/ 0.8940 场景7 25.41/ 0.7745 21.93/ 0.7551 32.93/ 0.9189 34.00/ 0.9051 35.29/ 0.9098 场景8 18.50/ 0.3377 22.07/ 0.6639 20.15/ 0.5620 27.14/ 0.8218 30.76/ 0.9153 场景9 18.14/ 0.5386 26.55/ 0.8144 27.63/ 0.8314 24.55/ 0.7605 32.24/ 0.9330 场景10 21.05/ 0.6468 20.54/ 0.6931 20.68/ 0.3633 27.42/ 0.8821 27.86/ 0.8968 平均 20.91/ 0.5985 23.58/ 0.7667 24.54/ 0.7322 28.70/ 0.8393 30.71/ 0.8998 3.2 静态像差图像的采集
为了采集真实像差图像，实验构建了如图8所示的短波红外图像采集系统来采集静态像差图像。待探测的目标通过光学系统将辐射、反射和散射会聚到短波红外探测器的光敏面上，短波红外探测器将其转化为电信号，在试验机上输出的图像如图9所示。该原始图像通过FPGA以及ARM处理增强后传递到上位机，上位机得到的图像就是最终的图像。光学系统的焦距为50 mm，成像趋近于无穷远成像，调节光学系统的光学系统与焦平面的距离。当光学系统的F# 数为1.8时，在0.1 ms积分时间下，采集的图像如图10(a)所示；当光学系统的F# 数为10时，在1 ms积分时间下，采集的图像如图10(d)所示。可以发现，F#1.8光学系统由于像差的增大，图像明显更为模糊，这和本文在1.1节中描述的一致。
3.3 静态像差图像的复原实验
针对采集的红外静态像差图像图10(a)和图10(c)，实验使用上文提出的算法对图像进行复原，得到图10(b)和图10(f)。从主观感受上来看，复原图像质量相比复原前有一定的提升，复原图像相比模糊图像边缘更为锐利，证明其能恢复图像锐利的本质，并且清晰图像没有出现图像的突变，证明式(19)的正则项能很好地避免图像突变，具体细节如图10中红色窗口所示，复原前远处的窗口比较模糊，复原之后能清晰分辨出窗口。为了更好地分析处理结果，依据结构相似性(SSIM)的定义[25]，计算复原图像和模糊图像之间的结构相似性指数映射(SSIM index map)。图像x和图像y之间的差异程度计算方法如式（23）所示：
$$ \begin{split} D_{{\mathrm{SSIM}}}(x,y) &= \frac{{\left( {2{\mu _x}{\mu _y} + {C_1}} \right)\left( {2{\sigma _{xy}} + {C_2}} \right)}}{{\left( {\mu _x^2 + \mu _y^2 + {C_1}} \right)\left( {\sigma _x^2 + \sigma _y^2 + {C_2}} \right)}} \\ &= \frac{{\left( {2{\mu _{\overline x }}{\mu _{\overline y }} + K_1^2} \right)\left( {2{\sigma _{\overline x \overline y }} + K_2^2} \right)}}{{\left( {\mu _{\overline x }^2 + \mu _{\overline y }^2 + K_1^2} \right)\left( {\sigma _{\overline x }^2 + \sigma _{\overline y }^2 + K_2^2} \right)}} \end{split} $$ (23) 式中：$ {\mu _x} $和$ {\mu _y} $分别表示图像x和图像y的均值；$ {\sigma _x} $和$ {\sigma _y} $分别表示图像x和图像y的标准差；$ {\sigma _{xy}} $表示协方差；$ {C}_{1}={\left({K}_{1} L\right)}^{2} $；$ {C}_{2}={\left({K}_{2} L\right)}^{2} $，${K_1}$取0.01,${K_2}$取0.01。
根据以上公式，绘制F#数1.8和F#数10的差异图，分别如图10(c)和图10(g)所示。差异图中越暗的部分表示损失越多，越亮的部分表示损失越少。比较差异图10(c)与图10(g)可以发现，图10(c)相比图10(g)明显黑色部分更多，说明算法对小F#数的模糊图像变化量更大，可以推断本文算法对小F#数光电系统成像的复原效果更明显。根据模糊核的估计结果图10(d)和图10(h)，可以看出，模糊核估计结果大致由中间明亮圆加上周围圆环组成，与球差的形状类似，因此可以推测本文提出的算法能针对球差图像进行复原。
4 结论
本文提出了一种基于谱分析的解决高通量红外成像模糊的算法。该算法通过逐步估计模糊核的长度和角度，求得较为准确的模糊核，再通过构建的模糊问题优化目标函数来得到清晰图像。实验在运动模糊图像数据集上取得了一定的复原效果，并且在实验室条件下采集了不同大小F#数的短波红外静态像差图像，本文算法对此有明显的复原效果，验证了算法在高通量光学系统上成像模糊去除的潜力。本文方法可以泛化至一般像差或模糊图像，但是效果受频谱假设限制。
-
![]()
图 4 模糊核角度与频谱的关系
Figure 4. Relationship between angle of blur kernel and its frequency spectrum
![]()
图 5 模糊图像与清晰图像与其各自的频谱
Figure 5. Blurred and clear images and their respective frequency spectra
表 1 算法结果对比图
Table 1 Comparison of algorithm results
PSNR/SSIM CHO S[13] KRISHNAN D[7] LEVIN A[23] BAI Y[24] 本文算法 场景1 19.43/ 0.5652 22.01/ 0.7776 20.69/ 0.7259 24.82/ 0.7729 25.21/ 0.8079 场景2 31.56/ 0.8383 28.83/ 0.8357 27.91/ 0.8159 32.42/ 0.8777 30.75/ 0.8895 场景3 16.31/ 0.4978 20.85/ 0.7306 21.95/ 0.7597 27.75/ 0.8604 28.09/ 0.8831 场景4 25.05/ 0.8331 25.30/ 0.8332 23.21/ 0.7502 29.53/ 0.8975 34.20/ 0.9564 场景5 13.70/ 0.3240 21.84/ 0.7632 22.28/ 0.7618 21.88/ 0.6655 30.76/ 0.9278 场景6 19.96/ 0.6288 25.87/ 0.8031 27.92/ 0.8329 37.52/ 0.9497 31.98/ 0.8940 场景7 25.41/ 0.7745 21.93/ 0.7551 32.93/ 0.9189 34.00/ 0.9051 35.29/ 0.9098 场景8 18.50/ 0.3377 22.07/ 0.6639 20.15/ 0.5620 27.14/ 0.8218 30.76/ 0.9153 场景9 18.14/ 0.5386 26.55/ 0.8144 27.63/ 0.8314 24.55/ 0.7605 32.24/ 0.9330 场景10 21.05/ 0.6468 20.54/ 0.6931 20.68/ 0.3633 27.42/ 0.8821 27.86/ 0.8968 平均 20.91/ 0.5985 23.58/ 0.7667 24.54/ 0.7322 28.70/ 0.8393 30.71/ 0.8998 
下载: 导出CSV
-
[1] YUAN H, YAN F, CHEN X, et al. Compressive hyperspectral imaging and super-resolution[C]//2018 IEEE 3rd International Conference on Image, Vision and Computing (ICIVC). New York: IEEE, 2018: 618-623.
[2] BIJL P, BEINTEMA J A, DIJK J, et al. Effectiveness assessment of signal processing in the presence of smear[J].SPIE, 2012, 51(6): 063205.
[3] RICHARDSON W H. Bayesian-based iterative method of image restoration[J]. Journal of the Optical Society of America, 1972, 62(1): 55-59. doi: 10.1364/JOSA.62.000055
[4] KAM Z, HANSER B, GUSTAFSSON M, et al. Computational adaptive optics for live three-dimensional biological imaging[J]. Proceedings of the National Academy of Sciences, 2001, 98(7): 3790-3795. doi: 10.1073/pnas.071275698
[5] HAMPSON K M, TURCOTTE R, MILLER D T, et al. Adaptive optics for high-resolution imaging[J]. Nature Reviews Methods Primers, 2021, 1(1): 68. doi: 10.1038/s43586-021-00066-7
[6] LEVIN A, WEISS Y, DURAND F, et al. Understanding and evaluating blind deconvolution algorithms[C]// IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2009: 1964-1971.
[7] KRISHNAN D, TAY T, FERGUS R. Blind deconvolution using a normalized sparsity measure[C] //IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2011: 233-240.
[8] ROSTAMI M, MICHAILOVICH O, WANG Z. Image deblurring using derivative compressed sensing for optical imaging application[J]. IEEE Transactions on Image Processing, 2012, 21(7): 3139-3149. doi: 10.1109/TIP.2012.2190610
[9] WHYTE O, SIVIC J, ZISSERMAN A, et al. Non-uniform deblurring for shaken images[J]. International Journal of Computer Vision, 2012, 98: 168-186. doi: 10.1007/s11263-011-0502-7
[10] SHI J, XU L, JIA J. Discriminative blur detection features[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2014: 2965-2972.
[11] GOLDSTEIN A, FATTAL R. Blur-kernel estimation from spectral irregularities[C] // European Conference on Computer Vision. Berlin: Springer , 2012: 622-635.
[12] FERGUS R, SINGH B, HERTZMANN A, et al. Removing camera shake from a single photograph[J]. ACM Transactions on Graphics(TOG)-Proceedings of ACM SIGG RAPH, 2006, 25(3): 787-794.
[13] CHO S, LEE S. Fast motion deblurring[J]. ACM Transactions on Graphics(TOG)- Proceedings of ACM SIGG RAPH Asia, 2009, 28(5): 1-8.
[14] BURTON G J, MOORHEAD I R. Color and spatial structure in natural scenes[J]. Applied Optics, 1987, 26(1): 157-170. doi: 10.1364/AO.26.000157
[15] FIELD D J. Relations between the statistics of natural images and the response properties of cortical cells[J]. Journal of the Optical Society of America A, 1987, 4(12): 2379-2394. doi: 10.1364/JOSAA.4.002379
[16] RIM J, LEE H, WON J, et al. Real-world blur dataset for learning and benchmarking deblurring algorithms[C]//European Conference on Computer Vision. [S. l. ]: arxiv, 2020: 184-201.
[17] SCHULER C J, HIRSCH M, HARMELING S, et al. Learning to deblur[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 38(7): 1439-1451.
[18] GAST J, SELLENT A, ROTH S. Parametric object motion from blur[C] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2016: 1846-1854.
[19] SAMUYLOV D K, PURWAR P, SZÉKELY G, et al. Modeling point spread function in fluorescence microscopy with a sparse gaussian mixture: tradeoff between accuracy and efficiency[J]. IEEE Transactions on Image Processing, 2019, 28(8): 3688-3702. doi: 10.1109/TIP.2019.2898843
[20] GOLDSTEIN T, OSHER S. The split Bregman method for L1-regularized problems[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 323-343. doi: 10.1137/080725891
[21] REEVES S J. Fast image restoration without boundary artifacts[J]. IEEE Transactions on Image Processing, 2005, 14(10): 1448-1453. doi: 10.1109/TIP.2005.854474
[22] SUN L, CHO S. , WANG J, et al. Edge-based blur kernel estimation using patch priors[C]// IEEE International Conference on Computational Photography (ICCP) . New York: IEEE, 2013: 1-8.
[23] LEVIN A, WEISS Y, DURAND F, et al. Efficient marginal likelihood optimization in blind deconvolution[C]//IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2011: 2657-2664.
[24] BAI Y, CHEUNG G, LIU X, et al. Graph-based blind image deblurring from a single photograph[J]. IEEE Transactions on Image Processing, 2018, 28: 1404-1418.
[25] ZHOU W, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612. doi: 10.1109/TIP.2003.819861
计量
- 文章访问数: 93
- HTML全文浏览量: 11
- PDF下载量: 56
陕公网安备 61011302001501号 