Correction methods for water fluctuation and underwater turbulence degraded imaging
-
摘要: 水面波动对水下图像造成的畸变和水体湍流造成的模糊等严重制约了空中对水下目标探测、水下透空目标警戒、海上搜救等的应用，实现畸变和湍流校正具有重要的意义。综述了复原水面波动和水体湍流引起的图像失真的研究进展，给出了基于幸运块(lucky patch)选择的校正、基于图像配准的校正、基于水面波形估计的校正和基于图像退化模型的校正四大类方法的特点及典型的图像复原效果，并分析了复原水面波动和水体湍流退化图像复原方法进一步深入研究的内容。Abstract: Underwater image suffers from distortions and blurs due to water fluctuations and underwater turbulence that restricts the development of underwater surveillance, underwater target alert in the air, maritime search severely. The realization of distortion and turbulence correction has great significance. Most recent developments for the degraded image by water fluctuations and underwater turbulence are reviewed in this paper, and four methods and typical image restoration results based on lucky patch, image registration, water-waveestimation and image degradation model are summarized accordingly. Further research directions for restoring underwater degraded image are analyzed at the end of the paper.
-
Keywords:
- water fluctuation /
- underwater turbulence /
- image restoration /
- image registration /
- lucky patch
-
引言
我国是拥有较长海岸线的大国，领海中蕴藏着丰富的动植物和矿产资源，海路是我国海外能源运输的主要通道。只有准确、可靠、系统地获取海洋数据，对海洋环境做出科学、合理和准确的评价，才能为海洋经济发展、海洋资源开发利用、海洋减灾防灾、海洋环境保护、海洋权益维护和海洋可持续发展提供科学的数据和信息依据。另一方面，由于与周边国家存在海域(如钓鱼岛、南海岛屿)的归属争议，特别是近年来某些域外国家的插手，更加剧了周边海域的主权和资源争夺，甚至引发战事争端的可能。不仅东海、南海海面舰艇游弋，水下潜艇蛰伏，而且一旦战事爆发，在沿海布置水雷或破坏水下光缆和输油管道，将对信息通道和海上能源通道造成极大的威胁。因此，对水下潜艇、水雷、水下通信光缆、海底输油/送气管道等目标的探测技术是中国，也是国际沿海发达国家重点发展的关键技术。
目前，水下目标成像探测主要有星载、机载、水面和水下等几种工作平台，探测技术主要发展了声波成像、光电成像和雷达成像等几种探测技术途径。在水下目标光电成像探测技术中，除常规的可见光(摄像、照相)成像系统外，基于532 nm蓝绿激光传输窗口的单点扫描成像、脉冲线状同步推扫成像和凝视激光距离选通成像技术已成为当前主要的技术途径，可滤除水面的反射和水体的后向散射影响，有效增加水下目标成像探测的作用距离。然而，由于水面波纹以及水体湍流的影响，形成成像视场的光场非均匀性变异，造成成像畸变，获得的图像相比于真实图像存在严重的扭曲失真以及局部的虚焦模糊。
与空中成像相比，由于水体严重的消光效应，使得水下较短的路径上就会形成较为明显的图像对比度损失，图像序列帧间局部运动明显，尤其是通过水-空气界面观察时更为显著，而且由于水面波动往往是复杂的随机运动，更使得这种失真图像的复原困难重重。本文将综述近年来国内外对水面波纹和水体湍流退化图像复原方法相关研究的进展，分析其特点，为进一步的深入研究奠定基础。
1 基于幸运块选择的复原方法
幸运块选择方法最早用于大气图像处理，它是基于有动态相位失真的不同的短曝光图像序列，包含随机局域高质量的图像[2]。假设观察水下一固定点，由于水面的波动使得该点图像发生扭曲，然而总有一个时刻水面在该点处是个平面，那么探测器就会获得该点的未失真图像；通过多帧图像找出每个点的未失真区域进行拼接，就可获得整幅未失真图像。
算法一般需要先对图像序列做分块处理，然后根据一个判定标准来挑选失真最小的区域，最后做图像拼接融合。算法的难点是这个判定标准的确定方法。
2005年，卡内基梅隆大学Alexei A. Efros等把幸运块选择的思想应用到水下图像处理，提出从统计学的角度看待水面波纹引起的图像扭曲[1]。假定水面波纹引起的水下目标图像降质满足高斯分布，采用最短路径法确定高斯分布中心，用正交相关算法计算路径。但该方法存在泄露问题，与时间平均法相比，复原图像边缘比较锐利。图 1为应用800帧图像用不同的方法重建出的结果。
由于幸运块图像的简单拼接和融合易造成图像信息的丢失，导致几何失真和模糊。2010年Zhiying Wen等提出了基于双谱分析技术(双谱分析技术一般用在天文图像去除大气湍流引起的模糊)的幸运块融合方法[22]。该方法具有在保持相位的同时高斯分布噪声为零的特性。在幸运块融合时，首先根据双谱分析技术，计算出每个幸运块的傅里叶振幅和相位，然后在相邻块部分重叠的区域形成马赛克图像，最后再重建和输出图像，如图 2所示。
美国海军研究实验室A.V. Kanaev等对水下图像的复原做了一系列研究[3-6]。2011年A.V. Kanaev总结提出了基于光流法的幸运块复原水下图像算法的一般步骤[3](见图 3所示)，并比较了基于Sun光流法[35]和Brox光流法[36]的处理效果，如图 4所示。图 4中局域图像质量图的计算是通过图像的拉普拉斯变换与高斯函数做卷积得到的。
2014年，A.V. Kanaev提出以结构张量为导向的图像质量度量(STOIQ)估计图像质量[5]，并对水体湍流退化图像的复原结果与其他算法进行了比较[5-6]，如图 5所示。结果表明：与标准的基于各向异性核方法相比，该方法具有更高的分辨率和更低的噪声水平；与盲解卷积法、双谱技术相比，具有更好的处理大量数据的能力。表 1给出了图 5各方法的结构相似性指数SSIM和归一化互信息NMI指数，可以看出基于STOIQ的幸运块方法效果最为明显。
![]()
图 5 STOIQ幸运块法与其他方法的比较Figure 5. Comparison of STOIQ lucky patch between other algorithms均值图像 标准幸运块方法 两步法图像复原 盲解卷积发 双谱技术 STOIQ幸运块算法 SSIM 0.18 0.13 0.23 0.2 0.21 0.26 NMI 1.13 1.11 1.13 1.11 1.11 1.14 对于基于幸运块选择的复原方法，幸运块的选择方法是需要研究的重点和难点。
2 基于图像配准的复原方法
图像配准在图像畸变校正中有着重要的作用[9-11]。对畸变图像进行配准能在一定程度上有效地降低单幅图像的畸变，为接下来的图像处理奠定基础。
2011年中佛罗里达大学Omar Oreifej等研究了透过水面成像两步法图像复原方法[8]。该方法不需要已知波面的先验信息，每一步都针对一种特定的噪声：1)应用迭代鲁棒的配准算法[38]对水面波纹图像序列进行处理，去除水面波纹引入的结构噪声；2)采用rank minimization方法[37]去除非结构的稀疏噪声，如图 6所示。图 7是两步法图像复原方法和时间平均图像复原方法的效果比较。该算法缺点是计算量较大，扭曲严重部分会出现严重的模糊。
2012年，西北工业大学李磊等研究了一种结合序列图像配准和最优块选择的水面波纹退化图像复原算法[12]。首先通过一种序列迭代图像配准算法消除视频帧中严重的几何畸变，并获得相应的水波表面三维形状；然后利用最优图像块选择算法从校正图像序列中合成出无失真的水下场景图像。实验表明：与主流的图像配准结合稀疏噪声滤波方法相比，能够获得更清晰的视觉效果，并具有更高的计算效率。图 8给出一组失真图像的复原效果[12]。
2013年张志强提出一种对扭曲景象序列三维重建迭代方法[14]，对扭曲图像做配准和最优块选择处理后，再对图像做多视三角化重建。同年，中科院自动化所杨波等对扭曲图像复原做了一系列研究：1)为了提高配准性能，提出用残余复杂性相似度方法来代替全局相似度方法，并在每次配准后都对图像细化处理来消除尖锐边缘[15]；2)提出了基于配准图像质量指数的图像融合方法[16]。首先利用基于B样条的非刚性配准技术对图像序列中每幅图像的局部畸变进行校正，然后计算每幅校正图像质量指数，利用图像的互补信息进行融合。
2014年，新南威尔士大学Kalyan K. Halder等提出了一种几何扭曲失真图像序列的迭代校正方法[17]，算法与文献[8]相似，只是在第二阶段对序列的所有图像应用了非局域均值滤波来补偿非结构随机噪声。图 9给出了一幅图像复原处理的结果。且计算了均方误差MSE(数值小图像质量好)，峰值点扩散函数PPSF和通用图像质量指数(UIQI评价指数)，见表 2所示，证明该方法与文献[8]算法相比有较大提升。
2014年，Wenrui Hu等提出了基于运动场核回归的方法[18]。首先应用图像配准方法产生配准帧和相应的运动场，然后通过计算局域运动量检测配准帧中一组不变的块，最后应用一个时间核回归把得到的块重建成一个不失真的图像，处理结果如图 10所示。表 3给出了图 10中各方法的峰值信噪比PSNR(peak signal-to-noise ratio)和互信息MI(mutual information)指数。
基于图像配准的方法一般需要迭代，计算量较大，简化算法、减少迭代次数非常必要。如果有先验知识作为参考可提高配准精度和减少迭代次数，但有时会引入运动模糊。
3 基于水面波形估计的复原方法
基于水面波形估计方法首先根据图像序列计算估计出水表面的波形，然后根据波形形状复原扭曲的图像。2008年，俄罗斯科学院斯拉夫海洋研究所Iosif M. Levin等研究了水面扭曲图像的复原方法[27]，设计了一套如图 11所示的实验装置，采用水体透射的绿色光源和水体反射的红色脉冲光源两种照明方式，相机对两种光源实行分时选通成像，获得两幅图像，红色光源图像可获得波浪表面的信息，绿色光源图像可获得扭曲图像和波浪表面信息的图像，通过两者的处理可复原出原始图像。算法处理结果如图 12所示。可以看出，算法效果较好，不过实验装置及其控制较为复杂。
![]()
图 11 基于水面波形估计的双波段水下成像方法1.水表面；2.玻璃片；3.漫射光源(绿色)；4.被测物体；5.平行光源(红色)；6.相机Figure 11. Dual band underwater imaging method based on water surface自2009年，卡内基梅隆大学的Yuandong Tian等研究了扭曲图像的复原方法[19-20]，提出一种基于模型的跟踪算法，首先根据波动方程建立了空间失真模型，特别是建立了图像失真模拟器，由于水表面波动大部分是光滑的，因此可以得到一个降阶的图像失真空间模型来减少参数，然后把模型拟合到每一帧来估计每一时刻的水面形状，最后应用估计出的水面来复原原始场景。相比于其他算法，该算法不需要图像配准，先验知识和主动照明，但是没有考虑到运动模糊。
2012年，Yuandong Tian等研究了一种数据驱动的迭代算法[21]，并引入了“拉”(pull-back)的操作。能够通过应用训练样本来预测图像的参数，这些训练样本在参数空间是不相邻的，并且证明了算法在应用较少的样本数量下就可以收敛于全局最优值，样本数量随着所需精度的对数增加。算法处理结果如图 13所示。表 4给出了图 13中扭曲图像和处理后图像的均方误差MSE，可以看出MSE均下降50%以上。
扭曲图像 文献[21]方法 微小字体 0.072 0.044 4 小字体 0.102 9 0.046 1 中等字体 0.155 1 0.059 7 2014年，Kalyan Kumar Halder[23]和Mingjie Zhang[24]分别对扭曲表面的估计和三维重建进行了研究。Kalyan Kumar Halder等提出了一种基于广义回归神经网络(GRNN)的水面扭曲估计的方法。GRNN使用前一帧的历史信息对接下来一帧的扭曲进行先验估计。应用光流技术来确定拍摄帧相对于第一帧的密集运动场，同时该方法也考虑到了与邻近像素的依存关系。Mingjie Zhang等人提出了一个迭代优化的算法来重建失真和沉浸场景的深度，然后用来推断三维流体的表面。利用扭曲的和模糊的信息，重建三维流体表面的形状和沉浸的场景的结构。建立了有限孔径成像系统的折射几何模型，根据模型扭曲和折射模糊的多少取决于流体表面的形状、场景深度和相机参数。然后根据提出的迭代优化算法重建失真和沉浸场景的深度，进而推断三维流体的表面。
2015年，Karthik Seemakurthy等分别提出了去除单向循环波和圆形波纹引起的运动模糊的方法[25]。针对单向循环波的情况，建立了由于单向模糊引起的状态循环波可以被视为空间不变的条件，进一步推导了模糊形成的数学模型。算法的前提是假设光线受到的衰减和散射可以忽略不计，引起失真的唯一因素是水面动态的折射引起的。算法输入由于水面波动引起的模糊图像和初始化的点扩散函数(PSF)，然后去除噪声并估计出图像的梯度值，根据得到的图像梯度值和初始化的PSF来优化估计新的PSF，最后再根据新的PSF估计图像梯度，直到达到迭代条件。算法处理结果如图 14所示。表 5列出了图 14中各方法的PSNR、SSIM和NMI指数。
PSNR/dB SSIM NMI 模糊图像 文献[19]算法 文献[8]算法 Karthik算法 模糊图像 文献[19]算法 文献[8]算法 Karthik算法 模糊图像 文献[19]算法 文献[8]算法 Karthik算法 第1行图像 27.218 4 27.620 5 27.971 8 28.719 0.865 2 0.873 4 0.884 9 0.891 3 1.202 8 1.202 8 1.209 1.282 9 第2行图像 27.042 1 23.349 4 22.053 1 25.412 2 0.688 1 0.759 0.789 2 0.850 6 1.235 4 1.246 3 1.243 7 1.261 7 第3行图像 24.246 1 23.865 3 23.746 4 25.652 1 0.781 9 0.187 4 0.765 0.836 4 1.153 8 1.157 3 1.145 1.165 第4行图像 23.505 1 23.349 4 23.399 5 24.714 2 0.819 8 0.876 6 0.886 8 0.914 1.170 7 1.148 8 1.170 7 1.180 2 对于圆形波纹的情况，作者揭示了圆形涟漪(虽然空间不同)引起模糊的机理，并在极性域(polar domain)上建模，进而提出了校正的方法。与第一种情况相比，算法上只是在模糊图像处理之前先把它转换到极性域，最后处理完之后再转换回来，算法处理结果如图 15所示。表 6列出了图 15中各方法的PSNR、SSIM和NMI指数。尽管图像平面产生的几何失真是局部的，但是作者通过单一方向的循环波纹和圆形涟漪的全局变换来表达这些局部失真。这样可以大大降低计算复杂度。
PSNR/dB SSIM NMI 模糊图像 文献[19]算法 文献[8]算法 Karthik算法 模糊图像 文献[19]算法 文献[8]算法 Karthik算法 模糊图像 文献[19]算法 文献[8]算法 Karthik算法 第1行图像 23.216 1 22.389 7 22.063 7 24.799 4 0.922 5 0.906 0.862 6 0.940 5 1.278 4 1.269 5 1.276 1.287 7 第2行图像 26.435 3 25.171 8 24.634 2 27.259 6 0.936 6 0.939 0.903 4 0.940 1 1.307 3 1.294 7 1.280 9 1.380 4 第3行图像 23.192 21.976 7 20.126 4 24.869 0.9454 0.932 5 0.879 7 0.952 1.307 2 1.308 1 1.309 1.313 3 第4行图像 23.854 7 22.820 5 21.675 5 24.301 0.929 0.892 8 0.848 1 0.931 9 1.202 9 1.278 1.254 4 1.284 7 基于水面波形估计的复原方法适用于大多数水面波纹引起的退化图像的复原，不需要先验知识，对扭曲和模糊都有一定的效果。
4 基于图像退化模型的复原方法
基于水下成像模型的复原方法是将光源、传输介质、传感器等因素结合，建立退化图像与原图像的函数关系，对退化图像做逆变换的传统复原方法。
假定输入图像为f(x, y)，退化函数与加性噪声项分别为h(x, y)和η(x, y)，则输出图像及其频域可表示为
$$ g\left( {x, y} \right) = h\left( {x, y} \right) * f\left( {x, y} \right) + \eta \left( {x, y} \right) $$ (1) $$ G\left( {u, \upsilon } \right) = H\left( {u, \upsilon } \right)F\left( {u, \upsilon } \right) + N\left( {u, \upsilon } \right) $$ (2) 整体退化函数应为相机系统退化函数与传输介质退化函数共同作用的结果，可表示为
$$ H\left( {u, \upsilon } \right) = H_{{\rm{system}}}^{{\rm{optical}}}\left( {u, \upsilon } \right){H_{{\rm{medium}}}}\left( {u, \upsilon } \right) $$ (3) 水体介质对光线传输的主要作用是吸收和散射，其中吸收是造成图像亮度降低的因素，而散射是造成图像模糊的因素。目前较为知名的水下成像模型为Jaff-McGlamery模型[26-27]，认为相机接收的光是由物体的直接反射光Ed、前向散射部分光Ef以及后向散射光Eb 3部分叠加而成，相机接收到的总照度为
$$ {E_T} = {E_d} + {E_f} + {E_b} $$ (4) 直接反射光表达式为
$$ \begin{array}{l} {E_d}\left( {x, y} \right) = {E_1}\left( {x, y} \right)\exp \left( { - c{R_c}} \right)\frac{{M\left( {x', y'} \right)}}{{4F}} \times \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;{T_l}{\cos ^4}\theta {\left[ {\frac{{{R_c} - {F_l}}}{{{R_c}}}} \right]^2} \end{array} $$ (5) 式中：El是目标场景坐标(x′, y′)点的辐射出射度；Rc是点(x′, y′)到相机的距离；M(x′, y′)是目标表面的反射函数，对于海洋目标，通常有0.02＜M(x′, y′)＜0.1。相机系统特性包括F(相机的F数)，T1(镜头的透过率)以及Fl(镜头焦距)。θ是场景坐标(x′, y′)与相机连线同相机光轴所成夹角。
前向散射光认为是直接反射光与点扩散函数g的卷积：
$$ {E_f}\left( {x, y} \right) = {E_d}\left( {x, y} \right) * g\left( {x, y, {R_c}, G, c, B} \right) $$ (6) 点扩散函数g表示为
$$ \begin{array}{l} g\left( {x, y, {R_c}, G, c, B} \right) = \left[ {\exp \left( { - G{R_c}} \right) - \exp \left( { - c{R_c}} \right)} \right]\\ \widetilde {\mathscr{S}}{^{ - 1}}\left\{ {\exp \left( { - B{R_c}\omega } \right)} \right\} \end{array} $$ (7) 式中：G是经验因子，并有|G|＜c；B是阻尼函数；$\widetilde {\mathscr{S}}$代表傅里叶逆变换；w为径向频率。实验表明上述点扩散函数对于小角度散射是适用的。
后向散射光表达式：
$$ \begin{array}{l} {E_b}\left( {x, y} \right) = {E_{b, d}}\left( {x, y} \right) + {E_{b, d}}\left( {x, y} \right) * \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;g\left( {x, y, {R_c}, G, c, B} \right) \end{array} $$ (8) Eb, d(x, y)表示后向散射光中的主要部分：
$$ \begin{array}{l} {E_{b, d}}\left( {x, y} \right) = \mathop \Sigma \limits_{i = 1}^N \exp \left( { - c{Z_{ci}}} \right)\beta \left( {{\phi _b}} \right){E_s}\left( {x', y', z'} \right) \times \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\frac{{{\rm{ \mathit{ π} }}\Delta {Z_i}}}{{4{F^2}}} \times {\cos ^3}\theta {T_l}{\left[ {\frac{{{Z_{ci}} - {F_l}}}{{{Z_{ci}}}}} \right]^2} \end{array} $$ (9) 式中：ΔZi为后向散射元ΔVi的厚度；Zci为相机某点到后向散射截面的距离；β(ϕb)为体散射函数；Es(x′, y′, z′)为光源在三维空间传播过程的辐照度。
Jaff-McGlamery模型完备地给出了退化图像与光源、传输介质、接收系统的关系，但是公式较复杂，参数众多，在实际情况中很难使用。2006年在Jaff-McGlamery模型基础上，Trucco提出了一种基于简化Jaff-McGlamery模型的自适应图像复原滤波器[28]，提出了2个重要假设：1)光源为均匀照明(适合于浅水区阳光垂直照射)；2)忽略后向散射光，只考虑前向散射光对图像造成的退化影响。对前向散射光公式进行简化，将e指数之差写为经验常数K′(典型值0.2＜K＜0.9)：
$$ K = \exp \left( { - G{R_c}} \right) - \exp \left( { - c{R_c}} \right) $$ (10) 根据以上假设，并且参数B在实际情况下可由c近似，得到简化的形式(对退化函数做$\widetilde {\mathscr{S}}$变换)：
$$ G\left( {f, {R_c}, c, K} \right) = K\exp \left( { - c{R_c}\omega } \right) $$ (11) 于是，退化图像和原始图像的关系式为
$$ E\left( {u, \upsilon } \right) = {E_d}\left( {u, \upsilon } \right)K\exp \left( { - c{R_c}\omega } \right) $$ (12) 上述退化函数的参数是针对不同图像通过不断优化得到的，代价函数选择梯度幅值平方和的平均值。实验分别以主观和客观评价方法对该复原方法进行评价，主观方法为视觉效果评价，客观方法为首先对水下图像进行复原，再进行目标识别，对比复原前后识别率。实验结果表明，虽然该方法应用条件有一定限制，但是改善效果较好。
2015年，Camilo针对Trucco模型，提出了多参数差分优化算法[29]，使用无参考图像质量评价参数NIQE和图像对比度作为评价指标。实验效果如图 16所示。
2007年，美国海军研究实验室(naval research laboratory)的WeilinHou等对水下图像降质的影响因素和图像质量评价进行了一系列研究[30-33]，Hou认为水下图像的降质主要因素除水及其中杂质的散射外，还包括海洋和湖泊的环境温度和盐度的变化造成的折射率变化(光学扰动)以及程辐射。成像过程的光学传递函数由程辐射、散射以及光学扰动3部分组成：
$$ \begin{array}{l} {\rm{OT}}{{\rm{F}}_{{\rm{total}}}}\left( {\psi , r} \right) = {\rm{OT}}{{\rm{F}}_{{\rm{path}}}}\left( {\psi , r} \right) \cdot {\rm{OT}}{{\rm{F}}_{{\rm{pat}}}}\left( {\psi , r} \right) \cdot \\ \;\;\;\;\;\;\;\;\;\;\;{\rm{OT}}{{\rm{F}}_{{\rm{tur}}}}\left( {\psi , r} \right) = \left( {\frac{1}{{1 + D}}} \right)\exp \left[ { - cr + br \cdot \left( {\frac{{1 - {e^{ - 2{\rm{ \mathit{ π} }}{\theta _0}\psi }}}}{{2{\rm{ \mathit{ π} }}{\theta _0}\psi }}} \right)} \right]\exp \left( { - {S_n}{\psi ^{5/3}}r} \right) \end{array} $$ (13) 式中：θ0代表平均散射角；D代表程辐射；c和b分别是光束的衰减和吸收系数；Sn是与水质和波长相关的函数；ψ代表角空间频率；r代表成像区域。
由于此前对于图像质量的研究主要集中在静态降质，比如点扩散模型等[30]，对于时变的环境效果不是很好。2012年，Weilin Hou等人在此前研究基础上，建立了加权相干图像质量度量来表征由于微粒散射和光学湍流引起的衰减[34]。这个度量是基于空间相干长度是光学湍流强度的直接表现原理建立的，它同时包括静态散射和之前提出的图像质量度量[2]。结果表明与结构相似性图像度量(SSIM)表现出一致性，如图 17所示。不过与后者相比该方法不需要参考图像。
5 结论
对水下目标成像时，由于水体表面造成图像退化为后续图像处理带来了很大的挑战。尽管目前常规图像复原算法较多，但针对水下图像的研究相对较少。本文主要介绍了复原水面波动以及水体湍流引起的图像失真的方法，重点阐述了幸运块成像、图像配准、水面波形估计以及图像退化模型等4类方法的发展以及研究成果。
幸运块成像、图像配准和水面波形估计算法适合水面波纹或湍流造成的图像扭曲的复原，不过前两种对图像模糊的处理不理想，反而可能引入图像模糊，因此需要预处理或者后续处理。对于有一定先验知识的情况下，幸运块成像和图像配准方法效率和效果更好。基于图像退化模型的方法适合水体湍流和散射造成的图像亮度降低和图像模糊，而且需要根据具体水下环境选择合适的模型，甚至做相应的优化。
目前，由于水下目标的实验图像不多，一定程度上妨碍了有效的分析和算法有效性评价。因此，建立一套不同实验环境下的标准水下图像数据库对推动水下图像复原的研究具有重要意义的。
水下图像复原的算法复杂度较高，因此简化算法和提出快速算法，研究实时非接触的水面波形获取方法将是以后的一个发展方向。此外，偏振成像可以获得普通成像方法无法获得的图像信息，可以作为另一个重要的图像获取来源与现有的成像方法获得的图像一起做处理，也是一个值得尝试的方向。对水面波形的三维重建和对水下目标的定量测量也是今后研究的热点。最后，采用更精密的光学传感器也将带来更好的成像效果。
-
![]()
图 5 STOIQ幸运块法与其他方法的比较
Figure 5. Comparison of STOIQ lucky patch between other algorithms
![]()
图 11 基于水面波形估计的双波段水下成像方法
1.水表面；2.玻璃片；3.漫射光源(绿色)；4.被测物体；5.平行光源(红色)；6.相机
Figure 11. Dual band underwater imaging method based on water surface
均值图像 标准幸运块方法 两步法图像复原 盲解卷积发 双谱技术 STOIQ幸运块算法 SSIM 0.18 0.13 0.23 0.2 0.21 0.26 NMI 1.13 1.11 1.13 1.11 1.11 1.14 
下载: 导出CSV
下载: 导出CSV
下载: 导出CSV
PSNR/dB SSIM NMI 模糊图像 文献[19]算法 文献[8]算法 Karthik算法 模糊图像 文献[19]算法 文献[8]算法 Karthik算法 模糊图像 文献[19]算法 文献[8]算法 Karthik算法 第1行图像 27.218 4 27.620 5 27.971 8 28.719 0.865 2 0.873 4 0.884 9 0.891 3 1.202 8 1.202 8 1.209 1.282 9 第2行图像 27.042 1 23.349 4 22.053 1 25.412 2 0.688 1 0.759 0.789 2 0.850 6 1.235 4 1.246 3 1.243 7 1.261 7 第3行图像 24.246 1 23.865 3 23.746 4 25.652 1 0.781 9 0.187 4 0.765 0.836 4 1.153 8 1.157 3 1.145 1.165 第4行图像 23.505 1 23.349 4 23.399 5 24.714 2 0.819 8 0.876 6 0.886 8 0.914 1.170 7 1.148 8 1.170 7 1.180 2
下载: 导出CSV
PSNR/dB SSIM NMI 模糊图像 文献[19]算法 文献[8]算法 Karthik算法 模糊图像 文献[19]算法 文献[8]算法 Karthik算法 模糊图像 文献[19]算法 文献[8]算法 Karthik算法 第1行图像 23.216 1 22.389 7 22.063 7 24.799 4 0.922 5 0.906 0.862 6 0.940 5 1.278 4 1.269 5 1.276 1.287 7 第2行图像 26.435 3 25.171 8 24.634 2 27.259 6 0.936 6 0.939 0.903 4 0.940 1 1.307 3 1.294 7 1.280 9 1.380 4 第3行图像 23.192 21.976 7 20.126 4 24.869 0.9454 0.932 5 0.879 7 0.952 1.307 2 1.308 1 1.309 1.313 3 第4行图像 23.854 7 22.820 5 21.675 5 24.301 0.929 0.892 8 0.848 1 0.931 9 1.202 9 1.278 1.254 4 1.284 7
下载: 导出CSV
-
[1] Efros A, Isler V, Shi J, et al. Seeing through water[J]. Advances in Neural Information Processing Systems, 2005, 17: 393-400. http://d.old.wanfangdata.com.cn/Periodical/zgmtjjxyxb200704024
[2] Fried D L. Probability of getting a lucky short-exposure image through turbulence[J]. JOSA, 1978, 68(12): 1651-1657. doi: 10.1364/JOSA.68.001651
[3] Kanaev A V, Hou W, Woods S. Multi-frame underwater image restoration[C]//SPIE Security Defence. New York: International Society for Optics and Photonics, 2011: 81850O-81850O-8. doi: 10.1117/12.898914.short?SSO=1
[4] Kanaev A V, Hou W, Woods S, et al. Restoration of turbulence degraded underwater images[J]. Optical Engineering, 2012, 51(5): 057007-1-057007-9. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=1e3cb3cb0fe0d1653c18e6dadbd8872b
[5] Kanaev A V, Hou W, Restaino S R, et al. Correction methods for underwater turbulence degraded imaging[C]//SPIE Remote Sensing. New York: International Society for Optics and Photonics, 2014: 92421P-92421P-9. doi: 10.1117/12.2066479.short
[6] Kanaev A V, Hou W, Restaino S R, et al. Restoration of images degraded by underwater turbulence using structure tensor oriented image quality (STOIQ) metric[J]. Optics Express, 2015, 23(13): 17077-17090. doi: 10.1364/OE.23.017077
[7] Vorontsov M A, Carhart G W. Anisoplanatic imaging through turbulent media: image recovery by local information fusion from a set of short-exposure images[J]. JOSA A, 2001, 18(6): 1312-1324. doi: 10.1364/JOSAA.18.001312
[8] Oreifej O, Shu G, Pace T, et al. A two-stage reconstruction approach for seeing through water[C]//Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on. New York: IEEE, 2011: 1153-1160. https: //www.researchgate.net/publication/224254791_A_Two-Stage_Reconstruction_Approach_for_Seeing_Through_Water
[9] Rueckert D, Sonoda L I, Hayes C, et al. Nonrigid registration using free-form deformations: application to breast MR images[J]. Medical Imaging, IEEE Transactions on, 1999, 18(8): 712-721. doi: 10.1109/42.796284
[10] 李雄飞, 张存利, 李鸿鹏, 等.医学图像配准技术进展[J].计算机科学, 2010, 37(7): 27-33. doi: 10.3969/j.issn.1002-137X.2010.07.006 Li Xiongfei, Zhang Cunli, Li Hongpeng, et al. Development of medical image registration technology[J]. Computer Science, 2010, 37(7): 27-33. doi: 10.3969/j.issn.1002-137X.2010.07.006
[11] 王伟, 苏志勋.基于移动最小二乘法的医学图像配准[J].计算机科学, 2010, 37(9): 270-271. doi: 10.3969/j.issn.1002-137X.2010.09.067 Wang Wei, Su Zhixun. Medical image registration based on moving least squares[J]. Computer Science, 2010, 37(9): 270-271. doi: 10.3969/j.issn.1002-137X.2010.09.067
[12] 李磊, 王庆, 肖照林.一种基于视频的水下场景复原算法[J].系统仿真学报, 2012, 24(1):188-191. http://d.old.wanfangdata.com.cn/Conference/7571365 Li Lei, Wang Qing, Xiao Zhaolin. Underwanter image restoration algorithm from distorted video[J]. Journal of System Simulation, 2012, 24(1):188-191. http://d.old.wanfangdata.com.cn/Conference/7571365
[13] Donate A, Ribeiro E. Advances in computer graphics and computer vision[M]. Berlin: Springer Berlin Heidelberg, 2007: 264-277.
[14] 张志强.一种对扭曲景象序列三维重建迭代方法[J].软件, 2013, 34(10): 100-105. doi: 10.3969/j.issn.1003-6970.2013.10.035 Zhang Zhiqiang. A method to perform 3D reconstruction on distorted image serie[J]. Software, 2013, 34(10): 100-105. doi: 10.3969/j.issn.1003-6970.2013.10.035
[15] Yang B, Zhang W, Xie Y, et al. Distorted image restoration via non-rigid registration and lucky-region fusion approach[C]//Information Science and Technology (ICIST), 2013 International Conference on. New York: IEEE, 2013: 414-418. https: //www.researchgate.net/publication/283486917_Distorted_image_restoration_via_non-rigid_registration_and_lucky-region_fusion_approach
[16] 杨波, 张文生, 谢源.畸变环境下的序列图像融合技术研究[J].计算机科学, 2013, 40(10): 261-264. doi: 10.3969/j.issn.1002-137X.2013.10.055 Yang Bo, Zhang Wensheng, Xie Yuan. Research on distortion-free fusion of sequence images[J]. Computer Science, 2013, 40(10): 261-264. doi: 10.3969/j.issn.1002-137X.2013.10.055
[17] Halder K K, Tahtali M, Anavatti S G. High accuracy image restoration method for seeing through water[C]//SPIE Optical Engineering Applications. New York: International Society for Optics and Photonics, 2014: 921702-921702-6. https: //www.researchgate.net/publication/269098153_High_Accuracy_Image_Restoration_Method_for_Seeing_through_Water
[18] Hua W, Xiea Y, Zhanga W, et al. Removing water fluctuation via motion field-based Kernel regression?[J]. Journal of Information & Computational Science, 2014, 11(15):5289-5296. http://d.old.wanfangdata.com.cn/NSTLQK/NSTL_QKJJ0235032165/
[19] Tian Y, Narasimhan S G. Seeing through water: Image restoration using model-based tracking[C]//Computer Vision, 2009 IEEE 12th International Conference on. New York: IEEE, 2009: 2303-2310. https: //www.researchgate.net/publication/224136114_Seeing_through_water_Image_restoration_using_model-based_tracking
[20] Tian Y, Narasimhan S G. A globally optimal data-driven approach for image distortion estimation[C]//Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. New York: IEEE, 2010: 1277-1284. https: //www.researchgate.net/publication/221361890_A_Globally_Optimal_Data-Driven_Approach_for_Image_Distortion_Estimation
[21] Tian Y, Narasimhan S G. Globally optimal estimation of nonrigid image distortion[J]. International Journal of Computer Vision, 2012, 98(3): 279-302. doi: 10.1007/s11263-011-0509-0
[22] Wen Z, Lambert A, Fraser D, et al. Bispectral analysis and recovery of images distorted by a moving water surface[J]. Applied Optics, 2010, 49(33): 6376-6384. doi: 10.1364/AO.49.006376
[23] Halder K K, Tahtali M, Anavatti S G. Artificial intelligence: methods and applications[M]. Berlin: Springer International Publishing, 2014: 384-394.
[24] Zhang M, Lin X, Gupta M, et al. Computer vision-ECCV 2014[M]. Berlin: Springer International Publishing, 2014: 234-250.
[25] Seemakurthy K, Rajagopalan A N. Deskewing of underwater images[J]. Image Processing, IEEE Transactions on, 2015, 24(3): 1046-1059. doi: 10.1109/TIP.2015.2395814
[26] McGlamery B L. A computer model for underwater camera systems[J]. SPIE Ocean Optics, 1979, 208: 221-231. https://www.researchgate.net/publication/244953801_A_Computer_Model_For_Underwater_Camera_Systems
[27] Jaffe J S.Computer modeling and the design of optimal underwaterimagingsystems[J]. IEEE Journal of Oceanic Engineering, 1990, 15(2): 101-111. doi: 10.1109/48.50695
[28] Trucco E, Olmos-Antillon A T. Self-tuning underwater image restoration[J]. IEEE Journal of Oceanic Engineering, 2006, 31(2): 511-519. doi: 10.1109/JOE.2004.836395
[29] Sanchez-Ferreira C, Ayala H V H, Coelho L S. Multi-objective differential evolution algorithm for underwater image restoration[C]//2015 IEEE Congress on Evolutionary Computation. New York: IEEE, 2015: 243-250 https: //www.researchgate.net/publication/301287353_Multi-objective_differential_evolution_algorithm_for_underwater_image_restoration
[30] Hou W, Weidemann A D. Objectively assessing underwater image quality for the purpose of automated restoration[C]//Defense and Security Symposium. New York: International Society for Optics and Photonics, 2007: 65750Q-65750Q-7. https: //www.researchgate.net/publication/235125922_Objectively_Assessing_Underwater_Image_Quality_for_the_Purpose_of_Automated_Restoration
[31] Hou W, Woods S, Goode W, et al. Impacts of optical turbulence on underwater imaging[C]//SPIE Defense, Security, and Sensing. New York: International Society for Optics and Photonics, 2011: 803009-803009-7. https: //www.researchgate.net/publication/253507134_Impacts_of_optical_turbulence_on_underwater_imaging
[32] Hou W W. A simple underwater imaging model[J]. Optics Letters, 2009, 34(17): 2688-2690. doi: 10.1364/OL.34.002688
[33] Hou W, Woods S, Jarosz E, et al. Optical turbulence on underwater image degradation in natural environments[J]. Applied Optics, 2012, 51(14): 2678-2686. doi: 10.1364/AO.51.002678
[34] Hou W, Goode W, Kanaev A. Underwater image quality degradation by scattering[C]//OCEANS, 2012-Yeosu. New York: IEEE, 2012: 1-5. https: //ieeexplore.ieee.org/document/6263409
[35] Sun D, Roth S, Black M J. Secrets of optical flow estimation and their principles[C]//Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. New York: IEEE, 2010: 2432-2439. https: //www.researchgate.net/publication/221364345_Secrets_of_Optical_Flow_Estimation_and_Their_Principles
[36] Brox T, Bruhn A, Papenberg N, et al. High accuracy optical flow estimation based on a theory for warping[C]//European Conference on Computer Vision. Berlin: Springer Berlin Heidelberg, 2004: 25-36. doi: 10.1007%2F978-3-540-24673-2_3
[37] Lin Z, Chen M, Ma Y. The augmented lagrange multiplier method for exact recovery of corrupted low-rank matrices[J/OL]. arXiv, 2010, 1009:5055. http://d.old.wanfangdata.com.cn/OAPaper/oai_arXiv.org_1009.5055
[38] Rueckert D, Sonoda L I, Hayes C, et al. Nonrigid registration using free-form deformations: application to breast MR images[J]. IEEE Transactions on Medical Imaging, 1999, 18(8): 712-721. doi: 10.1109/42.796284
-
期刊类型引用(5)
1. 杨丰源，李彬华. 一种新的彩色图像幸运区域融合算法. 计算机仿真. 2024(09): 372-377 . 
百度学术
2. 李亚伟，张弘，伍凌帆，杨一帆，陈浩. 基于FPGA的实时大气湍流图像复原算法及实现. 应用光学. 2021(06): 1017-1024 . 本站查看
3. 盘亚楠，谌雨章，郭煜玮. 基于像素位移估计的水下湍流退化图像畸形校正算法. 计算机测量与控制. 2018(06): 248-251+256 . 百度学术
4. 朱军，张震，张伦伟. 一种基于图像恢复的水下零件在线测量方法. 机电一体化. 2018(08): 29-33 . 百度学术
5. 朱军，张震，张伦伟. 基于双谱分析优化算法的水下图像复原方法. 机电一体化. 2018(09): 50-54 . 百度学术
其他类型引用(12)
计量
- 文章访问数: 743
- HTML全文浏览量: 224
- PDF下载量: 61
- 被引次数: 17
陕公网安备 61011302001501号 