Underwater image enhancement based on multiscale residual attention networks
-
摘要:
针对水下图像由水的散射、吸收引起的色偏、色弱、信息丢失问题，提出了一种基于多尺度残差注意力网络的水下图像增强算法。该网络引入了改进的UNet3+-Avg结构与注意力机制，设计出多尺度密集特征提取模块与残差注意力恢复模块，以及由Charbonnier损失和边缘损失相结合的联合损失函数，使该网络得以学习到多个尺度的丰富特征，在改善图像色彩的同时又可保留大量的物体边缘信息。增强后图像的平均峰值信噪比(PSNR)达到23.63 dB、结构相似度(SSIM)达到0.93。与其他水下图像增强网络的对比实验结果表明，由该网络所增强的图像在主观感受与客观评价上都取得了显著的效果。
Abstract:An underwater image enhancement algorithm based on multi-scale residual attention network was proposed for the problems of color shift, color fading and information loss of underwater images caused by water scattering and absorption. An improved UNet3+-Avg structure and attention mechanism was introduced by the network, and the multi-scale dense feature extraction module as well as the residual attention recovery module were designed. In addition, a joint loss function combining Charbonnier loss and edge loss enabled the network to learn rich features at multiple scales, improving the image color while retaining a large amount of object edge information. The average peak signal-to-noise ratio (PSNR) of the enhanced images reaches 23.63 dB and the structural similarity ratio (SSIM) reaches 0.93. Experimental results with other underwater image enhancement networks show that the images enhanced by this network achieve significant results in both subjective perception and objective evaluation.
-
引言
余辉是指激发源中断后，荧光屏亮度由I0降至10% I0时的时间间隔[1]。微光像增强管荧光屏余辉时间主要取决于使用的荧光粉余辉，人们将现有的近百种荧光粉按余辉特性分成短余辉粉（µs级）、中余辉粉（ms级）和长余辉粉（≥100 ms）三种，视应用场合不同，分别予以选用。短余辉粉用于飞点扫描器、快速示波器和高帧频速光子计数器像管；中余辉粉用于变相管及像增强器中；长余辉粉用于雷达显示器或低帧速监视器中[2]。国产三代微光像增强器适用P31的荧光粉属于短余辉粉[3]。我国已颁布实施的国军标通用规范荧光屏余辉试验方法中规定光脉冲作为激励源，在实际测量过程中，通过电动机械快门控制获取光脉冲，由于电动机械快门动作速度的限制，难以获得下降速度较快、时间较短的光脉冲，导致基于P31荧光粉的国产三代微光像增强管荧光屏余辉时间无法准确测量。本文提出了微光像增强管光电阴极电压脉冲信号作为激励源的荧光屏余辉测试方法，建立了一套测量装置，并对试验方法中出现的问题进行了分析，给出了能够实现余晖时间高精确度测量的有效方法和装置，可为国产微光像增强器的技术改进提供一种准确有效的检测手段。
1 荧光屏余辉测量方法
1.1 荧光屏余辉测量方法
本文提出的荧光屏余辉测量方法是：采用色温为2856 K±50 K的钨灯光源，以规定的光源照度均匀照射像增强管光电阴极面；像增强管光电阴极与通道板输入端施加门控脉冲电压；通道板和荧光屏施加额定工作电压；用快响应亮度测试设备测量荧光屏亮度由I0降至10% I0时的时间间隔即为荧光屏余晖[4]。
1.2 单位及参量选择
1.2.1 光源照度
本文提出的像增强器余辉测量方法中，以规定的光源照度均匀照射像增强器光电阴极面，该光源照度应满足像增强管一般亮度增益条件下达到最大输出亮度。GJB 7351-2011《超二代像增强器通用规范》中规定像增强器亮度增益一般应在6000 cd/m2/lx～12000 cd/m2/lx范围内，输出亮度一般应不大于8 cd/m2[5]。
根据亮度增益公式：
$$G = \frac{{{L_1} - {L_2}}}{E}$$ (1) 式中：G为亮度增益，单位cd/m2/lx；L1为有光辐射输入时的荧光屏亮度，单位cd/m2；L2为无辐射输入时的荧光屏亮度，单位cd/m2；E为入射照度，单位cd/m2。
由于无辐射输入时的荧光屏亮度L2相比较有光辐射输入时的荧光屏亮度特别小，忽略不计[6]，根据（1）式试验环境照度应选择6.6×10−4 lx～1.3×10−3 lx。国产三代微光像增强器亮度增益一般为12000 cd/m2/lx，所以本文测量时选择光源照度为6.6×10−4 lx±0.2×10−4 lx。
1.2.2 光电阴极脉冲电信号
光电阴极脉冲电信号是利用PLD（可编程逻辑器件）模块和信号发生源实现的光电阴极工作电压和截止电压快速转换的脉冲电压信号[7]。三代微光像增强管的光电阴极饱和工作电压不低于100 V[8]。考虑到三代微光像增强管MCP输入端面具有一层防离子反馈膜，为充分保证光阴极发射电流处于饱和状态，实际测量时光电阴极相对于通道板输入端应选择−100 V～−400 V间的工作电压[9]。由于三代像增强管无辐射输入时的荧光屏亮度主要由光电阴极暗发射引起[10]，针对无光照时的背景亮度对测量过程中带来的影响，本方法光电阴极脉冲电压引入截止电压，光电阴极相对于通道板输入端施加大于+10 V的截止电压[11]。结合GJB 7351-2011《超二代像增强器通用规范》中规定，光电阴极开启工作电压持续时间为125 ms±10 ms，光电阴极截止电压应远大于荧光屏余辉时间，光电阴极脉冲电信号边沿时间要求小于10 ns[12]。
1.3 测量装置
荧光屏余辉测量装置如图1所示。
![]()
图 1 荧光屏余辉测量装置图Figure 1. Installation diagram of fluorescent screen afterglow measurement积分球光源在恒流源的控制下输出2856 K色温的光线，通过调节光阑满足像增强管光电阴极面6.6×10−4 lx～1.3×10−3 lx照度范围；利用PLD模块和信号发生源实现光电阴极脉冲电压；高压电源给像增强管提供额定工作电压；快响应光电转换器将荧光屏亮度转换成电信号[13]，通过示波器进行采集计算。
2 测量误差分析
对本文所述测量方法分析可知，影响微光像增强管荧光屏余辉测量不确定度的主要因素有[14]：
1） 照度计测量光源照度误差引起的标准不确定度u1；
2） 示波器测量计算余辉误差引起的标准测量不确定度u2；
为了具体分析图1所示测量装置对荧光屏余辉的不确定度，在其上对1支三代微光像增强管荧光屏余辉时间进行了测量，得到的各参量测量结果见表1、表2。
表 1 入射光照度10次测量结果Table 1. Measurement results of incident illuminance for 10 times序号 照度E/μlx 序号 照度E/μlx 1 0.657 2 0.661 3 0.663 4 0.665 5 0.658 6 0.663 7 0.656 8 0.664 9 0.665 10 0.663 表 2 示波器测量余辉时间10次结果Table 2. Measurement results of afterglow time by oscilloscope for 10 times序号 时间T/µs 序号 时间T/µs 1 86.1 2 85.8 3 86.2 4 86.1 5 85.9 6 86.1 7 86.3 8 86.0 9 85.9 10 86.2 2.1 照度计测量误差引起的标准不确定度分量u1
照度计测量误差包括照度计重复性引起的不确定度u1r和照度计校准结果的不确定度u1E，其中不确定度u1r应采用A类评定方法，而u1E应采用B类评定方法。
对于不确定度u1r，用贝塞尔公式计算照度测量重复性引起的不确定度分量为
$${u_{1{{r}}}} = \sqrt {\frac{{\displaystyle\sum\limits_{n = 1}^{10} {{{\left( {{x_{En}} - {{\overline x }_E}} \right)}^2}} }}{{10 \times \left( {10 - 1} \right)}}} \approx 0.001\;1$$ 光阴极入射光照度由照度计测量，而照度计由计量机构校准，其校准结果的扩展不确定度为3%（k=2），按B类评定方法确定的不确定度分量为
$${u_{1E}} = \frac{{3{\text{%}} }}{2} = 1.5{\text{%}} $$ 则有
$${u_1} = \sqrt {u_{1r}^2 + u_{1E}^2} \approx 0.015$$ 2.2 示波器测量误差引起的标准测量不确定度分量u2
示波器余辉测量误差包括示波器微重复性引起的不确定度u2r和示波器校准结果的不确定度u2E，其中不确定度u2r应采用A类评定方法，而u2E应采用B类评定方法。
对于不确定度u2r，用塞尔公式计算示波器余辉时间重复性引起的不确定度分量为
$${u_{2r}} = \sqrt {\frac{{\displaystyle\sum\limits_{n = 1}^{1n} {{{\left( {{x_{In}} - {{\overline x }_{In}}} \right)}^2}} }}{{1n \times \left( {10 - 1} \right)}}} \approx 0.016$$ 测量余辉时间的示波器由计量机构校准，其校准结果的不确定度为0.4%（k=2），按B类评定方法确定的不确定度分量为
$${u_{3E}} = \frac{{0.4{\text{%}} }}{2} = 0.2{\text{%}} $$ 则有
$${u_3} = \sqrt {u_{2r}^2 + u_{3E}^2} \approx 0.016$$ 2.3 不确定度的合成
由于不确定度分量u1、u2相互独立，它们之间的相关系数为0，根据合成标准不确定度的计算公式可得：
$$u = \sqrt {u_1^2 + u_2^2} \approx 0.016$$ 要求置信水平为0.95%，取k=2，则扩展不确定度为U=3.2%。
3 不同测试方法测试结果对比
3.1 不同测试方法测试结果
采用南京理工大学研制的“像增强管余辉测试仪”与基于本文提出的测试方法搭建的测试设备，分别对5支P31荧光粉的国产三代微光像增强管荧光屏余辉时间进行了测试，南京理工大学研制的像增强管余辉测试仪是利用电动控制快门获取光脉冲作为激励源的荧光屏余辉测试方法。测试结果见表3。
表 3 不同测试方法测试结果Table 3. Test results under different test methods器件编号 新测试方法测试结果T/µs 原测试方法测试结果T/µs 1# 86.1 93.3 2# 87.8 93.6 3# 85.6 92.4 4# 88.1 93.9 5# 87.9 93.7 3.2 测试结果分析
通过两种不同测试方法的测试结果对比，利用电动控制快门获取光脉冲作为激励源测试方法测试结果高于采用本文提出的测试方法测试结果。针对该测试结果进行分析，发现是由于电动机械快门动作速度的限制，获得光脉冲下降时间较长，导致荧光屏余辉时间测试高于真实值，本文提出了一种在光照持续工作状态下，用光电阴极电压脉冲信号作为激励源的荧光屏余辉测试方法，该方法中光电阴极超快响应时间（一般为1 ns左右）和脉冲电压信号的较短边沿时间（一般可控制在10 ns以内）特性[15]，提高了激励源自身时间响应对荧光屏余辉测试结果准确性带来的影响。
4 结论
本文在GJB 7351-2011《超二代像增强器通用规范》中规定的荧光屏余辉试验方法基础上，提出了一种新的微光像增强管余晖测试方法，同时搭建了一台余晖测量装置，利用该装置对基于P31荧光粉国产三代微光像增强管进行性测量，并对该装置的测量不确定进行了误差分析，其扩展不确定度为3.2%，达到了通常光电测试仪器的准确度要求，测试结果验证了测试方法和测试系统的正确性。本文研究的微光像增强管余晖测试方法可指导微光像增强管余晖测量技术相关研究。
-
![]()
图 4 多尺度残差注意力网络结构
Figure 4. Structure diagram of multi-scale residual attention network
![]()
图 7 第3层解码器特征图$ X_{De}^3 $构造过程
Figure 7. Construction process of layer-3 decoder feature map $ X_{De}^3 $
表 1 9种实验模型主观评价平均得分
Table 1 Average scores of subjective evaluation of nine experimental models
下载: 导出CSV
表 2 9种实验模型评价指标平均得分
Table 2 Average scores of evaluation indexes of nine experimental models
下载: 导出CSV
表 3 消融实验评价指标平均得分
Table 3 Mean scores of evaluation indexes of ablation experiments
Model MDFE RAR Charbonnier Edge PSNR SSIM a √ √ √ 18.25 0.68 b √ √ √ 20.47 0.84 c √ √ √ 18.47 0.83 d √ √ √ 19.98 0.69 Our √ √ √ √ 23.63 0.93
下载: 导出CSV
-
[1] 许晓军, 陆启生, 舒柏宏, 等. 激光照明的大气后向散射理论模拟和试验研究[J]. 红外与激光工程,2001,30(1):60. XU Xiaojun, LU Qisheng, SHU Baihong, et al. Back-scattering model and experiment of laser illuminating[J]. Infrared and Laser Engineering,2001,30(1):60.
[2] 李芳著. 海底喷气成因热水沉积成矿理论研究综述[J]. 地质科技情报,1993,12(2):4. LI Fangzhu. A review of the theory of submarine jet genesis hot water depositional metallogenesis[J]. Geological Science and Technology Information,1993,12(2):4.
[3] 邓权, 林明星. 基于改进SSD的海洋生物检测算法[J]. 计算机技术与发展,2022,32(4):51-56. DENG quan, LIN Mingxing. Improved SSD-based marine organism detection algorithm[J]. Computer Technology and Development,2022,32(4):51-56.
[4] 马燕如. 我国水下考古发掘陶瓷器的脱盐保护初探[J]. 博物馆研究,2007(1):85-89. MA Yanru. A preliminary study on the desalination and conservation of ceramics from underwater archaeological excavations in China[J]. Museum Research,2007(1):85-89.
[5] ZUIDERVELD K. Contrast limited adaptive histogram equalization[J]. Graphics Gems,1994(4):474-485.
[6] IQBAL K, ODETAYO M O, JAMES A E, et al. Enhancing the low quality images using unsupervised colour correction method[C]. New York: IEEE, 2010: 1703-1709.
[7] DREWS P L J, NASCIMENTO E R, BOELHO S S C, et al. Underwater depth estimation and image restoration based on single images[J]. IEEE Transactions on Computer Graphics and Applications,2016,36(2):24-35. doi: 10.1109/MCG.2016.26
[8] PENG Y T, COSMAN P C. Underwater image restoration based on image blurriness and light absorption[J]. IEEE Transactions on Image Process,2017,26(4):1579-1594. doi: 10.1109/TIP.2017.2663846
[9] SUN X, LIU L, LI Q, et al. Deep pixel-to-pixel network for underwater image enhancement and restoration[J]. IET Image Processing,2019,13(3):469-474. doi: 10.1049/iet-ipr.2018.5237
[10] LI C, ANWAR S. Underwater scene prior inspired deep underwater image and video enhancement[J]. Pattern Recognition,2019,98:2105-2111.
[11] LU L, YUN L, XIAO Q, et al. Evaluating fast algorithms for convolutional neural networks on FPGAs[C]//IEEE International Symposium on Field-programmable Custom Computing Machines. New York: IEEE: 857-870.
[12] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE, 2016: 770-778.
[13] HUANG H, LIN L, TONG R, et al. UNet 3+: a full-scale connected UNet for medical image segmentation[EB/OL]. [2023-02-10]. https://link.csdn.net/?target=https%3A%2F%2Farxiv.org%2Fabs%2F2004.08790.
[14] RONNEBERGER O, FISCHER P, BROX T. U-Net: convolutional networks for biomedical image segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin: Springer International Publishing, 2015: 234-241.
[15] ZHOU Z, SIDDIQUEE M, TAJBAKHSH N, et al. UNet++: redesigning skip connections to exploit multiscale features in image segmentation[J]. IEEE Transactions on Medical Imaging,2020,39(6):1856-1867. doi: 10.1109/TMI.2019.2959609
[16] HUANG G, LIU Z, LAURENS V, et al. Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE, 2017: 17355312.
[17] LAI W, HUANG J, AHUJA N, et al. Fast and accurate image super-resolution with deep laplacian pyramid networks.[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2019,41(11):2599-2613. doi: 10.1109/TPAMI.2018.2865304
[18] ZHU J Y, PARK T, ISOLA P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//2017 IEEE International Conference on Computer Vision (ICCV). New York: IEEE, 2017: 17453078.
[19] UEKI Y, IKEHARA M. Underwater image enhancement with multi-scale residual attention network[C]//2021 International Conference on Visual Communications and Image Processing (VCIP). Munich:IEEE, 2021: 1-5.
[20] ZHANG L, ER M J, WANG Z, et al. Underwater image enhancement based on AttR2U-Net and multi-residual networks[C]//2022 5th International Conference on Intelligent Autonomous Systems (ICoIAS). Dalian: IEEE, 2022: 90-95.
[21] WANG Z, SAIXIAN H E. An adaptive edge-detection method based on Canny algorithm[J]. Journal of Image and Graphics,2004,9(8):957-962.
-
期刊类型引用(4)
1. 刘峰阁，苏天宁，刘倍宏，成帅，朱荣胜，姬明，肖杰，赵航，张理淞，常乐. 基于离散系数与Harris角点的微光像增强器闪烁噪声测试方法. 红外技术. 2024(10): 1154-1161 . 
百度学术
2. 杨敏杰，钱芸生，严毅赟，吴胜. 基于CMOS图像传感器的像增强器闪烁噪声测试系统. 激光与光电子学进展. 2023(02): 325-330 . 百度学术
3. 郝芳，张平，杨海金，王瑶，卞臻臻，詹江，郑伟，梁琦. 浅析光纤倒像器固有误差对应用的影响. 应用光学. 2022(06): 1153-1157 . 本站查看
4. 卢杰，常乐，陈益新，姜云龙，苏天宁，刘倍宏，赵航，钱芸生，刘健. 微光像增强器纳秒级荧光屏余辉时间测试系统. 应用光学. 2022(06): 1130-1137 . 本站查看
其他类型引用(1)
计量
- 文章访问数: 170
- HTML全文浏览量: 31
- PDF下载量: 55
- 被引次数: 5
陕公网安备 61011302001501号 