Nighttime low-light image enhancement and object detection based on knowledge distillation
-
摘要:
为了实现夜间低照度图像的增强，提高目标检测模型在夜间低照度条件下的检测精度并减小模型的计算成本，提出了一种基于知识蒸馏和数据增强的夜间低照度图像增强以及目标检测多任务模型，基于高质量图像模型进行知识蒸馏，利用高质量图像的特征信息指导模型训练，从而使模型在夜间低照度图像中提取到与高质量图像类似的特征信息。利用这些特征信息可以实现图像的对比度增强、去噪以及目标检测。实验结果表明，提出的蒸馏方法可以提升16.58%的夜间低照度目标检测精度，且用该方法增强的图像可以达到主流的基于深度学习的图像增强的效果。
Abstract:In order to enhance the quality of nighttime low-light image, improve the accuracy of the object detection model under the nighttime low-light condition and reduce the calculation cost of the model, a multi-task model for nighttime low-light image enhancement and object detection based on knowledge distillation and data enhancement was proposed. Knowledge distillation was performed based on the high-quality image model, and the feature information of the high-quality image was used to guide the model training, so that the model could extract the feature information similar to that of the high-quality image in the nighttime low-light images. These feature information could be used to achieve enhancement of image contrast, denoising and objects detection. The experimental results show that the proposed distillation method can improve the object detection accuracy of nighttime low-light by 16.58%, and the image enhanced by this method can achieve the effect of mainstream image enhancement based on deep learning.
-
引言
CCD探测器作为一种半导体光电器件，以其体积小、动态范围广、灵敏度高、低功耗等优点，已经被广泛应用于电视光电探测、高空侦察、遥感等诸多领域。在光电对抗过程中，CCD探测器作为光电设备的核心器件极易受到激光辐照而产生温升，造成CCD探测器材料发生熔融、汽化等现象，从而导致CCD发生热损坏。
目前，已有很多学者对激光辐照CCD探测器的温升变化进行了研究。孙守红等人利用808 nm激光对CCD探测器进行辐照[1]，获得了CCD探测器发生热熔融时的阈值。张强等人基于热传导方程理论建立了混合频率激光辐照CCD探测器遮光铝层金属材料的温升物理模型[2]，理论仿真了不同模式下激光辐照CCD探测器遮光铝层材料的瞬态温度场。聂劲松等人基于有限元方法建立了1.06 μm 激光辐照CCD探测器的温升模型[3]，计算了高重频脉冲激光辐照CCD探测器的温度场分布，发现脉冲峰值功率越高，诱导CCD探测器组成材料更易发生熔融。赵阳等人对毫秒激光辐照CCD探测器的热效应进行研究[4]，发现激光热作用对会导致CCD探测器上层微透镜材料发生熔融、汽化等现象。李明欣等人基于傅里叶热传导方程建立了毫秒脉冲激光辐照CCD探测器的温升模型[5]，发现毫秒激光诱导CCD探测器的热损失首先出现在滤光层。韩敏等人建立了1.06 μm连续激光辐照CCD探测器的热-力耦合模型[6]，发现熔点较低的微透镜层最先发生熔融，造成CCD探测器温升速度减缓。任晓东等人建立了高重频脉冲激光辐照CCD探测器的温升模型[7]，考虑了CCD探测器材料参数的非线性变化和熔融相变过程，发现高重复频率脉冲会引起温度积累效应，在硅基片达到熔点后，峰值温度基本保持在熔点附近。
目前，许多研究学者开展了激光诱导CCD探测器的热损伤特性与理论仿真研究，但针对纳秒激光诱导CCD探测器铝层金属材料的温升变化的液-固相变时间特性研究尚未见报道。因此，本文基于傅里叶热传导方程，理论仿真了激光脉冲峰值功率密度和激光入射角度等参数变化对CCD受激光辐照后液-固相变时间特性的影响。
1 纳秒脉冲激光诱导CCD温升的理论模型
纳秒脉冲激光辐照到CCD探测器表面时（如图1所示），CCD材料吸收激光脉冲能量产生温升。当脉冲激光能量较高时，CCD材料表面出现熔化、汽化甚至电离产生等离子体。当脉冲能量结束后，CCD材料表面温度升高到一定值后下降，当降低到熔点时，由于热传导作用，在CCD探测器材料表面将存在持续一段时间的液-固相变弛豫过程。等CCD材料表面凝固后，由于存在向周围环境空气的辐射传热过程，CCD表面的温度继续下降，直到与环境温度达到平衡。
考虑CCD探测器为三层结构（硅基底厚度为150 μm，中间层二氧化硅厚度为0.5 μm，上层铝厚度为1 μm），CCD的各层材料均为各向同性的均匀材料，则纳秒激光诱导CCD探测器的温升过程可由傅里叶热传导方程[8]描述：
$$\begin{split} \rho_{m} C_{m} \frac{\partial T}{\partial t}=&\frac{\partial}{\partial x}\left(K_{m} \frac{\partial T}{\partial x}\right)+\frac{\partial}{\partial y}\left(K_{m} \frac{\partial T}{\partial y}\right)+\frac{\partial}{\partial {\rm{z}}}\left(K_{m} \frac{\partial T}{\partial {\rm{z}}}\right)+\\ &Q(x, y, {\textit{z}}, t) \\[-12pt] \end{split} $$ (1) 式中：$ \rho_{m} $为材料密度；$ C_{m} $为材料比热容；$ {K}_{{m}} $为材料导热系数；m为CCD探测器结构的层数；T为温度；t为激光作用时间。$ Q(x, y, {\textit{z}}, t) $为激光热源项，代表激光导致物体内产生的热量，数学表达式为
$$ Q=I(1-R) \alpha \exp \left(-\alpha_{m} {\textit{z}}\right) \exp \left(\frac{-2\left(x^{2} + y^{2}\right) \cos ^{2} \theta}{r_{0}^{2}}\right) \cos \theta g(t) $$ (2) 式中：$ I $为入射激光强度；R为CCD探测器上层铝材料的反射率；$ \alpha_{m} $为第m层材料的激光吸收系数；r0为纳秒激光垂直入射在CCD探测器表面的激光光斑半径；$ \theta $为激光入射方向与CCD探测器表面法线间的夹角；g(t)为激光脉冲的时间分布函数，表达式为
$$ g(t)=\left\{\begin{array}{cc} 1 & 0 \leqslant t \leqslant \tau \\ 0 & t<0 \text { 或者 } t>\tau \end{array}\right. $$ (3) 纳秒激光诱导CCD探测器的温升过程，三层材料间满足热连续边界条件和初始温度为
$$ T\left(h_{m}\right)=T\left(h_{m+1}\right) $$ (4) $$ \left.T_{m}(x, y, {\textit{z}}, t)\right|_{t=0}=T_{m}(t=0)=300\;{\rm{K}} $$ (5) 纳秒脉冲激光诱导CCD探测器的温升过程中，探测器表面与环境空气存在热交换，因此CCD探测器上表面铝层—空气交界处的边界方程为
$$ -k \frac{\partial T}{\partial n}=-\xi S_{{\rm{B}}}\left(T^{4}-T_{0}^{4}\right)-h\left(T-T_{0}\right) $$ (6) 式中：h表示激光辐照过程中的对流换热系数，单位为 W/(m2·K)；$ \xi $表示铝表面辐射率；SB为斯蒂芬玻尔兹曼常数(5.67×10−8 W/(m2·K4))。
本文利用COMSOL Multiphysics 仿真软件对波长为1 064 nm、脉冲宽度为100 ns和辐照在CCD探测器上的光束直径为115 μm的纳秒脉冲激光辐照CCD探测器的温度场进行理论计算，CCD模拟所需热力学参数来源于文献[9-12]。理论计算过程中，激光辐照到CCD探测器表面的光斑直径为115 μm，因此考虑理论模拟空间尺寸大于3倍的光斑直径，CCD探测器的模型整体宽度设定为500 μm×500 μm。为了提升计算精确度，需要对激光作用区域进行网格细化处理，因此计算过程中将CCD探测器Al遮光层、SiO2绝缘层以及Si基底层上表面进行网格细化。先对远离激光热源的Si层区域进行网格划分(单个网格单元尺寸不超过10 μm，不小于0.03 μm)，之后对靠近激光热源的Al层、SiO2层及Si层上表面进行网格剖分（单个网格单元尺寸不超过5 μm，不小于0.01 μm），从而使激光作用区域获得较为细致的网格。网格剖分结果如图2所示。
![]()
图 2 CCD网格剖分图及剖分局部放大图Figure 2. Grid division diagram and its partial enlarged diagram of CCD detector2 结果和探讨
2.1 脉冲峰值功率对液-固相变时间特性的影响
当脉冲峰值功率分别为0.60×107 W/cm2、1.86×107 W/cm2、3.23×107 W/cm2、4.81×107 W/cm2、6.11×107 W/cm2、6.35×107 W/cm2，单脉冲纳秒激光诱导CCD探测器铝层面光斑中心点的温升曲线如图3所示，对应的中心点峰值温度随激光脉冲能量变化如图4所示。
![]()
图 3 纳秒脉冲激光诱导CCD探测器铝层表面中心点的温升曲线Figure 3. Temperature rise curve of central point on aluminum layer surface of CCD detector induced by nanosecond pulsed laser![]()
图 4 CCD探测器铝层表面中心点峰值温度随激光功率的变化曲线Figure 4. Variation curve of peak temperature of aluminum layer surface center point of CCD detector with laser power从图3中CCD探测器铝层表面中心点温度的时间演化曲线可以看出，当激光脉冲辐照CCD探测器后，CCD探测器铝层材料吸收激光能量，温度上升。当脉冲结束后，由于CCD探测器的z方向热传导以及与周围空气的辐射热作用，导致了铝层材料温度下降。当铝层温度下降到熔点933 K时，由于液态转化为固态存在放热过程，因此在温度时间演化过程将存在一定时间段的液-固相变共存过程[13]。等铝层凝固后，铝层表面温度缓慢下降，直到与周围环境空气达到热平衡。激光脉冲能量越大，激光脉冲诱导CCD探测器铝层表面的温度越高，并且温度下降后降至熔点的时间往后推延，对应的液-固相变共存时间越长。从图4可知，随着激光脉冲能量的增大，辐照到CCD探测器铝层表面的激光强度增大，铝层材料吸收的激光能量增大，从而使CCD探测器铝层表面中心点的峰值温度呈上升变化。
图5为纳秒激光脉冲诱导CCD探测器的液-固相变起始时间和液-固相变时间长度随脉冲激光峰值功率密度的变化曲线。当激光脉冲结束后，由于CCD探测器与周围空气存在辐射热交换作用，导致CCD探测器表面的温度下降，降温时间演化过程中存在液-固相变温度平台区，该段时间内激光作用CCD探测器区域处于液-固共存状态。随着入射激光脉冲峰值功率增加，液-固相变起始时刻往后延迟，且液-固相变时间长度增加。这是因为激光脉冲峰值功率增大，使CCD探测器铝层表面中心点的峰值温度变大，温度回落至铝层材料的熔点温度时发生液-固相变所需的时间就越长，因此出现了液-固相变起始时刻随入射激光脉冲峰值功率增加而延后变化。激光脉冲峰值功率增大，造成CCD探测器激光作用区域的熔池热能增大，造成熔池与CCD探测器上层的空气热交换时间延长，从而出现了液-固相变时间长度随入射激光脉冲峰值功率增加而变大。
![]()
图 5 CCD探测器的液-固相变起始时间和液-固相变时间长度随峰值功率密度的变化曲线Figure 5. Variation curves of liquid-solid phase transition starting time and time length of CCD detector with peak power density2.2 激光入射角度对液-固相变时间特性的影响
在激光脉冲峰值功率密度为4.81×107 W/cm2条件下，使激光斜入射辐照CCD探测器，得到激光入射角度分别为0°、20°、40°、60°、80°下脉冲激光诱导CCD探测器铝层表面中心点温升曲线，如图6所示。
![]()
图 6 不同入射角度的纳秒脉冲激光诱导CCD探测器铝层表面中心点的温升曲线Figure 6. Temperature rise curve of central point on aluminum layer surface of CCD detector induced by nanosecond pulse laser with different incident angles由图6可知，随着激光入射角度增大，CCD探测器铝层表面中心点峰值温度降低，并且发现降至铝层材料的熔点温度时间前移。图7为不同激光入射角纳秒激光脉冲诱导CCD探测器的液-固相变起始时间和液-固相变时间长度随激光入射角度的变化曲线。随激光入射角度的增大，由于CCD探测器铝层表面的最高温度降低，导致了液-固相变起始时刻不断减小，并且液-固相变时间长度逐渐变短。这是因为随激光入射角度的增大，辐照在CCD探测器铝层材料表面的激光光束由圆形光斑变成椭圆光斑，在激光斜入射方向上光斑尺寸变大，从而使CCD探测器表面上的激光光斑面积变大，致使作用在铝层材料表面的激光脉冲峰值功率密度下降，从而导致了CCD探测器铝层表面中心点峰值温度逐渐降低，回落至液-固相变起始点时间前移。同时，激光脉冲峰值功率密度的下降，导致激光诱导CCD探测器铝层表面熔融区域面积减小，造成熔池与CCD探测器上层的空气热交换时间变短，从而出现了液-固相变时间长度随入射激光角度增加而变小。
![]()
图 7 CCD探测器的液-固相变起始时间和液-固相变时间长度随激光入射角度的变化曲线Figure 7. Variation curves of liquid-solid phase transition starting time and time length of CCD detector with laser incidence angles3 结论
本文从理论仿真计算方面开展了激光脉冲峰值功率和激光入射角度对纳秒激光辐照CCD温升变化的液-固相变时间特性的影响研究。通过傅里叶热传导方程计算了纳秒激光诱导CCD探测器铝层材料的温升曲线，通过温升曲线获得了CCD探测器铝层材料液-固相变起始时刻和液-固相变时间长度随激光脉冲峰值功率和激光入射角度的变化规律。理论计算结果表明，随着入射激光脉冲峰值功率增加，激光诱导CCD探测器铝层表面的最高温度逐渐升高，使CCD探测器铝层材料的液-固相变起始时刻往后延迟，且液-固相变时间长度增加。随着激光入射角度的增大，由于CCD探测器铝层表面的最高温度降低，导致了液-固相变起始时刻不断前移，并且液-固相变时间长度逐渐变短。研究结果表明，激光脉冲峰值功率密度和激光入射角对激光诱导CCD探测器的液-固相变时间特性有重要影响，对揭示纳秒激光诱导CCD探测器的热损伤机制有重要的理论意义。
-
![]()
图 1 图像增强和目标检测双任务模型结构以及知识蒸馏示意图
Figure 1. Structure diagram of dual task model of image enhancement and object detection and schematic of knowledge distillation
![]()
图 3 不同方法的低照度图像增强效果对比
Figure 3. Visual comparison on low-light image enhancement effect of different methods
![]()
图 4 在真实低照度图像数据集中的mAP指标测试结果
Figure 4. Test results of mAP indicators on real low-light images dataset
![]()
图 5 低照度图像增强和目标检测测试结果
Figure 5. Test results of low-light image enhancement and object detection
表 2 不同方法的目标检测精度
Table 2 mAP of different methods
Method mAP50 mAP50@ExDark YOLOXtiny(Normal illumination) 80.47% None YOLOXtiny
(LLL+Knowledge distillation)54.40% 41.28% YOLOXtiny(LLL) 37.82% 23.13% 
下载: 导出CSV
-
[1] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2014: 580-587.
[2] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. New York: IEEE, 2016: 779-788.
[3] LIU W, ANGUELOV D, ERHAN D, et al. SSD: single shot multibox detector[C]// European Conference on Computer Vision. Switzerland : Springer, Cham, 2016: 21-37.
[4] LORE K G, AKINTAYO A, SARKAR S. LLNet: a deep autoencoder approach to natural low-light image enhancement[J]. Pattern Recognition,2017,61:650-662. doi: 10.1016/j.patcog.2016.06.008
[5] LV F, LU F, WU J, et al. MBLLEN: low-light image/video enhancement using CNNs[J]. Baghdad Monitoring and Verification Center,2018,220(1):4.
[6] WEI C, WANG W, YANG W, et al. Deep retinex decomposition for low-light enhancement[EB/OL]. (2018-08-14)[2022-11-20]. https://arxiv.org/abs/1808.04560v1.
[7] LI C, GUO J, PORIKLI F, et al. LightenNet: a convolutional neural network for weakly illuminated image enhancement[J]. Pattern Recognition Letters,2018,104:15-22. doi: 10.1016/j.patrec.2018.01.010
[8] CHEN C, CHEN Q, XU J, et al. Learning to see in the dark[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018: 3291-3300.
[9] XIONG W, LIU D, SHEN X, et al. Unsupervised real-world low-light image enhancement with decoupled networks[EB/OL]. (2020-05-06)[2022-11-20]. https://arxiv.org/abs/2005.02818v2.
[10] JIANG Y, GONG X, LIU D, et al. Enlightengan: deep light enhancement without paired supervision[J]. IEEE Transactions on Image Processing,2021,30:2340-2349. doi: 10.1109/TIP.2021.3051462
[11] GUO C, LI C, GUO J, et al. Zero-reference deep curve estimation for low-light image enhancement[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2020: 1780-1789.
[12] KRUTHIVENTI S S S, SAHAY P, BISWAL R. Low-light pedestrian detection from RGB images using multi-modal knowledge distillation[C]// 2017 IEEE International Conference on Image Processing (ICIP). New York: IEEE, 2017: 4207-4211.
[13] QI L, KUEN J, GU J, et al. Multi-scale aligned distillation for low-resolution detection[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2021: 14443-14453.
[14] HINTON G, VINYALS O, DEAN J. Distilling the knowledge in a neural network[EB/OL]. (2015-03-09)[2022-11-20]. https://arxiv.org/abs/1503.02531.
[15] GE Z, LIU S, WANG F, et al. Yolox: exceeding yolo series in 2021[EB/OL]. (2021-07-18)[2022-11-20]. https://arxiv.org/abs/2107.08430.
[16] RONNEBERGER O, FISCHER P, BROX T. U-net: convolutional networks for biomedical image segmentation[C]// International Conference on Medical image computing and computer-assisted intervention. Switzerland: Springer, Cham, 2015: 234-241.
[17] HE K, ZHANG X, REN S, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(9):1904-1916. doi: 10.1109/TPAMI.2015.2389824
[18] WANG W, XIE E, SONG X, et al. Efficient and accurate arbitrary-shaped text detection with pixel aggregation network[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. New York: IEEE, 2019: 8440-8449.
[19] ZHU J Y, PARK T, ISOLA P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]// Proceedings of the IEEE international conference on computer vision. New York: IEEE, 2017: 2223-2232.
[20] DENG J, DONG W, SOCHER R, et al. Imagenet: a large-scale hierarchical image database[C]// 2009 IEEE conference on computer vision and pattern recognition. New York: IEEE, 2009: 248-255.
[21] MITTAL A, SOUNDARARAJAN R, BOVIK A C. Making a 'completely blind' image quality analyzer[J]. IEEE Signal Processing Letters,2012,20(3):209-212.
[22] LOH Y P, CHAN C S. Getting to know low-light images with the exclusively dark dataset[J]. Computer Vision and Image Understanding,2019,178:30-42. doi: 10.1016/j.cviu.2018.10.010
-
期刊类型引用(1)
1. 张文海. 金属钢板表面纳秒脉冲激光除锈工艺研究. 中国新技术新产品. 2024(11): 50-52 . 
百度学术
其他类型引用(1)
计量
- 文章访问数: 373
- HTML全文浏览量: 85
- PDF下载量: 90
- 被引次数: 2
陕公网安备 61011302001501号 