Infrared dim target detection method based on improved YOLOv5s model
-
摘要:
针对复杂背景下红外场景对比度低、特征不足、细节不清而导致的目标检测效率低的问题,在YOLOv5s模型基础上通过创建TCC(two-way convolution and Concat)模块并引入华为Ghost模块,提出了一种基于改进YOLOv5s模型的红外弱小目标检测方法。首先,结合红外图像的低级语义特征,采取二路卷积和多尺度思想创建了TCC模块,提升了特征提取的全面性;接着,为进一步简化网络结构、减少网络参数量,引入轻量化Ghost模块改进了SPP池化层和CSP2卷积网络;最后,以无人机为实验对象,构建了白天和夜间不同背景条件下的红外弱小目标数据集,实验验证了本文改进算法的有效性。结果表明:改进后的YOLOv5s模型在较少损失帧频的情况下,检测精度提升了1.34%,平均精度均值(mean average precision, mAP)提升了2.26%,优于YOLOv4-tiny和YOLOv7-tiny两种轻量化模型,并与YOLOv8s模型精度相当,但模型参数量仅为YOLOv8s模型的53%,完全可以满足嵌入式设备部署的需求。
Abstract:To solve the low accuracy of target detection caused by low contrast, insufficient features, and unclear details in complex infrared scenes, an improved infrared dim target detection method based on YOLOv5s model was proposed by creating a two-way convolution and Concat (TCC) module and introducing the Huawei Ghost module. Firstly, combining the low-level semantic features of infrared images, a TCC module was created using two convolution and multi-scale thought, which improved the comprehensiveness of feature extraction. Then, to simplify the network structure and reduce the number of parameters, a lightweight Ghost module was introduced to improve the SPP pooling layer and CSP2 convolutional network. Finally, using unmanned aerial vehicles (UAVs) as experimental objects, a dataset of infrared dim targets was constructed under various meteorological conditions during day and night, verifying validity of the improved algorithm. The results show that the detection accuracy of the improved YOLOv5s model is increased by 1.34%, and the mean average precision (mAP) is increased by 2.26%, which is superior to YOLOv4-tiny and YOLOv7-tiny models. It has the same accuracy as YOLOv8s model, but the number of model parameters is only 53% of the YOLOv8s model, which fully meets the needs of embedded device deployment.
-
Keywords:
- target detection /
- infrared dim target /
- YOLOv5s /
- TCC module /
- Ghost module
-
引言
随着红外传感器技术水平的飞速发展,红外探测系统对各种目标的探测距离、识别准确度等都大大提升[1]。同时各国也开始大力发展红外隐身技术,开展红外隐身材料研究[2-3],采用红外隐身材料作为蒙皮涂料,是军用飞机降低自身发射率,减弱敌方红外探测系统威胁的重要手段之一[4-5]。在不同红外波段下测量涂有隐身涂料蒙皮样品的光谱发射率是一种经济有效的飞机隐身性能验证手段[6-7]。为了定量描述涂层材料的隐身效果,研制了环境温度下红外隐身涂料光谱发射率校准装置,采用傅里叶变换光谱仪作为光谱分光模块,利用垂直入射/漫射接收的方法采集红外光谱信号,通过与标准漫反射片比对获得材料光谱发射率测量结果,为后续研究提供重要技术支持[8-10]。
1 测量方法
对于具有漫反射特性的材料,红外隐身涂料光谱发射率校准装置采用垂直入射/漫射接收的方法进行,通过测量标准片与被测样品的漫反射通量间接计算得到被测样品的半球发射率,示意图如图1所示。D为放置探测器窗口,探测器的响应度为固定值,将接收到的光信号转换为电信号;S为放置标准反射板或待测样品窗口;P为挡屏;M为反射镜[11]。积分球内部放置反射镜,入射光束经反射后到达被测样品,D与S之间放置P,防止标准片与被测样品之间第一次的反射光直接进入探测器[12]。到达被测样品的入射光光轴与被测样品法线之间夹角不大于10°,入射光束的光轴与任何光线之间夹角不大于5°。测量时任何规则漫反射光束不能从积分球的入射窗口出射[13]。入射光束通过积分球内部多次反射转换为漫反射通量后被探测器接收。入射窗的总面积不超过积分球内部反射面积的10%。
测量时将一块已知光谱反射率为$\rho _\lambda ^0 $的标准漫反射片放置在S,测出其光谱反射通量转换后的电压信号为$V_\lambda ^0 $,然后用被测样品替换标准片,测出其光谱反射通量转换后的电压信号为Vλ。根据能量守恒定律,当物体表面温度处于稳定状态时,透明物体的光谱反射率、光谱发射率、光谱透过率之和为1。对于不透明物体,由基尔霍夫定律可知,光谱反射率与光谱发射率之和为1,即ελ=1−ρλ [14-15]。因此,被测样品的光谱发射率为
$$ {\varepsilon _\lambda } = 1 - \frac{{{V_\lambda }}}{{V_\lambda ^0}}\rho _\lambda ^0$$ (1) 2 校准装置组成
环境温度下红外隐身涂料光谱发射率校准装置主要由红外准直光源、光谱分光模块、积分球样品室、红外探测系统、探测信号处理系统和计算机处理系统组成,如图2所示。红外准直光源提供覆盖波长范围3 μm~12 μm的高稳定准直红外辐射信号。光谱分光模块为基于迈克尔逊干涉理论的傅里叶变化光谱仪,主要用于将红外辐射信号细分为最小光谱分辨率可达0.5 cm−1的单光谱信号。积分球样品室整体镀金,主要用于放置样品,使出射光束为漫射信号。红外探测系统用于红外辐射收集,并实现光电转换。探测信号处理系统主要用于探测器输出信号滤波放大及A/D转换等。计算机处理系统主要用于主机控制和数据采集计算,显示测量结果。
光谱发射率校准装置工作原理如图3所示。红外光源1发出的辐射,经过光阑2和准直镜3准直后变为平行辐射,平行辐射进入光谱分光模块4后细分为连续单色光,然后通过积分球窗口6照射到被测样品7上,单色光经过被测样品7发生漫反射,漫反射光在积分球5内通过多次反射后照射到红外探测器8的光敏面上,通过探测器光电转换后光信号转换为电信号,通过探测信号处理系统后被计算机采集。2次测量得到标准漫反射片和被测样品的光谱电压信号,通过比较得到被测样品的光谱反射率,根据式(1)即可得到被测样品的半球发射率[16]。
2.1 红外准直光源
红外准直光源主要由红外光源、光阑和准直镜组成。光谱发射率校准装置需要的理想红外光源应具备以下特征:1)光源发出的光谱连续,在所使用的波长范围内可提供连续辐射;2)辐射能量不随着波长的变化而变化,且具有足够的强度;3)使用寿命长;4)具有良好的稳定性[17-18]。
红外光源一般选择性能稳定不易氧化的材料制作,并且通电后发热能够产生高强度的红外辐射,通常使用的主要有能斯特灯、硅碳棒光源以及陶瓷光源。能斯特灯是由氧化锆、氧化钇、氧化钍混合物烧结而成的中空棒或实心棒,其两端绕有铂丝作为电极,工作时不用水冷却,发出的光强较强,但机械强度较差,使用前需预热。硅碳棒是一种红外辐射的强光源,适合在波数100 cm−1~6 000 cm−1范围应用。传统硅碳棒的优点是光源能量高、功率大、发光面积大、较坚固,缺点是耗能高、热辐射强,使用时两端需要用水冷却电极接触点。陶瓷光源是陶瓷器件保护下的镍铬铁合金线光源,早期的陶瓷光源为水冷却光源,现在使用的基本为空气冷却光源。光谱发射率校准装置选用的光源为陶瓷光源,可覆盖0.4 μm~30 μm的波段范围。
电动孔径光阑用于调节辐射通量,光阑孔径大小可变。当增大光阑孔径时,辐射通量就加大,有利于提高装置的灵敏度;而缩小光阑孔径时,光通量降低,但可挡掉一些杂散光,改善输出信号的质量,可以提高光谱分辨率。光阑设置不当,散射光过强,测量重复性降低,光谱会产生峰位移。准直镜为抛物面反射镜,用于将红外光源发出的点源辐射准直为平行光。采用离轴全反射式设计,无中心遮挡,表面镀高反射金膜,确保有充足的光通量进入分光模块,提高了装置的信噪比。
2.2 光谱分光模块
光谱分光模块是光谱发射率校准装置的关键组件,其性能水平对发射率测量结果有重要影响。
常用的光谱分光方式主要有3种:光栅分光、CVF分光和傅里叶干涉分光。光栅分光利用衍射原理,通过光栅的旋转实现分光,光栅采用电机控制,扫描一次时间较长,测量速度慢。CVF分光装置采用渐变滤光片旋转实现分光,其波长分辨率比较低,一次测量可采集100个波长的信号。傅里叶干涉分光是目前最先进的分光方式,基于迈克尔逊干涉理论,将空间调制转换到时间调制型的干涉光谱,主要由动镜、定镜、分束器、补偿板等组成,具有扫描速度快、灵敏度高、光谱分辨率高、光通量高、信噪比高、杂散光抑制能力强等优点,适合于快速、高精度、宽光谱测量[19]。
光谱分光模块采用基于迈克尔逊干涉理论的傅里叶变换光谱仪,其结构示意图如图4所示。动镜与定镜为2块精密磨光的平面反射镜,相互垂直安装构成光谱仪的两臂,动镜在直线运动机构的驱动下沿轴向前后移动;定镜保持位置不变,分束器的后表面上镀有由一种半透半反的光学材料制成的分束膜,即为介质膜分束器,入射光线在分束膜处通过反射和透射被分成2束光,在光路中加入补偿板以保证两光束间无相位差,光谱分光模块采用直线型动镜产生光程差,从而实现干涉分光。
光谱分辨率是指分光仪器对2个相邻的谱线的辨别能力,分辨率影响光谱发射率测量结果的准确性。傅里叶变换光谱仪的光谱分辨率由扫描速度决定,可达到色散型分光仪器的数百倍,且在任何测量时间内都能获得辐射源所有频率的全部信息。傅里叶变换光谱仪的扫描速度主要由动镜的移动速度决定,动镜移动一次即可采集所有信息。因此一般采用在一次测量中多次扫描,累加求平均的方法得到干涉光谱图,同时有效地提高了信噪比,在相同的总测量时间和相同的光谱分辨率条件下,傅里叶变换光谱仪信噪比可达色散型分光仪器的10倍以上。因此,采用傅里叶变换光谱作为光谱分光模块,校准装置的光谱分辨率可达0.5 cm−1。
波数的准确性是指经过傅里叶变换后得到的光谱图中吸收峰对应的波数值与该吸收峰真实波数值的一致性,波数是光谱发射率定性分析的关键参数,波数准确性影响校准装置的重复性。傅里叶变换光谱仪的波数准确性可由分光装置中动镜精确驱动控制,而动镜的移动距离可通过激光光源的干涉条纹来测量。傅里叶变换光谱仪一般采用He-Ne气体激光器作为激光光源,在激光器内部,气体分子在电子振荡器的激励下发生非弹性碰撞,当电子跃迁时产生激光。He-Ne激光器能产生噪声低、功率稳定性好、发散角小的优质光束。激光光束的光谱线宽窄,具有很好的单色性,能保持长距离的相干性,拥有高频率稳定度和高强度稳定度性能,最高的频率稳定度优于5×10−10,从而保证傅里叶变换后得到的光谱图有很高的波数精度和准确度,满足光谱分光模块的重复性要求。
2.3 红外探测系统与探测信号处理系统
红外探测器是光谱发射率校准装置中信号采集的核心器件,通常分为热探测器和光子探测器两大类。热探测器中性能最好的为热释电探测器,可全波段响应,实际工作波长范围仅受到窗口材料限制。热释电红外探测器中最常用的为TGS(Tri-glycine sulfate)探测器,主要采用硫酸三甘肽晶体((NH2CHCOOH)3·H2SO4)制成,利用热释电效应工作。热释电效应和入射光的波长及强度有关,故可以利用它探测红外干涉光信号。DTGS(Deuterated tri-glyceride sulfate)是目前使用最广的中红外探测器,即为氘化的TGS探测器,可在室温下工作,且无需液氮或其他冷却装置。居里点温度为62℃,热点系数小于TGS。在传统的DTGS上涂上L-丙氨酸,可提高探测器的热电系数和极化的稳定性。因此,光谱发射率校准装置采用热释电型探测器采集红外光谱信号。
探测器信号处理系统组成框图如图5所示。在探测器信号处理系统中,当测量高发射样品时,红外探测器接收到的信号非常小,微弱信号探测容易受到环境和电场的干扰,因而探测器信号电路全部安装在一个屏蔽罩内。在注意抑制干扰的同时对信号进行放大处理,放大电路采用自有噪声低且抑制比高的电路设计,保证探测器由稳定且低噪声的电源供电,提高其微弱电流信号的输出质量,同时也保证了后续放大与滤波电路不被引入较多的电源噪声。除了采用外壳屏蔽外,其与探测器的数据线采用屏蔽线,确保信号不受干扰。在放大电路之后再加一高阶带通滤波电路来进一步削弱噪声的影响,提高装置的信噪比。为了适应不同信号强度的探测,探测器信号处理系统增加了增益调节功能。数据采集处理卡的作用就是将红外探测器输出的电信号通过模拟电路放大滤波等操作以后,经过模数转换器转换成数字信号输入计算机。
3 实验结果与分析
3.1 发射率的测量
实验中采用镀金标准漫反射片作为参考样品,反射率为$\rho _\lambda ^0 $,将其放在样品窗口处探测其响应信号,测量得到基准光谱曲线。由被测样品取代标准板,探测得出被测样品的光谱响应信号,并通过测量软件计算得到被测样品相对于标准板的反射通量的电压信号之比,即${{{V_\lambda }}}/{{V_\lambda ^0}} $,代入式(1)可得到被测样品的光谱发射率。
3.2 实验结果
采用校准装置测量得到黄铜、不锈钢(光面)、不锈钢(毛面)样品的发射率,如图6所示。对环温下黄铜样品和光面、毛面不锈钢样品在3 μm~12 μm波长下的光谱发射率测量结果如图7所示。对黄铜样品进行6次测量后,在3个典型波长处的发射率测量重复性结果如表1所示。
表 1 黄铜样品测量结果重复性Table 1. Repeatability of measurement results for brass samples波长/μm 黄铜发射率测量结果 重复性
$S = \sqrt {\frac{ {\displaystyle\sum\nolimits_1^x { { {\left( { {\varepsilon _i} - \bar \varepsilon } \right)}^2} } } }{ {n - 1} } }$Ⅰ Ⅱ Ⅲ Ⅳ Ⅴ Ⅵ 5.0 0.15 0.15 0.16 0.15 0.15 0.15 0.002 8.0 0.15 0.14 0.14 0.14 0.15 0.14 0.007 12.0 0.12 0.11 0.12 0.12 0.13 0.12 0.005 3.3 测量不确定度评估
光谱发射率测量采用反射法,其测量不确定度的主要来源有:标准漫反射片带来的测量不确定度${u _1} $;装置标定的非线性引起的测量不确定度${u _2} $;测量结果重复性引起A类测量不确定度${u _3} $;重复性引入的测量不确定度由重复性试验得到。
由于各分量之间独立不相关,所以合成相对标准不确定度[20-22]为
$$ {u_c} = \sqrt {u_1^2 + u_2^2 + u_3^2} $$ (2) 按照置信水平为95%,取k=2,则相对扩展测量不确定度为
$$ {U_{{\rm{rel}}}} = k{u_c} $$ (3) 将所有不确定度分量代入,计算得到测量黄铜样品时,光谱发射率校准装置的不确定度为3.2%。在后续的研究中,提高校准装置的标定准确度,有利于测量不确定度提升。
4 结论
介绍了一种环境温度下红外隐身涂料光谱发射率测量方法,采用垂直入射/漫射接收的方法及间接计算,实现了光谱发射率测量。在此基础上,建立了环温下红外隐身涂料光谱发射率校准装置,提出了以标准漫反射片为标准的溯源方法,实现了校准装置的溯源。测量光谱范围为3 μm~12 μm,测量不确定度为3.2%(k=2)。
随着飞行器红外隐身技术与红外探测系统的持续发展,该装置可为飞机红外隐身性能的评价与提升提供计量保障,具有广阔的应用前景。
-
表 1 实验平台及环境配置
Table 1 Configuration of experimental platform
名称 环境参数 操作系统 Ubuntu CPU Intel(R) Xeon(R) Platinum 8255C GPU NIVDIA RTX 2080 Ti深度学习框架 Pytorch1.5.1 CUDA版本 10.1 表 2 消融实验结果
Table 2 Ablation experimental results
组号 Precision/% Recall/% mAP@0.5/% FPS/(frame·s−1) FLOPS/G Params/M YOLOv5s 93.55 92.27 90.04 73 17.303 6.627 YOLOv5s中引入TCC 94.91 92.96 91.91 70 17.044 6.303 YOLOv5s中引入Ghost 95.11 93.64 91.94 64 16.520 6.288 YOLOv5s中引入TCC+Ghost 94.89 92.61 92.30 68 16.260 5.964 -
[1] 杨欣, 王刚, 李椋, 等. 基于深度卷积神经网络的小型民用无人机检测研究进展[J]. 红外技术, 2022, 44(11): 1119-1131. YANG Xin, WANG Gang, LI Liang, et al. Civil drone detection based on deep convolutional neural networks: a survey[J]. Infrared Technology, 2022, 44(11): 1119-1131.
[2] 白春玉, 郭亚周, 刘小川, 等. 民用轻小型无人机碰撞安全特性研究进展[J]. 航空学报, 2022, 43(6): 137-153. BAI Chunyu, GUO Yazhou, LIU Xiaochuan, et al. Research progress of collision safety characteristics of civil light and small UAVs[J]. Acta Aeronautica et Astronautica Sinica, 2022, 43(6): 137-153.
[3] RASOL J, XU Y, ZHANG Z, et al. An adaptive adversarial patch-generating algorithm for defending against the intelligent low, slow, and small target[J]. Remote Sensing, 2023, 15(5): 1439.
[4] YU X, WEI S, FANG Y, et al. Low-altitude slow small target threat assessment algorithm by exploiting sequential multifeature with long short-term memory[J]. IEEE Sensors Journal, 2023, 23(18): 21524-21533. doi: 10.1109/JSEN.2023.3301090
[5] ZHUO Z, LIAN J, LIU J. Infrared UAV target detection based on continuous-coupled neural network[J]. Micromachines, 2023, 14(11): 2113. doi: 10.3390/mi14112113
[6] ZHAO M, LI W, LI L, et al. Infrared small UAV target detection via isolation forest[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61: 1.
[7] SUN H, LIU Q, WANG J, et al. Fusion of infrared and visible images for remote detection of low-altitude slow-speed small targets[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14: 2971-2983. doi: 10.1109/JSTARS.2021.3061496
[8] 张子林, 喻松林, 王戈, 等. 基于改进YOLOv7的机载红外弱小目标检测算法[J]. 激光与红外, 2024, 54(1): 84-91. doi: 10.3969/j.issn.1001-5078.2024.01.012 ZHANG Zilin, YU Songlin, WANG Ge, et al. Airborne infrared dim target detection algorithm based on improved YOLOv7[J]. Laser & Infrared, 2024, 54(1): 84-91. doi: 10.3969/j.issn.1001-5078.2024.01.012
[9] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]: [s.n.], 2014: 580-587.
[10] 李晓佩, 张寅宝, 李严培, 等. 一种基于YOLOv5s的红外图像目标检测改进算法[J]. 激光与红外, 2023, 53(7): 1043-1051. doi: 10.3969/j.issn.1001-5078.2023.07.010 LI Xiaopei, ZHANG Yinbao, LI Yanpei, et al. An improved method of infrared image target detection based on YOLOv5s[J]. Laser & Infrared, 2023, 53(7): 1043-1051. doi: 10.3969/j.issn.1001-5078.2023.07.010
[11] 蒋昕昊, 蔡伟, 杨志勇, 等. 基于YOLO-IDSTD算法的红外弱小目标检测[J]. 红外与激光工程, 2022, 51(3): 502-511. JIANG Xinhao, CAI Wei, YANG Zhiyong, et al. Infrared dim and small target detection based on YOLO-IDSTD algorithm[J]. Infrared and Laser Engineering, 2022, 51(3): 502-511.
[12] 李现国, 曹明腾, 李滨, 等. GPNet: 轻量型红外图像目标检测算法[J]. 红外与毫米波学报, 2022, 41(6): 1092-1101. doi: 10.11972/j.issn.1001-9014.2022.06.019 LI Xianguo, CAO Mingteng, LI Bin, et al. GPNet: Lightweight infrared image target detection algorithm[J]. Journal of Infrared and Millimeter Waves, 2022, 41(6): 1092-1101. doi: 10.11972/j.issn.1001-9014.2022.06.019
[13] 吴璇, 张海洋, 赵长明, 等. 基于改进YOLOv4的低慢小无人机实时探测算法[J]. 应用光学, 2024, 45(1): 79-88. doi: 10.5768/JAO202445.0102002 WU Xuan, ZHANG Haiyang, ZHAO Changming, et al. Improved YOLOv4 for real-time detection algorithm of low-slow-small unmanned aerial vehicles[J]. Journal of Applied Optics, 2024, 45(1): 79-88. doi: 10.5768/JAO202445.0102002
[14] 宋谱怡, 陈 红, 苟浩波. 改进YOLOv5s的无人机目标检测算法[J]. 计算机工程与应用, 2023, 59(1): 108-116. doi: 10.3778/j.issn.1002-8331.2205-0200 SONG Puyi, CHEN Hong, GOU Haobo. Improving UAV object detection algorithm for YOLOv5s[J]. Computer Engineering and Applications, 2023, 59(1): 108-116. doi: 10.3778/j.issn.1002-8331.2205-0200
[15] HAN K, WANG Y, TIAN Q, et al. Ghostnet: more features from cheap operations[C]//IEEE CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 1580-1589.
[16] 黄富瑜, 李刚, 周冰, 等. 红外立体视觉与图像融合技术[M]. 北京: 兵器工业出版社, 2022: 13-15. HUANG Fuyu, LI Gang, ZHOU Bing, et al. Infrared stereo vision and image fusion technology[M]. Beijing: North Industries Press, 2022: 13-15.
[17] 李海军, 孔繁程, 林云. 基于改进YOLOv5s的红外舰船检测算法[J]. 系统工程与电子技术, 2023, 45(8): 2415-2422. LI Haijun, KONG Fancheng, LIN Yun. Infrared ship detection algorithm based on improved YOLOv5s[J]. Systems Engineering and Electronics, 2023, 45(8): 2415-2422.
-
期刊类型引用(3)
1. 刘佳彤,董洁,孙润军,付凯悦,孔维嘉,王琼琼,汤梦瑶. 功能涂层复合材料的研究进展. 纺织科技进展. 2025(02): 16-22 . 百度学术
2. 吴宇颂,田博宇,李辉,许兆峰,霍雨佳,符泰然. 半球向全发射率测量实验教学系统设计与开发. 实验技术与管理. 2024(01): 165-170 . 百度学术
3. 田浩,王旌尧,王久龙,邢妍. 国外某型隐身飞机红外辐射特性及低空可探测性分析. 空天预警研究学报. 2024(03): 167-172 . 百度学术
其他类型引用(0)