Infrared image UAV target detection algorithm based on IDOU-YOLO
-
摘要:
低空小型无人机(unmanned aerial vehicle，UAV)侵扰敏感区域事件频发，使国家和社会面临严重安全威胁。针对基于热成像的无人机目标检测存在漏检率高、检测精度不足的问题，提出了IDOU-YOLO (infrared detection of UAV-YOLO)算法模型，通过构建多尺度融合特征金字塔机制，充分挖掘特征空间信息，聚焦尺度的信息融合及丰富模型的信息表征能力，增强目标检测能力；同时引入了边界框损失函数SIoU(Scylla IoU)，在训练过程中提高模型的检测精度，加快模型的收敛速度。实验结果显示IDOU-YOLO模型的精确率、召回率、F1分数、mAP@0.5和mAP@0.5:0.95分别达到99.2%、96.3%、97.7%、98.4%和70.2%，表明IDOU-YOLO算法模型在红外无人机目标检测任务中具有显著优势和应用潜力。
Abstract:Low-altitude small unmanned aerial vehicle (UAV) frequently invade sensitive areas, which posing a serious threat to national and social security. Aiming at the problems such as high missed detection rate and insufficient detection accuracy for UAV target detection based on thermal imaging, the infrared detection of UAV-YOLO (IDOU-YOLO) algorithm model was proposed. A cross-scale fusion feature pyramid mechanism was constructed to fully explore the feature space information, focus on the cross-scale information fusion and the rich information representation ability of the model, and enhance the target recognition ability. At the same time, the bounding box loss function Scylla IoU (SIoU) was introduced to improve the detection accuracy and accelerate the convergence speed of the model in the training process. The experimental results show that the precision, recall, F1 score, mAP@0.5 and mAP@0.5:0.95 reach 99.2%, 96.3%, 97.7%, 98.4% and 70.2%, respectively, which indicates that the IDOU-YOLO model improves the detection and recognition ability of UAV targets in various scenarios, and can better meet the application requirements of anti-UAV systems.
-
Keywords:
- UAV detection /
- target detection /
- infrared images /
- feature pyramid networks
-
引言
超快脉冲在超快成像、光通信、光谱学、生物医学和材料加工等各个领域都有重要的应用。被动锁模光纤激光器由于具有高光束质量、高效率、高集成度、高可靠性等优点，已被广泛用于产生飞秒级超短脉冲[1]。对于被动锁模光纤激光器，锁模器件在产生超快脉冲激光器中起着关键作用。近年来，多种纳米材料都被用来作为锁模器件，例如碳纳米管[2]、石墨烯[3]、氧化铜[4]、黑磷[5]、拓扑绝缘体[6]等，均表现出3阶非线性效应强、响应时间快、工作波长范围宽的半导体特性，可作为具有竞争力的真实可饱和吸收体应用。特别是碳纳米管可饱和吸收体，具有恢复快、饱和强度低、偏振不敏感、调制深度深、工作带宽宽、环境稳定性好、制造成本低等优点，在锁模光纤激光器中得到了广泛的研究和应用。
相比单一波长的光纤激光器，双波长锁模光纤激光器在光纤通信系统、光纤传感、太赫兹波产生和相干拉曼成像等各种领域中都有广泛潜在应用[7-12]。通过调整掺铒光纤激光器结构，可以产生双波长激光的输出。双波长激光器输出2串具有一定重频差的激光对应其不同的中心波长。因为2个脉冲串是从同一个激光腔内产生，所以具有很强的相干性和共同消噪性，由此可以产生重复频率差很小的相干频率梳。近年来，已经发展了许多技术来实现双波长锁模光纤激光器。1991年，SCHLAGER J B等人首次使用3.4 km双折射光纤在主动锁模掺铒光纤环形激光器中得到双波长锁模脉冲[13]。2009年，南洋理工大学ZHANG H等人在全正色散光纤激光器中使用SESAM锁模，调节腔内双折射系数稳定产生双波长耗散孤子[14]。2016年，四川大学WANG S等人报道了一种基于双分路非线性偏振旋转技术的波长间距可控的双波长同步锁模光纤激光器[15]。2018年，LAU K Y等人采用石墨烯和聚甲基丙烯酸甲酯饱和吸收剂的双波长被动锁模掺铒光纤激光器，通过共用增益介质和可饱和吸收体的光纤分支连接，实现了锁模光纤激光器双波长脉冲输出[16]。2020年，河北师范大学XIN Y X等人利用锥形光纤的滤波效应设计了长腔可调谐双波长掺镱光纤激光器[17]。由此可见，研究者们在双波长光纤激光器领域已经做了大量的研究。但是，目前报道的许多腔内滤波结构由于存在模式干涉不稳定，滤波带宽及滤波深度不可调谐等问题，导致双波长锁模不稳定或双波长锁模光谱带宽窄，使得双波长激光器应用受限。
本文通过将偏振控制器和在线起偏器构成Lyot滤波器引入激光器中，对腔内增益谱进行调节，从而在单个激光器中产生双波长锁模脉冲。在锁模过程中，单壁碳纳米管起到可饱和吸收作用，稳定锁模状态下，通过调节偏振控制器改变Lyot滤波器的输出特性，最终实现了双波长锁模脉冲输出。此外，本文还对腔内滤波效应导致的双波长锁模机制进行了数值模拟，数值仿真结果和实验结果相吻合，进一步验证了所引入的Loyt滤波器对于波长复用激光器的影响。
1 实验原理
图1（a）为Lyot滤波器示意图，通常Lyot滤波器由偏振控制器（polarization controller，PC）、保偏光纤（polarization-maintained fiber，PMF）和起偏器（polarizer）组成。
实验中使用的在线起偏器（inline polarizer，ILP）由PMF和起偏器组成，ILP和PC构成的Lyot滤波器的传输特性[18]可以写为
$$ T = 1 - {\sin ^2}(2\theta ){\cos ^2}(\frac{{2{\text{π }}\Delta n}}{\lambda }{L_{{\text{PMF}}}}) $$ (1) 式中：∆n为PMF的双折射系数，大小等于慢轴和快轴的折射率差；LPMF为PMF的长度；θ为输入光的偏振方向与PMF的快轴之间的夹角，可以通过调整PC来进行调谐。因此，Lyot滤波器的自由光谱范围（free spectral range，FSR），可以表示为[18]
$$ \Delta\lambda=\lambda^2/\left(2\Delta n\cdot L_{\mathrm{PMF}}\right) $$ (2) 式中PMF的双折射系数约为4×10−4。由此可知，Lyot滤波器的FSR与PMF的双折射与长度的乘积成反比。图1（b）为Lyot滤波特性，虚线和实线是LPMF分别为0.15 m和0.20 m的透过率函数。
2 实验装置
图2为双波长锁模光纤激光器实验装置。由980 nm半导体激光器（pump laser）通过波分复用器（wavelength division multiplexer，WDM）泵浦，增益介质是色散系数为15.3 ps2/km的40 cm掺铒光纤（Er-doped fiber，EDF）[19]，隔离器（isolator，ISO）保证了激光器的单向工作，并且将2个偏振控制器插入腔中以优化锁模性能。锁模器件碳纳米管可饱和吸收体（saturates absorbers，SA）是通过光沉积法制备，使用泵浦光源将0.8 nm～1.2 nm管径的单壁碳纳米管无水乙醇混合液沉积在光纤跳线上，能够使激光器稳定锁模24小时以上[19]。单模光纤（single-mode fiber，SMF）的色散系数为−22.9 ps2/km，长度约为4.9 m。此外，腔中还嵌入了具有25.4 cm长的保偏光纤（polarization-maintained fiber，PMF）尾纤的在线起偏器，在线起偏器和偏振控制器形成如图1所示的Lyot滤波器。通过调节偏振控制器来改变腔内偏振，可以对中心波长和光谱带宽进行微调，最后通过30/70光纤耦合器（output coupler，OC）输出脉冲，使腔内存在更多能量，使得激光更容易产生，同时分光比也决定了输出脉冲的平均功率。
光纤激光器腔长约为5.6 m，对应约36.64 MHz的基本重复频率，其净腔色散估计为−0.106 ps2，整个光纤激光器在负色散区域工作，实验中分别使用光谱分析仪（OSA Yokogawa，AQ6370）、示波器（Tektronix MS064）、频谱分析仪（Agilent Technologies，N9000A）实时监测锁模脉冲的波形、光谱和射频频谱。
3 实验结果与分析
由于2个增益峰之间的增益竞争，当激光腔的泵浦和增益饱和条件不完全匹配时，只能获得单波长锁模脉冲，因此，通过调节PC来改变增益谱轮廓，以实现双波长锁模操作。将泵浦功率提高到70.4 mW即可实现双波长锁模操作，泵浦功率由980 nm泵浦管的P-I曲线以及双波长锁模时泵浦控制器上显示的电流来计算确定，此时脉冲输出功率为3.12 mW，脉冲宽度约为ps量级。如图3（a）所示为激光器光谱图，光谱中心波长分别为1 534.2 nm和1 546.0 nm，中心波长间隔为11.8 nm，3 dB带宽分别为1.8 nm和1.5 nm。在双波长锁模状态下工作的脉冲序列的时间波形如图3（b）所示，测量的脉冲周期为27.29 ns，与光脉冲在5.6 m腔长中的传输时间一致。射频频谱如图3（c）所示，基本重复频率为36.64 MHz。通过使用较小分辨率带宽（resolution bandwidth，RBW）的射频频谱仪测量脉冲，可以观察到这2个脉冲序列的重复频率不同，重频差约为1.3 kHz，证实了2个脉冲序列为异步脉冲，这是由于腔内的群速度色散（group velocity dispersion，GVD）导致在2个分离的激光波长上产生了不同的往返延迟。这2个脉冲的信噪比分别为56.70 dB和56.72 dB，说明激光器工作在一个稳定的状态。
4 仿真模型与结果
为了进一步探索Lyot滤波效应对双波长锁模的影响，本文采用基于非线性薛定谔方程（NLSE）的模型[20]进行了数值仿真：
$$ \frac{{\partial A}}{{\partial {\textit{z}}}} = \frac{g}{2}A - \frac{{{\mathrm{i}}{\beta _2}}}{2}\frac{{{\partial ^2}A}}{{\partial {t^2}}} + {\mathrm{i}}\gamma |A{|^2}A + \frac{g}{{2\varOmega _g^2}}\frac{{{\partial ^2}A}}{{\partial {t^2}}} $$ (3) 式中：A为归一化的慢变脉冲包络线；β2为群速度延迟参数；γ为光纤截面的三次非线性系数；变量t和z分别为时间和传播距离；Ωg是具有高斯近似的增益谱的带宽；增益由g=g0·exp（−E/Esat）表示，其中g0为小信号增益，仅对增益光纤为非零，E为脉冲能量，Esat为增益饱和能量[21]。
所设计的掺铒光纤激光器的数值模型如图4所示。它由0.4 m掺铒光纤（EDF）、光谱滤光器（Filter）、5.2 m单模光纤（SMF）、可饱和吸收体（SA）、30∶70光纤耦合器（OC）组成，其中光纤耦合器主要用于提取激光脉冲输出。
在仿真中引入了一种可饱和吸收体模拟实验中的碳纳米管，锁模技术采用一个简单的传递函数[20]：
$$ T = {R_0} + \Delta R[1 - 1/(1 + P/{P_0})] $$ (4) 式中：R0为不饱和传输；ΔR为饱和传输；P为瞬时脉冲功率；P0为饱和功率。仿真模型参数如表1所示。模拟激光腔的总长度为5.6 m，对应的净色散度为−0.114 ps2。Er掺杂光纤的增益轮廓定义为在
1540 nm处的峰值高斯曲线，带宽为40 nm。采用从输出耦合器中提取的脉冲来表示脉冲的演化。为了实现双波长脉冲输出，仿真中引入Lyot滤波函数，滤波器的自由光谱范围取决于PMF的长度和双折射，调制深度依赖于偏振入射光与PMF快轴的角度差。当θ=45°，此时Lyot滤波器的传输函数如表1所示。表 1 激光器数值模拟中各项参数Table 1. Parameters in laser numerical simulationParameter Length/m Gain coefficient/（dB·m−1） Dispersion parameters
（GVD）/ （ps2·km−1）γ/（W·km）−1 Transmittance EDF 0.4 4.2 15 3 Gaussian，Ωg=40 nm SMF 5.2 — −23 3 — Lyot Filter — — — — $ T = 1 - {\text{co}}{{\text{s}}^2}(\dfrac{{2{\text{π }}\Delta n}}{\lambda }{L_{{\text{PMF}}}}) $ SA — — — — $ T = {R_0} + \Delta R[1 - 1/(1 + P/{P_0})] $ 当SA的P0设置为40 W，增益光纤的饱和能量设置为1 nJ，g0=4.2，LPMF=0.25，Δn=4×10−4，R0=0.7，ΔR=0.3，高斯脉冲能够演化为稳定的双波长脉冲。为了观察孤子演化的稳定性，仿真中进行了400次循环，发现双波长脉冲在200圈后已经能够稳定传输。图5（a）和5（b）为400次循环后的时域图和光谱图，由于实验中产生的输出脉冲受到光纤激光器中光纤色散分布不均匀和内部损耗等影响，与仿真结果并不完全一样，存在些许差异。2个脉冲间隔约为240 ps，光谱中心波长分别为1 534 nm和1 546 nm，中心波长间隔12 nm。可以发现，中心波长间隔与实验结果基本吻合。图5（c）为初始高斯脉冲经过400圈循环后的时域演化图。可以发现，随着循环圈数增加，脉冲间隔在发生改变，这是因为中心波长不同的2个脉冲在色散的影响下，其传播速度有差别，形成异步双波长脉冲[22]。图5（d）为脉冲光谱演化图，从光谱强度上看，可以发现，光谱在200圈以后一直持续不变，说明脉冲在循环200圈后已经能够稳定传输。
5 结论
本文研究了一种基于Lyot滤波效应的双波长锁模掺铒光纤激光器。在单个光纤激光器腔内引入带有强双折射的保偏光纤尾纤的在线起偏器，突破原有脉冲在腔内的传输方式，使脉冲在2个不同中心波长下传输和锁模。通过调节腔内偏振态，当泵浦功率调节至70.4 mW，输出中心波长为1 534.2 nm和1 546.0 nm，中心波长间隔为11.8 nm，3 dB带宽分别为1.8 nm和1.5 nm，基本重复频率为36.64 MHz，重频差为1.3 kHz的稳定双波长脉冲。此外，在仿真中引入Lyot滤波函数，实现了稳定的双波长输出，与实验结果基本吻合。波长复用光纤激光器中，Lyot滤波效应研究可以进一步拓展实现可调谐双波长生成，该研究结果在双光梳光谱测量等实际应用中具有一定的参考意义。
-
表 1 IDOU-YOLO和YOLOv7在anti-UAV数据集上整体性能
Table 1 Overall properties of IDOU-YOLO and YOLOv7 on anti-UAV dataset
Model P/% R/% PmAP@
0.5/%PmAP@
0.5:0.95/%F1/% FPS YOLOv7 98.9 94.2 97.0 67.6 96.5 93.5 IDOU-YOLO 99.2 96.3 98.4 70.2 97.7 79.4 
下载: 导出CSV
表 2 颈部网络对比实验结果
Table 2 Experimental results of performance of neck network comparison
Neck P/% R/% PmAP@
0.5/%PmAP@
0.5:0.95/%F1/% FPS FPN 97.6 89.2 95.6 66.2 93.2 123.5 PANet 98.6 96.0 98.0 69.4 97.3 95.2 BiFPN 98.7 96.2 98.4 70.1 97.4 95.2 MMFPN 99.2 96.3 98.4 70.2 97.7 79.4
下载: 导出CSV
表 3 边界框损失函数对比实验结果
Table 3 Experimental results of bounding box loss function comparison
Loss P/% R/% PmAP@0.5/% PmAP@0.5:0.95/% F1/% DIoU 99.1 96.0 98.0 69.7 97.5 GIoU 98.7 96.3 97.9 69.7 97.5 CIoU 99.6 95.4 98.4 69.9 97.5 SIoU 99.2 96.3 98.4 70.2 97.7
下载: 导出CSV
表 4 IDOU-YOLO与主流目标检测算法的对比实验结果
Table 4 Comparative experimental results of IDOU-YOLO and mainstream target detection algorithms
Model P/% R/% PmAP@0.5/% F1/% FPS Faster-RCNN 34.7 66.0 52.3 45.5 19.2 SSD 98.8 60.0 86.1 74.7 74.1 Retinanet 99.7 60.9 65.8 75.6 39.5 Centernet 98.6 85.9 91.1 91.8 66.2 FCOS 98.7 81.9 91.9 89.5 41.6 YOLOX 98.8 89.8 93.1 94.1 37.9 YOLOv5 99.1 95.7 98.2 97.4 63.3 IDOU-YOLO 99.2 96.3 98.4 97.7 79.4
下载: 导出CSV
-
[1] 蒋镕圻, 白若楷, 彭月平. 低慢小无人机目标探测技术综述[J]. 飞航导弹,2020(9):100-105. JIANG Rongqi, BAI Ruokai, PENG Yueping. Overview of low slow small unmanned aerial vehicle target detection technology[J]. Winged Missiles Journal,2020(9):100-105.
[2] WANG W , WANG P , NIU Z . A real-time detection algorithm for unmanned aerial vehicle target in infrared search system[C]// 2018 IEEE International Conference on Signal Processing, Communications and Computing. New York: IEEE, 2018: 1-5.
[3] PANG D, SHAN T, MA P, et al. A novel spatiotemporal saliency method for low-altitude slow small infrared target detection[J]. IEEE Geoscience and Remote Sensing Letters,2021,19:1-5.
[4] FANG H, DING L, WANG L, et al. Infrared small UAV target detection based on depthwise separable residual dense network and multiscale feature fusion[J]. IEEE Transactions on Instrumentation and Measurement,2022,71:1-20.
[5] 夏铭江. 复杂动态场景下红外无人机目标检测法研究[D]. 西安: 西安电子科技大学, 2022. XIA Mingjiang, Research on target detection method of infrared UAV in complex dynamic scene [D]. Xi'an: Xidan University, 2022.
[6] 欧洪璇. 基于深度学习的红外无人机目标监视技术研究[D]. 西安: 西安电子科技大学, 2022. OU Hongxuan. Research on infrared small target monitoring method based on deep learning[D]. Xi'an: Xidan University, 2022.
[7] XU Z, SU J, HUANG K. A-RetinaNet: a novel RetinaNet with an asymmetric attention fusion mechanism for dim and small drone detection in infrared images[J]. Mathematical Biosciences and Engineering,2023,20(4):6630-6651. doi: 10.3934/mbe.2023285
[8] MISBAH M, KHAN M U, YANG Z, et al. Tf-net: deep learning empowered tiny feature network for night-time uav detection[C]//International Conference on Wireless and Satellite Systems. Cham: Springer Nature Switzerland, 2023: 3-18.
[9] WANG C Y, BOCHKOVSKIY A, LIAO H Y M. YOLOv7: trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2023: 7464-7475.
[10] LIU S, QI L, QIN H, et al. Path aggregation network for instance segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York : IEEE, 2018: 8759-8768.
[11] LIN T Y, DOLLÁR P, GIRSHICK R, et al. Feature pyramid networks for object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York : IEEE, 2017: 2117-2125.
[12] XU X, JIANG Y, CHEN W, et al. DAMO-YOLO: a report on real-time object detection design[EB/OL]. (2022-12-15) [2023-03-14]. https://arxiv.org/abs/2211.15444.
[13] ZHENG Z, WANG P, LIU W, et al. Distance-IoU loss: faster and better learning for bounding box regression[J]. Proceedings of the AAAI Conference on Artificial Intelligence,2020,34(7):12993-13000. doi: 10.1609/aaai.v34i07.6999
[14] GEVORGYAN Z. SIoU loss: more powerful learning for bounding box regression [EB/OL]. (2022-5-25) [2023-03-14]. https://arxiv.org/abs/2205.12740.
[15] JIANG N, WANG K, PENG X, et al. Anti-UAV: a large multi-modal benchmark for UAV tracking[EB/OL] . (2021-02-08) [2023-07-31]. https://arxiv.org/abs/2101.08466.
[16] TAN M, PANG R, LE Q V. Efficientdet: scalable and efficient object detection[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. New York : IEEE, 2020: 10781-10790.
[17] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2017,39(6):1137-1149.
[18] LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[C]//Proceedings of the IEEE international conference on computer vision. New York : IEEE, 2017: 2980-2988.
[19] DUAN K, BAI S, XIE L, et al. Centernet: keypoint triplets for object detection[C]//Proceedings of the IEEE/CVF international conference on computer vision. New York : IEEE, 2019: 6569-6578.
[20] TIAN Z, SHEN C, CHEN H, et al. Fcos: fully convolutional one-stage object detection[C]//Proceedings of the IEEE/CVF international conference on computer vision. New York : IEEE, 2019: 9627-9636.
[21] GE Z, LIU S, WANG F, et al. Yolox: exceeding yolo series in 2021[EB/OL]. (2021-08-06) [2022-12-25]. https:// arxiv.org/abs/2107.084-30.
[22] ULTRALYTICS. YOLOV5[EB/OL]. [2023-8-2]. https://github.com/ultralytics/yolov5.
计量
- 文章访问数: 290
- HTML全文浏览量: 50
- PDF下载量: 90
陕公网安备 61011302001501号 