Application of multi-scale fusion super-resolution algorithm in UAV detection
-
摘要: 基于光电传感器的低慢小无人机探测系统能够快速准确地发现并识别无人机目标，但远距离非合作无人机目标在图像中像素比重过小，特征退化较明显，使识别率大大降低。图像超分辨技术能够从低分辨率目标图像区域中获得高分辨率图像并恢复更多的细节特征，现有超分辨技术很难在保证推理速度的前提下兼容图像的高低频特征，因此为了满足探测系统的需求，基于FSRCNN（fast super-resolution convolutional neural network）的特征提取与非线性映射网络结构并结合多尺度融合，提出一种包含4分支的轻量级多尺度融合超分辨率网络，能够在超分辨率图形中兼容高低频图像信息，且参数量较低，实时性高。经实验结果表明，该算法能够更加快速高效地重建出高分辨率的无人机轮廓与细节；在YOLOV3检测效果的实验中，该算法能够使无人机检测置信度平均提升6.72%，具备较高的实际应用价值。Abstract: The low-speed and small unmanned aerial vehicle (UAV) detection system based on photoelectric sensors can quickly and accurately find and identify the UAV targets. However, the proportion of pixels in the images of long-distance non-cooperative UAV targets is too small, and the degradation of characteristics is obvious, which greatly reduce the recognition rate. The image super-resolution technology can obtain the high-resolution images from low-resolution target image regions and restore the more detailed features. The existing super-resolution technology is difficult to be compatible with the high and low frequency characteristics of images while ensuring the inference speed. In order to meet the requirements of detection system, based on the feature extraction and nonlinear mapping network structure of fast super-resolution convolutional neural network (FSRCNN), and combined with the multi-scale fusion, a lightweight multi-scale fusion super-resolution network with 4 branches was proposed, which could be compatible with the high and low frequency image information in super-resolution graphics and with low parameter quantity and high real-time performance. The experimental results show that the UAV contours and details with high resolution can be reconstructed more quickly and efficiently by this algorithm. In the experiment of YOLOV3 detection effect, the confidence degree of the UAV detection can be increased by 6.72% by this algorithm, which has high practical application values.
-
引言
超连续谱光源在光纤传感、光谱测量、大气探测和生物医疗等领域得到了广泛的应用[1-6]，基于光纤的超连续谱光源具有超宽带、高光谱功率和高光束质量等特点而被广泛研究。通常来讲，超连续谱光源主要包括2个部分，具有高功率的脉冲激光器和高非线性光纤。微结构光纤和硅基单模光纤均可以用来产生超连续谱[7-9]，然而微结构光纤与泵浦激光器尾纤的耦合仍然是一项挑战。相比于微结构光纤，固态单模光纤与泵浦激光器的输出端能进行低损耗熔接，具有结构紧凑、系统高效的特点。此外，泵浦激光器也是产生超连续谱的关键部分。常用的泵浦激光器为脉冲激光器，锁模光纤激光器已经被证明能产生各种类型的脉冲，如常规孤子脉冲、耗散孤子脉冲和类噪声脉冲等。基于类噪声脉冲的锁模光纤激光器已经被证明在泵浦非线性光纤中产生超连续谱具有独特的优势。类噪声脉冲在频谱上表现出超宽带的特性，相比于传统脉冲，类噪声脉冲能更有效地实现非线性频率转换[10- 11]。此外，类噪声脉冲还具有高的峰值功率，有利于产生超连续谱。
目前，基于类噪声脉冲的抽运非线性光纤产生超连续谱的实验已经被大量报道[12-16]。2012年J. C. HernandezGarciaa等[12]将获得的类噪声脉冲在腔外放大后泵浦0.75 km长的单模光纤得到的超连续谱范围是1.5 μm～1.75 μm，并且在1 640 nm～1 750 nm范围内光谱的不平坦度≤±1 dB。2013年Alexey Zaytsev等[13]利用ps级的类噪声脉冲泵浦长100 m的单模光纤，得到了1 050 nm～1 250 nm的平坦超连续谱，但其结构较为复杂。2014年Shih-Shian Lin等[14]报道了基于掺铒光纤放大器和高非线性光纤的超连续谱光源，相应的光谱范围为1.2 μm～2.1 μm，虽然光谱的范围较宽，但光谱不平坦。2015年Chen等[15]利用类噪声脉冲泵浦非线性光纤获得了500 nm～2 300 nm范围的超连续谱，在700 nm～1 500 nm范围内光谱的平坦度优于5 dB。2017年E. Hernández-Escobar等[16]报道了由功率放大的类噪声脉冲泵浦非线性光纤获得了超连续谱，超连续谱的覆盖范围为1 261 nm～2 261 nm，其光谱的平坦度为3 dB。在以上报道中，由类噪声脉冲泵浦非线性光纤获得的超连续谱的平坦度在3 dB以上，但获得平坦度高的超连续谱时结构又较复杂。高平坦度的超连续谱光源可以更好地满足光纤传感、光纤通信等领域的应用。因此，结构简单、紧凑，并且平坦度高的超连续谱光源值得研究。
本文提出了一种由类噪声脉冲抽运的平坦超连续谱光源。在泵浦功率为450 mW时，实现了中心波长为1 600 nm的类噪声锁模脉冲输出，尖峰脉宽宽度为303 fs，3 dB光谱宽度为63.34 nm。利用掺铒光纤放大器将其谐振腔输出功率放大至338 mW，并且类噪声脉冲的光谱没有明显的变化。将功率放大后的类噪声脉冲耦合进一段长57 m的高非线性光纤，获得的超连续谱覆盖了1 530 nm～2 300 nm，超连续谱的最大输出功率为49.83 mW。其中，在1 736 nm～2 134 nm光谱范围内，光谱的平坦度优于0.5 dB。
1 系统结构
基于类噪声脉冲抽运全光纤超连续谱产生的实验结构如图1所示。由类噪声脉冲种子源、掺铒光纤放大器和一段高非线性光纤（HNLF）组成，其中类噪声脉冲种子源是基于非线性偏振旋转原理实现锁模的。由2个偏振控制器（PC1和PC2）和偏振相关隔离器（PD-ISO）组成重要的锁模器件，其中，PD-ISO还能保证光脉冲在环形腔内单向传输。工作波长为980 nm的半导体激光器（LD）通过波分复用器（WDM）泵浦一段长0.8 m的高掺杂掺铒光纤（EDF），耦合比为10：90的光纤耦合器的90%端用于腔内反馈，10%端用来输出脉冲。环形腔内加入长为1 m的色散补偿光纤（DCF）来控制腔内色散，使腔内净色散接近零色散；同时加入6 m色散位移光纤（DSF），用来增大腔长和增强非线性。腔内其他无源器件的尾纤均为SMF-28，尾纤长度估计为6.24 m，总腔长为14.04 m。在1.5 μm波段，SMF-28、DSF、DCF和EDF的色散值分别为−0.022 9 ps2/m、−0.005 1 ps2/m、+0.184 8 ps2/m和−0.02 ps2/m，因此，经过计算的环形腔的净色散为−0.0047 ps2/m，处于近零反常色散区，有利于孤子自频移等非线性效应的发生。
![]()
图 1 基于类噪声脉冲抽运的全光纤超连续谱实验结构Figure 1. Experimental structure diagram of all-fiber super-continuum spectrum based on noise-like pulse pumping由于超连续谱的产生存在阈值，因此，为了避免种子脉冲的输出功率达不到阈值，在激光器输出端搭建了掺铒光纤放大器。掺铒光纤放大器包括LD（Pump2）、2 m掺铒光纤（EDF2）、WDM2以及隔离器（ISO），ISO的隔离损耗为33 dB，采用背向泵浦的方式来提高泵浦效率，在放大器的输出端熔接一段HNLF来产生超连续谱。实验过程中采用最高分辨率为0.05 nm的光谱分析仪（YOKOGAWA AQ6375）测量光谱，时域信号由10 Gb/s光电探测器和2.5 GS/s示波器（OSC Agilent DSO9254A）来监测，采用自相关仪（femtochrome，FR-103XL）观测锁模脉冲的自相关轨迹。
2 实验结果与讨论
在实验中，通过调节抽运泵浦功率和偏振控制器，在泵浦功率为450 mW时出现了稳定的类噪声脉冲锁模，此时的输出功率约为3.13 mW，类噪声脉冲的光谱如图2（a）所示。从图2（a）可看出，光谱较平滑，和报道的类噪声脉冲光谱相似。类噪声脉冲的中心波长为1 600 nm，3 dB光谱宽度为63.34 nm。示波器观测的脉冲序列如图2（b）所示，脉冲的幅度基本均匀一致，脉冲间隔为71.22 ns，对应的重复频率为14.24 MHz，与14.04 m的腔长相对应。为了进一步确定是类噪声脉冲锁模，测量的自相关轨迹如图2（c）所示。图2（c）中插图为大范围的自相关轨迹，一个窄的尖峰位于一个大的基底上，这是典型的类噪声脉冲自相关轨迹，由一系列随机相位、强度和脉冲宽度的超短脉冲组成的脉冲包络。对尖峰采用高斯曲线拟合，相应的尖峰脉宽宽度为303 fs。类噪声脉冲的频谱图如图2（d）所示，信噪比为46 dB，其中插图为400 MHz范围的频谱图，频谱没有调制，表明类噪声脉冲锁模稳定。
在获得类噪声脉冲锁模后，将泵浦功率增加至1 000 mW，类噪声脉冲仍能保持稳定的单脉冲运行。图3给出了不同泵浦功率下类噪声脉冲的输出光谱。从图3（a）可看出泵浦功率从450 mW增加至1 000 mW过程中，光谱的形状基本保持不变，而光谱的强度随着泵浦功率的增加有轻微的增加。此外，不同泵浦功率下，类噪声脉冲的自相关轨迹如图3（c）所示，与图2（c）中插图的形状非常相似，在基底上有一个尖峰，尖峰的宽度保持在303 fs没有改变。图3（b）显示了类噪声脉冲光谱的3 dB宽度随泵浦功率的变化。从图3（b）中可以看出，光谱宽度与泵浦功率之间呈线性关系。在泵浦功率达到最大1 000 mW时，类噪声脉冲的3 dB光谱宽度能达到69.66 nm。
由于谐振腔的最大输出功率为8.6 mW，无法直接泵浦高非线性光纤，需要进行功率放大，为此设计了掺铒光纤放大器结构。为了确定类噪声脉冲经过掺铒放大器时光谱没有较大的变化，给出了种子脉冲经放大器放大后的光谱对比，如图4所示。图4中黑色虚线为没有经过放大的类噪声脉冲光谱，红色实线为经过放大后测得的类噪声脉冲光谱。从图4中可以看出，光谱强度增加，但是光谱没有较大的改变，说明光脉冲在放大过程中没有明显的非线性效应。图5给出了放大器的输出功率随泵浦功率的变化。从图5中可以看出，随着泵浦功率的增加，掺铒放大器的斜率有缓慢下降的趋势。当放大器的泵浦功率为1 000 mW时，放大器的最大输出功率为338 mW。由于泵浦2的最大功率为1 000 mW，因此，不能获得更高的输出功率。
![]()
图 4 类噪声脉冲放大前后的光谱对比Figure 4. Comparison of spectrum before and after noise-like pulse amplification将长为57 m的HNLF与放大器的输出端熔接可产生超连续谱。使用的HNLF在1 550 nm处非线性系数估计为10 W−1 km−1，截止波长为1 480 nm，此外HNLF的零色散波长也是1 550 nm。由于类噪声脉冲包络中飞秒脉冲的峰值功率较高，在高非线性光纤中受非线性效应影响使光谱展宽，如图6（a）所示。从图6（a）可看出，在泵浦2的功率为300 mW时，受到四波混频（FWM）和光孤子效应的作用，在HNLF的零色散波长附近光谱会急剧展宽；扩展到反常色散区的光谱在自相位调制和反常色散的作用下形成了高阶孤子。进一步提高泵浦功率，脉冲的峰值功率会超过受激拉曼散射的阈值，在受激拉曼效应的作用下会发生孤子自频移，导致光谱向更长的波长范围扩展。随着泵浦功率的进一步提高，光谱宽度会更宽[17]。从图6（a）可知，超连续谱覆盖范围为1 530 nm～2 300 nm。随着泵浦功率的增加，超连续谱的光谱强度有所增加，但是整体范围变化不明显，光谱截止在2 300 nm，这是由于光纤的非线性效应和石英玻璃光纤对2 300 nm以上的中红外波段具有很强的吸收损耗。光谱的10 dB宽度范围从1 547 nm~2 182 nm，宽度为634 nm。值得注意的是，在1 736 nm~2 084 nm范围内，光谱的不平坦度≤±0.5 dB，在1 562 nm处尖峰是由于泵浦光没有被充分吸收所致。此外，在1 400 nm和1 900 nm处光谱存在缺陷，这是HNLF中水吸收引起的。图6（b）给出了超连续谱的输出功率和10 dB带宽随放大器功率的变化，超连续谱的输出功率呈线性增加，其最大输出功率为49.83 mW，超连续谱的10 dB也随泵浦功率的增加而增加，最大带宽为639 nm。
3 结论
设计了一个由类噪声脉冲抽运的全光纤结构的超连续谱光源。利用DCF和DSF控制腔内色散，提高非线性效应，在近零负色散区通过调节PCs和泵浦功率实现了类噪声脉冲锁模。类噪声脉冲的中心波长为1 600 nm，3 dB光谱宽度为69.66 nm，重复频率为14.04 MHz，脉冲尖峰宽度为303 fs。然后将此类噪声脉冲的直接输出功率放大，光谱没有明显的变化。将功率放大后的类噪声脉冲注入到一段长57 m的HNLF光纤中，实现了宽带的超连续谱，20 dB光谱范围覆盖了1 530 nm～2 300 nm，超连续谱的10 dB宽度为639 nm。此外，在1 736 nm～2 134 nm范围内光谱的平坦度优于0.5 dB。设计的结构简单、平坦的超连续谱光源在光传感、光通信和光谱学等领域具有较大的潜在应用价值。
-
![]()
图 2 多尺度融合超分辨率重建算法网络结构图
Figure 2. Network structure diagram of multi-scale fusion super-resolution reconstruction algorithm
![]()
图 3 图像处理与特征提取结构图
Figure 3. Structure diagram of image processing and feature extraction
![]()
图 4 子网络1中特征提取部分卷积核结果
Figure 4. Partial convolution kernel results of feature extraction in subnetwork 1
![]()
图 12 训练过程中loss与step关系曲线
Figure 12. Relationship curve between loss and step during training
![]()
图 13 有无预训练的超分辨率结果对比图
Figure 13. Comparison of super-resolution results with and without pre-training
![]()
图 14 MFSRCNN、FSRCNN与Bicubic重建效果对比图
Figure 14. Comparison of reconstruction effects of MFSRCNN，FSRCNN and Bicubic
![]()
图 15 MFSRCNN算法与ESRGAN算法重建结果对比
Figure 15. Comparison of reconstruction results of MFSRCNN algorithm and ESRGAN algorithm
![]()
图 16 4个子网络输出与超分辨率输出结果图和对应频谱图
Figure 16. Results diagram of four subnetworks output and super-resolution output，and corresponding spectrogram
![]()
图 17 MFSRCNN与其他先进的轻量级网络在Urban100数据集上4×的性能和参数比较
Figure 17. 4× performance and parameter comparison of MFSRCNN and other advanced lightweight networks on Urban100 dataset
![]()
图 19 无人机超分辨率重建前后通过YOLO网络检测结果图
Figure 19. Diagram of detection results by YOLO network before and after UAV super-resolution reconstruction
表 1 4×情况下不同算法对无人机测试集重建的PSNR与SSIM与参数对比
Table 1 Comparison of PSNR，SSIM and parameters of UAV test set reconstruction by different algorithms in 4× case
Method Params/×103 PSNR SSIM Bicubic 15 17.255 7 0.660 7 FSRCNN 63 22.483 5 0.750 3 VDSR 665 26.015 1 0.769 8 LapSRN 813 26.204 3 0.772 6 DRRN 297 27.654 7 0.778 9 SRResNet 1 518 31.943 1 0.797 4 MFSRCNN 406 31.880 0 0.796 1 
下载: 导出CSV
表 2 部分无人机超分辨率重建前后通过YOLO网络检测结果
Table 2 Detection results by YOLO network before and after partial UAV super-resolution reconstruction
编号 confidence score 置信度提升 重建前 重建后 1 0.82 0.86 4.88% 2 0.95 0.97 2.11% 3 0.76 0.79 3.95% 4 0.86 0.9 4.65% 5 0.63 0.65 3.17% 6 0 0 0.00% 7 0.71 0.77 8.45% 8 0.91 0.92 1.09% 9 0.93 0.94 1.08% 10 0.45 0.48 6.67% 11 0.7 0.73 4.29% 12 0.62 0.67 8.06% 13 0.73 0.78 6.85% 14 0.63 0.69 9.52% 15 0.68 0.77 13.24% 16 0.93 0.95 2.15% 17 0.67 0.98 46.27% 18 0.8 0.84 5.00% 19 0.83 0.83 0.00% 20 0.61 0.73 19.67% 21 0.85 0.91 7.06% 22 0.72 0.68 −5.56% 23 0.5 0.52 4.00% 24 0.56 0.65 16.07% 25 0.96 0.97 1.04% 26 0.96 0.98 2.08% 27 0.75 0.91 21.33% 28 0.97 0.99 2.06% 29 0 0.41 $ {\infty } $ 30 0.88 0.97 10.23%
下载: 导出CSV
-
[1] 胡文娟, 张毅. 反无人机系统的研究与实现[J]. 中国民航飞行学院学报,2020,31(2):30-34. doi: 10.3969/j.issn.1009-4288.2020.02.007 HU Wenjuan, ZHANG Yi. Research and implementation of anti-UAV system[J]. Journal of Civil Aviation Flight University of China,2020,31(2):30-34. doi: 10.3969/j.issn.1009-4288.2020.02.007
[2] PIERACCINI M, MICCINESI L, ROJHANI N. RCS measurements and ISAR images of small UAVs[J]. IEEE Aerospace and Electronic Systems Magazine,2017,32(9):28-32. doi: 10.1109/MAES.2017.160167
[3] 向凡夫, 郝冬青, 吴鹏. 针对低慢小目标的雷达信号处理算法[J]. 指挥控制与仿真,2019,41(4):40-46. doi: 10.3969/j.issn.1673-3819.2019.04.009 XIANG Fanfu, HAO Dongqing, WU Peng. A radar signal processing algorithm for low, slow and small targets[J]. Command Control and Simulation,2019,41(4):40-46. doi: 10.3969/j.issn.1673-3819.2019.04.009
[4] EL J S, FIORANELLI F, ANDERSON D. Review of radar classification & RCS characterisation techniques for small UAVs or drones[J]. IET Radar Sonar? Navigation,2018,12(9):911-919. doi: 10.1049/iet-rsn.2018.0020
[5] OPROMOLLA R, FASANO G, ACCARDO D. A vision-based approach to UAV detection and tracking in cooperative applications[J]. Sensors,2018,18(10):3391. doi: 10.3390/s18103391
[6] ANDRAŠI P, RADIŠIĆ T, MUŠTRA M, et al. Night-time detection of UAVs using thermal infrared camera[J]. Transportation Research Procedia,2017,28:183-190. doi: 10.1016/j.trpro.2017.12.184
[7] SHOUFAN A, AL-ANGARI H M, SHEIKH M, et al. Drone pilot identification by classifying radio-control signals[J]. IEEE Transactions on Information Forensics & Security,2018:2439-2447.
[8] HARVEY B, O’YOUNG S. Acoustic detection of a fixed-wing UAV[J]. Drones,2018,2(1):4. doi: 10.3390/drones2010004
[9] 任永平. 反无人机系统中目标探测跟踪技术研究[D]. 西安: 西安工业大学, 2019. REN Yongping. Research on target detection and tracking technology in anti-UAV system[D]. Xi’an: Xi’an Technological University, 2019.
[10] 李有为. 基于小目标检测的自然场景交通标志识别[D]. 成都: 电子科技大学, 2020. LI Youwei. Natural scene traffic sign recognition based on small target detection[D]. Chengdu: University of Electronic Science and Technology of China, 2020.
[11] 黄露. 压缩监控视频中车牌超分辨率和识别算法研究[D]. 杭州: 浙江大学, 2017. HUANG Lu. Research on license plate super-resolution and recognition algorithm in compressed surveillance video[D]. Hangzhou: Zhejiang University, 2017.
[12] DONG C, LOY C C, HE K, et al. Learning a deep convolutional network for image super-resolution[C]// European Conference on Computer Vision. Cham, Switzerland: Springer, 2014.
[13] DONG C, LOY C C, TANG X. Accelerating the super-resolution convolutional neural network[C]// European Conference on Computer Vision. Cham, Switzerland: Springer, 2016.
[14] LEDIG C, THEIS L, HUSZAR F, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). USA: IEEE, 2016.
[15] WANG X, YU K, WU S, et al. ESRGAN: enhanced super-resolution generative adversarial networks[C]// European Conference on Computer Vision. Cham, Switzerland: Springer, 2018.
[16] CHE K, CHEN Y, XIANG Z, et al. Research of infrared image super-resolution reconstruction based on improved FSRCNN[C]//Proceedings of the Conference on Research in Adaptive and Convergent Systems. [S.l.]: ACM, 2019.
[17] 曲海成, 唐博文, 袁贵森. 一种改进的SRCNN超分辨率图像重建算法[J]. 激光与光电子学进展,2021,58(2):18. QU Haicheng, TANG Bowen, YUAN Guisen. An improved SRCNN super-resolution image reconstruction algorithm[J]. Laser and Optoelectronics Progress,2021,58(2):18.
[18] SUN K, XIAO B, LIU D, et al. Deep high-resolution representation learning for human pose estimation[C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). USA: IEEE, 2020.
[19] MONTSERRAT D M, LIN Q, ALLEBACH J, et al. Training object detection and recognition cnn models using data augmentation[J]. Electronic Imaging,2017,2017(10):27-36. doi: 10.2352/ISSN.2470-1173.2017.10.IMAWM-163
[20] EDUARDO R, ANDREAS U, GEORG W, et al. Exploring deep learning and transfer learning for colonic polyp classification[J]. Computational and Mathematical Methods in Medicine,2016(6584725):1-16.
[21] JOHNSON J, ALAHI A, LI F. Perceptual losses for real-time style transfer and super-resolution[C]// European Conference on Computer Vision. Cham, Switzerland: Springer, 2016.
[22] HU Y, WU X, ZHENG G, et al. Object Detection of UAV for anti-UAV based on improved YOLO v3[C]// 2019 Chinese Control Conference (CCC). USA: IEEE, 2019.
-
期刊类型引用(0)
其他类型引用(2)
计量
- 文章访问数: 1216
- HTML全文浏览量: 451
- PDF下载量: 95
- 被引次数: 2
陕公网安备 61011302001501号 