基于深度学习的长时地面目标跟踪技术

卢晓燕, 沈猛, 王洁, 李嘉恒, 杨一洲, 何曦, 曹玉举, 庞澜

卢晓燕, 沈猛, 王洁, 等. 基于深度学习的长时地面目标跟踪技术[J]. 应用光学, 2025, 46(2): 343-354. DOI: 10.5768/JAO202546.0202007
引用本文: 卢晓燕, 沈猛, 王洁, 等. 基于深度学习的长时地面目标跟踪技术[J]. 应用光学, 2025, 46(2): 343-354. DOI: 10.5768/JAO202546.0202007
LU Xiaoyan, SHEN Meng, WANG Jie, et al. Long-time tracking technology for ground targets based on deep learning[J]. Journal of Applied Optics, 2025, 46(2): 343-354. DOI: 10.5768/JAO202546.0202007
Citation: LU Xiaoyan, SHEN Meng, WANG Jie, et al. Long-time tracking technology for ground targets based on deep learning[J]. Journal of Applied Optics, 2025, 46(2): 343-354. DOI: 10.5768/JAO202546.0202007

基于深度学习的长时地面目标跟踪技术

基金项目: 国家自然科学基金(62203353)
详细信息
    作者简介:

    卢晓燕(1978—),女,硕士,研究员,主要从事图像处理算法与应用研究。E-mail:13363906964@189.cn

  • 中图分类号: TN201

Long-time tracking technology for ground targets based on deep learning

  • 摘要:

    目标跟踪作为图像处理领域的重要组成部分,广泛应用于智能视频监控、军事侦察等领域。但在面对物体形变以及遮挡等复杂应用场景时,相关滤波算法由于缺乏目标和背景判别区分以及遮挡状态判断等策略,存在跟错目标、缓慢漂移到背景等现象,在遮挡后目标重新出现时,缺乏重检测机制,这些问题导致了跟踪性能在实际工程中大幅下降。针对以上问题进行改进设计,首先在跟踪过程中,使用网络优化器更新多层深度特征提取网络,优化损失函数提高目标与背景的判别能力;其次,采用多重检测抗遮挡优化机制,确定跟踪器状态更新机制;最后,基于深度学习进行检测跟踪识别一体化设计,实现跟踪前典型目标的自动捕获,目标受遮挡后重新出现时实现对典型目标的重新捕获定位。在实验分析中,分别从跟踪精度、可视化定量损失以及算法速度等方面进行了性能验证。实测数据显示,本文采用的方法在以上方面性能表现良好,优于改进前的ECO(efficientconvolution operators for tracking)算法。

    Abstract:

    As an important part of the field of image processing, target tracking is widely used in intelligent video surveillance, military reconnaissance and other fields. However, in the face of the target deformation, occlusion, and other complex application scenarios, the relevant filtering algorithms follow the wrong targets, slowly drift to the background and lack of redetection mechanism when the target reappears after occlusion due to the deficiency of strategies for target and background discrimination and occlusion state judgment, which leads to a substantial decline of tracking performance in practical engineering. According to the above problems, the improved design was carried out. Firstly, in normal tracking, the network optimizer was used to update the multi-layer deep feature extraction network, and the loss function was optimized to improve the discrimination ability of target and background. Secondly, the multiple detection and anti-occlusion optimization mechanism was used to determine the tracker state update mechanism. Finally, the integrated detection, tracking and identification based on deep learning was designed to realize the automatic capture of typical targets before tracking and the recapture positioning of typical targets when the targets reappeared after occlusion. In the experimental analysis, the performance was verified from the aspects of tracking accuracy, visual quantitative loss and algorithm speed. The measured data shows that the adopted method performs well in the above aspects, which is better than that of the ECO algorithm before improvement.

  • 微透镜及其阵列器件是光学透镜微型化、芯片化发展的必然趋势,在光通信、光整形、光探测等领域应用广泛。微透镜的检测方法目前主要有探针测量[1-2]和干涉测量[3]两种。基于探针的接触测量法难以保证透镜中心位置的获取,需要多次重复测量,且对光学元件表面易造成损伤[4-5];干涉非接触测量精度较高,但结构复杂,对环境要求较为苛刻、价格昂贵[6-7]、测试效率低。哈特曼传感器[8]具有体积较小,精度较高,动态影响可以通过多次采样取平均来消除的特点,目前被广泛使用。

    目前多名学者曾在利用哈特曼传感器测量透镜性能方面进行过研究,如西安工业大学的田爱玲等人[9]对口径为3 mm的透镜进行测量,利用Zernike多项式重构波前,得到了待测透镜的波前及像差参数;长春光学精密机械与物理研究所的王晶等人[10]提出了一种夏克哈特曼扫描拼接检测平面镜面形的方法;成都光电技术研究所的戴勋义[11]提出了一种扫描哈特曼法检测大口径望远镜像质的方法。以上研究均针对大口径透镜进行检测,利用哈特曼传感器测量小尺寸透镜目前还没有成熟技术。本文在前人研究的基础上,重新设计测试方案,首次利用该方法测试并分析其可行性,主要针对更小口径的微透镜进行波前测试研究。重点研究了测量方案,分析方案中误差产生及消除的办法,并结合实际测试,实现了对口径为200 μm凸透镜的光学性能检测。

    测试系统总体方案光路图如图1所示,主要由测量光路和参考光路两部分构成。测量光路包括发射激光器、激光扩束器、分光棱镜、平面反射镜;参考光路包括发射激光器、激光扩束器、分光棱镜、标准透镜、待测透镜和平面反射镜。需保证所使用的两个平面反射镜面型偏差一致,经干涉仪测试的标准透镜的面型偏差对测量精度不产生影响,或作为系统误差剔除。

    图  1  测试系统总体方案光路图
    Figure  1.  Optical path diagram of overall scheme for test system

    图1中,波长632.8 nm激光器1发出的光束经扩束镜组2进行扩束、准直,通过分光棱镜3后,透射光直接入射到标准平面反射镜7并按原路返回,经分光棱镜3反射后入射至哈特曼传感器8获得参考光路波像差。经分光棱镜3反射的光束经聚焦透镜4会聚后入射至待测小透镜5,聚焦透镜4焦点与待测透镜5焦点重合。经待测透镜5出射的平行光束经标准平面反射镜6反射后按原路返回,经分光棱镜3透射后入射至哈特曼传感器获得待测透镜波像差,将第二次获得的波前减去第一次获得的波前,即可得到待测透镜的波像差。

    根据光通信耦合的实际需求,口径200 μm的透镜波前检测精度要求保证均方根(root-mean-square, RMS)误差≤1/16 λ。分析哈特曼传感器主要参数,设计完成该传感器检测系统的搭建,基准波长为632.8 nm,质心算法精度须达到0.02 pixel,波前检测的RMS达到1/20 λ

    测试系统误差来源主要有两个方面:一方面是哈特曼传感器自身的检测误差,主要包括质心提取误差${\sigma _1}$和波前重构误差${\sigma _2}$;另一方面是微透镜孔径衍射效应带来的误差${\sigma _3}$。需对3个部分进行分析,保证微透镜波前的检测精度。

    哈特曼传感器在检测微透镜波前时,通过CCD采集激光光斑图像[12],由于像差的存在,该光斑是一个弥散圆,形状不规则,需对光斑质心提取算法进行研究。根据光斑特点,采用加权灰度平均质心提取算法来实现光斑质心的有效提取[13]。其计算表达式为

    $$ {x_{\text c}} = \frac{{\displaystyle\mathop \sum \nolimits_{{{i}} = 1}^M \displaystyle\mathop \sum \nolimits_{{{j}} = 1}^N {x_{{{i}},{{j}}}}I_{{{i}},{{j}}}^w}}{{\displaystyle\mathop \sum \nolimits_{{{i}} = 1}^M \displaystyle\mathop \sum \nolimits_{{{j}} = 1}^N I_{{{i}},{{j}}}^w}} $$ (1)
    $$ {y_{\text c}} = \frac{{\displaystyle\mathop \sum \nolimits_{{{i}} = 1}^M \displaystyle\mathop \sum \nolimits_{{{j}} = 1}^N {y_{{{i}},{{j}}}}I_{{{i}},{{j}}}^w}}{{\displaystyle\mathop \sum \nolimits_{{{i}} = 1}^M \displaystyle\mathop \sum \nolimits_{{{j}} = 1}^N I_{{{i}},{{j}}}^w}} $$ (2)

    式中:M×N为CCD的分辨率;$ x\mathit{_{{i},{j}}},y\mathit{_{{i},{j}}} $为$\left( {i,j} \right)$处的$x$坐标和$y$坐标;$I_{{{i}},{{j}}}^w$为$\left( {i,j} \right)$处像素灰度值的$w$次幂,$w$为像素灰度值的幂指数;$ x_{\mathrm{c}},y\mathrm{_c} $为光斑质心的$x$和$y$坐标。

    CCD获取的是包含噪声的灰度图像,在对光斑质心提取之前,需对图片进行预处理,降低背景噪声的影响[14]。分别使用全局阈值法、自适应高斯阈值法和自适应均值阈值法对同一光斑质心提取多组数据,利用最小二乘法求出各自平均值。再利用3种方法对分布光斑质心提取20次,与各自的平均值相减,得出各自残余误差。根据贝塞尔公式计算标准差,求出光斑质心的提取标准差,如图2所示。$w$在2~3之间取值进行质心提取,精度最高,为了减小计算量,$w$通常取整数。当像素灰度值的幂指数为2时,质心提取精度相较于传统质心法($w{\text{ = }}1$)有了很大的提高,且指数由2增加到3时精度相差不大,因此指数$w$取2即可。自适应均值阈值化在像素灰度值指数为2时,质心提取精度最高,即${\sigma _1}{\text{ = }}0.018$ pixel。

    图  2  光斑质心提取误差图
    Figure  2.  Error diagram of spot centroid extraction

    带有畸变的入射波前经微透镜阵列分割后,在焦面上形成一个不规则光斑阵列,计算每个光斑质心位置$ (x_{\mathrm{c}},y\mathrm{_c}) $与其理想位置$ ({x}_{0},{y}_{0}) $的偏移量,其与微透镜焦距$f'$的比值为子孔径范围内的波前平均斜率[15],如式(3)所示:

    $$ \left\{ \begin{array}{l}G_x=\dfrac{\Delta x}{f'}=\dfrac{x_{\text c}-x_0}{f'} \\ G_y=\dfrac{\Delta y}{f'}=\dfrac{y_{\text c}-y_0}{f'} \end{array} \right. $$ (3)

    式中:$ G_x $为$ x $方向斜率;$ G_y $为$ y $方向斜率;$ (x_{\mathrm{c}},y_{\mathrm{c}}) $为计算得到的光斑质心位置;$({x_0},{y_0})$为光斑质心理想位置;$f'$为微透镜阵列焦距。

    Zernike正交多项式的每一项都有明确的物理意义,并与初级像差具有一一对应关系,对进一步分析透镜的其他像差具有很好的指导作用[16],因此利用Zernike正交多项式对波前进行重构。首先计算哈特曼传感器CCD像面多个子孔径质心的偏移量,得到其波前斜率的变化信息,使用Zernike正交多项式进行波面拟合[17],如式(4)所示:

    $$ W = \mathop \sum \limits_{k = 1}^K {a_k}{Z_k}\left( {x,y} \right) $$ (4)

    式中:K为Zernike多项式阶数;${a_k}$表示Zernike系数;${Z_k}\left( {x,y} \right)$表示第k项Zernike多项式。用式(4)分别对$x$,$y$求偏导数,得到两个方向上的波前斜率:

    $$ \left\{ \begin{array}{l} {G_x} = \displaystyle\sum \limits_{k = 1}^K {a_k}\dfrac{{\partial {{\text{Z}}_k}\left( {x,y} \right)}}{{\partial x}} \\ {G_y} = \displaystyle \sum \limits_{k = 1}^K {a_k}\dfrac{{\partial {{\text{Z}}_k}\left( {x,y} \right)}}{{\partial y}} \end{array} \right. $$ (5)

    哈特曼波前传感器采用的子孔径数目为M,得到2×M个测量值。在所有的测量值中,有一半是$x$方向上的斜率,另一半是$y$方向上的斜率,波前斜率的矩阵可以表示为

    $$ \left[\begin{array}{*{20}{c}}\dfrac{\partial Z_{11}(x,y)}{\partial x} & \dfrac{\partial Z_{12}(x,y)}{\partial x} & \cdots & \dfrac{\partial Z_{1K}(x,y)}{\partial x} \\ \dfrac{\partial Z_{21}(x,y)}{\partial x} & \dfrac{\partial Z_{22}(x,y)}{\partial x} & \cdots & \dfrac{\partial Z_{2K}(x,y)}{\partial x} \\ \vdots & \vdots & \ddots & \vdots \\ \dfrac{\partial Z_{M1}(x,y)}{\partial x} & \dfrac{\partial Z_{M2}(x,y)}{\partial x} & \cdots & \dfrac{\partial Z_{MK}(x,y)}{\partial x} \\ \dfrac{\partial Z_{11}(x,y)}{\partial y} & \dfrac{\partial Z_{12}(x,y)}{\partial y} & \cdots & \dfrac{\partial Z_{1K}(x,y)}{\partial y} \\ \dfrac{\partial Z_{21}(x,y)}{\partial y} & \dfrac{\partial Z_{22}(x,y)}{\partial y} & \cdots & \dfrac{\partial Z_{2K}(x,y)}{\partial y} \\ \vdots & \vdots & \ddots & \vdots \\ \dfrac{\partial Z_{M1}(x,y)}{\partial y} & \dfrac{\partial Z_{M2}(x,y)}{\partial y} & \cdots & \dfrac{\partial Z_{MK}(x,y)}{\partial y}\end{array}\right]\left[\begin{array}{*{20}{c}}\begin{array}{*{20}{c}}\boldsymbol{a}_1 \\ \boldsymbol{a}_2 \\ \vdots \\ \boldsymbol{a}_K\end{array} \\ \end{array}\right]=\left[\begin{array}{*{20}{c}}G_{X1} \\ G_{X2} \\ \vdots \\ \begin{array}{*{20}{c}}\begin{array}{*{20}{c}}G_{XM} \\ G_{Y1}\end{array} \\ \begin{array}{*{20}{c}}G_{Y2} \\ \vdots \\ G_{YM}\end{array}\end{array}\end{array}\right] $$ (6)

    式(6)可以简写为

    $$ {\boldsymbol{B}} = {\boldsymbol{Z}}'{\boldsymbol{a}} $$ (7)

    式中:矢量${\boldsymbol{B}}$为斜率矢量;${\boldsymbol{a}}$是Zernike多项式系数,可表示为拟合系数列向量。则系数矩阵${\boldsymbol{a}}$可由${\boldsymbol{Z}}'$的伪逆矩阵得到:

    $$ {\boldsymbol{a}} = ({\boldsymbol{Z}}'^{ {\mathrm{T}}}{\boldsymbol{Z}}')^{ - 1}{\boldsymbol{Z}}'^{ {\mathrm{T}}}{\boldsymbol{B}} $$ (8)

    将求得的系数代入式(4),即可得到还原波前。当采用的Zernike阶数偏低时,高阶像差被解释成低阶像差,重构精度较低。当采用的Zernike阶数偏高时,低阶像差被解释为高阶像差,重构精度也随之下降。设定一组随机Zernike系数,利用MATLAB仿真生成一个已知波面,分别利用12阶、15阶、18阶、21阶、28阶和36阶Zernike多项式进行重构,其重构误差与Zernike多项式阶次的关系如表1所示。

    表  1  Zernike多项式不同阶次的重构误差
    Table  1.  Reconstruction errors of different orders of Zernike polynomial
    多项式阶次121518212836
    RMS/λ0.062 00.0510.050 30.048 00.049 20.047 0
    PV/λ0.097 80.0820.083 00.08140.079 60.076 5
    下载: 导出CSV 
    | 显示表格

    待测波面经微透镜阵列进行分割,采样点数的多少也会对拟合精度造成影响。微透镜紧密排布,构成面积为7 mm×5 mm的阵列。当微透镜子孔径减小时,阵元个数增多,故采样点数增多,检测精度提高,但是哈特曼传感器的动态范围会降低;当子孔径增大时,采样点数减少,检测精度降低,动态范围增大。

    子孔径的大小和数量存在制约关系,且口径小、曲率低的透镜加工难度较大。因此综合考虑,最终选择哈特曼微透镜阵列,其中每个子孔径尺寸为160 μm ,焦距为1.3 mm。通过菲涅耳数和艾里斑直径所占像素数来进一步判断哈特曼传感器的性能,系统的菲涅耳数为6.7,哈特曼传感器具备较高的灵敏度并且焦斑间的串扰可以忽略,艾里斑直径为13 μm,直径所占像素数为7 pixel×7 pixel,达到质心计算的精度要求。采用36阶Zernike多项式进行拟合,依次增加采样点数,哈特曼传感器检测到的波前直径覆盖15、20、25、27以及31个子透镜,采样点数对波前拟合精度的影响如表2所示。当多项式阶数确定时,采样点数的增多会在一定程度上提高拟合精度。但采样点数的多少并不是提高拟合精度的决定因素,当采样点数增加到一定数量后,拟合精度会趋于稳定。最终采用36阶Zernike多项式、采样点数为585个来进行拟合,拟合后的均方根误差RMS=0.047 λ,即${\sigma _2} = 0.047\lambda $。

    表  2  采样点数对拟合误差的影响
    Table  2.  Influence of sampling numbers on fitting errors
    采样点数170276431585679
    RMS/λ0.0810.062 00.051 30.047 00.046 8
    PV/λ0.1020.096 80.083 30.076 50.076 6
    下载: 导出CSV 
    | 显示表格

    由式(1)和式(2)可知,光斑质心的提取精度与光斑的光强分布有关,被测微透镜在测量光路中会发生明显的衍射现象。光线经微透镜发生衍射之后,焦平面上的光斑强度呈高斯分布,且存在次级衍射峰,使光斑质心位置发生偏移导致波前重构误差。因此哈特曼传感器检测到的相位信息包含微透镜衍射效应带来的相位改变,质心偏移量图如图3所示。以被测口径为200 μm的微透镜为例,采用λ=632.8 nm的理想平行光入射,其在焦平面上的质心位置如图3(a)所示,红色为理想无衍射光斑质心,蓝色为有衍射光斑质心。为了分析衍射效应对光斑质心偏移量的影响,分别对口径为20 μm、50 μm、80 μm、100 μm以及200 μm的微透镜进行分析,结果如图3(b)所示,透镜口径越小,其衍射效应越明显,相应的质心偏移量就越大。

    图  3  质心偏移量图
    Figure  3.  Centroid offset diagrams

    以口径200 μm透镜为例,使用36阶Zernike多项式对其理论计算的波前进行还原,如图4所示。图4(a)为不考虑衍射时的波前还原图,波前PV为2.526 39 λ,RMS为0.706 λ图4(b)为考虑衍射时的波前还原图,波前PV为2.564 79 λ,RMS为0.713 97 λ,衍射所带来的波前误差$ \sigma_3=0.007\ 9\mathit{\lambda} $。

    图  4  波前还原图
    Figure  4.  Wavefront restoration diagrams

    总误差由合成公式表示:

    $$ {\sigma _{}} = \sqrt {\sigma _1^2 + \sigma _2^2{\text{ + }}\sigma _3^2} = 0.048\lambda \lt \frac{\lambda }{{20}} $$ (9)

    式中${\sigma _{}}$为总体误差。按照以上误差分配方案,总体检测误差为0.048 λ,略低于预期1/20 λ的检测精度要求,满足高精度检测条件。

    按照图1所述的波前像差检测方案,搭建了如图5所示的检测光路。开始检测前,需将准直镜组2的两片透镜焦点重合放置,调整各元件位置使所有元件的光轴重合,对除待测透镜以外的光学元件的波前像差进行测试。测试时,通过放置聚焦透镜和待测透镜,移除标准平面反射镜7或对其进行遮挡,对所有光学元件的波前像差进行测试,二者相减可得到待测透镜波前像差的相对测量结果。由于待测透镜5口径较小,直接测量时入射到哈特曼传感器8的采样点数较少,影响测量精度,因此通过准直镜4扩束增加采样点数来提高测量精度。通过观察哈特曼传感器8上的光斑大小,确定聚焦透镜4和待测透镜5焦点位置是否重合。由于微米级透镜轻微倾斜会导致光斑形状发生很大变化,可以通过Zemax等仿真软件对其各个方向倾斜以及离焦情况进行仿真,从而进行针对性调整。另外,标准平面反射镜6应该尽量靠近待测透镜5,二者间距保证在3 mm左右,效果最佳。

    图  5  测试实验现场
    Figure  5.  Test experiment site

    实验光斑图如图6所示,其中参考光路采集到的光斑图像如图6(a)所示,测量光路采集到的光斑图像如图6(b)所示。将哈特曼传感器获得的波前斜率信息利用 Zernike 多项式进行拟合,待测透镜的Zernike 多项式前36 项系数如表3所示。根据波前系数拟合出的波前像差如图7所示,其波前误差值RMS为69 nm,PV为266.8 nm。

    图  6  实验光斑图
    Figure  6.  Experimental spot diagrams
    表  3  待测透镜Zernike系数
    Table  3.  Zernike coefficients of lens under test
    Zernike系数 Z1 Z2 Z3 Z4 Z5 Z6 Z7 Z8 Z9
    计算结果 −0.006 −0.108 9 −0.070 6 0.010 9 0.062 2 0.008 2 0.015 4 0.013 4 −0.001
    Zernike系数 Z10 Z11 Z12 Z13 Z14 Z15 Z16 Z17 Z18
    计算结果 −0.009 4 −0.002 1 −0.002 2 −0.010 6 0.005 −0.002 5 −0.001 8 0.001 8 0.002
    Zernike系数 Z19 Z20 Z21 Z22 Z23 Z24 Z25 Z26 Z27
    计算结果 0.000 2 −0.002 8 −0.000 2 0.000 6 0.007 0.009 0.001 5 −0.001 0.001 3
    Zernike系数 Z28 Z29 Z30 Z31 Z32 Z33 Z34 Z35 Z36
    计算结果 0.000 4 −0.001 0.001 6 −0.000 2 0.000 3 0.000 5 0.000 7 0.000 2 −0.001 7
    下载: 导出CSV 
    | 显示表格
    图  7  波前像差图
    Figure  7.  Wavefront aberration diagram

    Zernike多项式每一项的系数表示透镜的不同像差,如表4所示。图8则表示拟合后透镜的初级像差,证明了通过哈特曼传感器检测微透镜光学性能的有效性。

    表  4  待测微透镜各种像差一览
    Table  4.  List of aberrations of microlenses to be tested
    像差 离焦 0°像散 45°像散 X方向彗
    差和倾斜
    大小/μm 0.010 9 0.062 2 0.008 2 0.015 4
    像差 Y方向彗
    差和倾斜
    球差和离焦 0°三叶像散
    大小/μm 0.013 4 −0.001 −0.009 4
    下载: 导出CSV 
    | 显示表格
    图  8  透镜的初级像差图
    Figure  8.  Primary aberration diagrams of lens

    本文研究了利用哈特曼传感器测量微透镜光学性能的有效性,分析了该方法的主要误差来源及减小措施。通过对口径为200 μm的凸透镜进行检测,波前误差值RMS为69 nm,PV值为266.8 nm,略低于干涉仪检测结果(RMS为43 nm,PV值为157 nm)。测试表明:通过选取合适的透镜聚焦及提高其采样点数,利用自适应均值阈值化的方法对图像进行预处理,采用加权灰度平均质心提取算法进行计算,利用哈特曼传感器可实现对微透镜光学性能的有效测量。后续可以通过提高采样点数以及质心提取、波前重构精度,进一步提高检测精度。相信改善实验条件并实现量产后,可达到和干涉仪相当的检测精度,即可实现对微光学元件的高精度检测。

    随着微透镜及其阵列的广泛应用,该方法可以有效检测其光学性能,并为微透镜的生产提供质量保障,具有广泛的应用价值。

  • 图  1   使用深度特征的相关滤波 ECO算法原理示意

    Figure  1.   Schematic diagram of ECO algorithm using deep features for correlation filtering

    图  2   特征图插值为连续域示意

    Figure  2.   Schematic diagram of feature map interpolation as continuous domain

    图  3   响应图变化情况示意

    Figure  3.   Schematic diagram of changes in response graph

    图  4   多重检测抗遮挡跟踪算法框架

    Figure  4.   Framework diagram of multiple detection and anti-occlusion tracking algorithm

    图  5   基于背景特征的抗遮挡算法流程

    Figure  5.   Algorithm flow for anti occlusion based on background features

    图  6   YOLOv5模型整体映射示意图

    Figure  6.   Schematic diagram of overall mapping of YOLOv5 model

    图  7   FPN+PAN 网络结构图

    Figure  7.   Structure diagram of FPN+PAN network

    图  8   通道剪枝原理示意

    Figure  8.   Schematic diagram of channel pruning principle

    图  9   遮挡后目标重新出现后自动捕获

    Figure  9.   Automatic capture when target reappears after occlusion

    图  10   BlurCar1序列跟踪效果

    Figure  10.   Tracking effect of BlurCar1 sequence

    图  11   BlurOwl序列跟踪效果

    Figure  11.   Tracking effect of BlurOwl sequence

    图  12   bird1序列跟踪效果

    Figure  12.   Tracking effect of bird1 sequence

    图  13   DragonBaby序列跟踪效果

    Figure  13.   Tracking effect of DragonBaby sequence

    图  14   BlurCar3序列测试结果

    Figure  14.   Test results of BlurCar3 sequence

    图  15   BlurOwl序列测试结果

    Figure  15.   Test results of BlurOwl sequence

    图  16   bird序列测试结果

    Figure  16.   Test results of bird sequence

    图  17   DragonBaby序列测试结果示例图

    Figure  17.   Test results of DragonBaby sequence

    表  1   数据集的测试结果

    Table  1   Test results of dataset

    序列名称 图像分辨率/像素 最小目标尺寸/像素 序列总帧数 IoU 准确率
    BlurCar1 640×480 80×80 741 0.5 0.997
    0.7 0.942
    0.9 0.212
    BlurCar2 640×480 89×81 584 0.5 1.000
    0.7 0.995
    0.9 0.241
    BlurCar3 640×480 77×66 356 0.5 1.000
    0.7 1.000
    0.9 0.351
    DragonBaby 640×480 143×121 379 0.5 1.000
    0.7 0.982
    0.9 0.296
    Car1 320×240 17×15 1019 0.5 0.996
    0.7 0.762
    0.9 0.047
    Car2 320×240 46×39 912 0.5 1.000
    0.7 0.970
    0.9 0.125
    bird1 320×240 52×44 658 0.5 1.000
    0.7 0.979
    0.9 0.305
    Car24 320×240 27×24 3058 0.5 0.999
    0.7 0.950
    0.9 0.124
    CarDark 320×240 29×22 392 0.5 0.995
    0.7 0.570
    0.9 0.094
    CarScale 640×272 44×21 251 0.5 1.000
    0.7 0.988
    0.9 0.359
    BlurOwl 320×240 87×38 944 0.5 0.944
    0.7 0.766
    0.9 0.010
    下载: 导出CSV

    表  2   实验数据

    Table  2   Experimental data

    测试项时间/ms备注
    跟踪模块周期运行时间2
    跟踪模块初始化时间100初始化目标大小:60×40像素
    识别模块时间6模型大小:720×640像素
    下载: 导出CSV

    表  3   实验数据

    Table  3   Experimental data

    测试项时间/ms备注
    跟踪模块周期运行时间10
    跟踪模块初始化时间500初始化目标大小:60×40像素
    识别模块时间33模型大小:720×640像素
    下载: 导出CSV
  • [1]

    CHEN C, DENG Z H, GAO Y L, et al. Single target tracking algorithm based on multi-fuzzy Kernel fusion[J]. Journal of Frontiers of Computer Science and Technology, 2020, 14(5): 848-860.

    [2]

    HENRIQUES J F, RUI C, MARTINS P, et al. Exploiting the circulant structure of tracking-by-deteection with kernels[C]//Proceeding of 2012 IEEE Conference on Computer Vision and Patern Recognition. New York: IEEE, 2012: 702-715.

    [3] 翁静文, 李磊民, 黄玉清. 基于ECO-HC的无人机指定行人稳定实时跟踪[J]. 传感器与微系统, 2018, 9: 120-124.

    WENG Jingwen, LI Leimin, HUANG Yuqing. UAV-designated pedestrian stable real-time tracking based on ECO-HC[J], Journal of Sensors and microsystems, 2018, 9: 120-124.

    [4] 罗元, 肖航, 欧俊雄. 基于深度学习的目标跟踪技术研究综述[J]. 半导体光电, 2020, 41(6): 1-10.

    LUO Yuan, XIAO Hang, OU Junxiong, Review of target tracking technology based on deep learning[J]. Journal of Semiconductor photoelectric, 2020, 41(6): 1-10.

    [5] 刘超军, 段喜萍, 谢宝文. 应用GhostNet卷积特征的ECO目标跟踪算法改进[J], 激光技术, 2022, 46(2): 239-247.

    LIU Chaojun, DUAN Xiping, XIE Baowen. ECO objective tracking algorithm improvement with GhostNet convolution features[J], Journal of laser technology, 2022, 46(2): 239-247.

    [6] 陈志旺, 王昌蒙, 王莹, 等. ECO跟踪算法中CNN分层插值及及加权策略改进[J], 高技术通讯, 2020, 30(6): 570-578.

    CHEN Zhiwang, WANG Changmeng, WANG Ying, et al. Improvement of CNN hierarchical interpolation and its weighting strategy in ECO tracking algorithm[J], Journal of High technology communication, 2020, 30(6): 570-578.

    [7]

    DANELLJAN M, KHAN F S , FELSBERG M, et al. Adaptive color attributes for real-time visual tracking[C]//Proceeding of 2014 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2014: 11907849.

    [8] 卢湖川, 李佩霞, 王栋. 目标跟踪算法综述[J]. 模式识别与人工智能, 2018, 31(1): 61-76.

    LU Huchuan, LI Peixia, WANG Dong, Overview of the target-tracking algorithms[J]. Journal of Pattern Recognition and Artificial Intelligence, 2018, 31(1): 61-76.

    [9]

    LIU W J, LIU D Q, FEI B W. Bidirectional optimization tracking method under foreground partition[J]. Journal of Image and Graphics, 2017, 22(11): 1553-1564.

    [10] 孙凯, 谢林柏. 结合稀疏表示和均值偏移的运动目标跟踪算法[J]. 计算机工程与应用, 2017(9): 195-200.

    SUN Kai, XIE Linbo. Moatic object tracking algorithm combining sparse representation and mean offset[J]. Journal of Computer Engineering and Application, 2017(9): 195-200.

    [11]

    ZHANG K, ZHANG L, YANG M H. Fast compressive tracking[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2014, 36(10): 2002-2015.

    [12]

    HE K M, ZHANG X Y, REN S Q, et al. Spatial pyramid pooling in deep convolutional networks for visual recongnition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916. doi: 10.1109/TPAMI.2015.2389824

    [13]

    NAM H, BAEK M, HAN B. Modeling and propagating CNNs in a tree structure for visual tracking[EB/OL]. [2016-08-25]. http://www.arxiv.org/abs/1608.07242.

    [14] 罗海波, 许凌云, 惠斌. 基于深度学习的目标跟踪方法研究现状分析与展望[J]. 红外与激光工程, 2017, 46(5): 14-20.

    LUO Haibo, XU Lingyun, XI Bin. Analysis and prospect of the target tracking method based on deep learning[J]. Journal of Infrared and laser engineering, 2017, 46(5): 14-20.

    [15] 蔡锦华, 祝义荣. 基于改进YOLOv3目标跟踪算法研究[J]. 计算机仿真, 2020, 37(5): 213-217.

    CAI Jinhua, ZHU Yirong. Based on the improved YOLOv3 target tracking algorithm study[J]. Journal of computer simulation, 2020, 37(5): 213-217.

    [16] 郑志强, 刘妍妍, 潘长城, 等. 改进YOLOv3遥感图像飞机识别应用[J]. 电光与控制, 2019, 26(4): 28-32.

    ZHENG Zhiqiang, LIU Yanan, PAN Changcheng, et al. Application of Improved YOLOv3 in aircraft recognition of remote sensing images[J]. Electronics Optics & Control, 2019, 26(4): 28-32.

    [17]

    VIOLA P, JONES M J. Robust real-time face detection[J]. International Journal of Computer Vision, 2004, 57(2): 137-154. doi: 10.1023/B:VISI.0000013087.49260.fb

    [18] 周立君, 刘宇, 白璐, 等. 使用TensorRT进行深度学习推理[J]. 应用光学, 2020, 41(2): 337-341. doi: 10.5768/JAO202041.0202007

    ZHOU Lijun, LIU Yu, BAI Lu, et al. Deep-learning inference was performed using the TensorRT[J]. Journal of Applied Optics, 2020, 41(2): 337-341. doi: 10.5768/JAO202041.0202007

    [19] 黄浩淼, 张江, 张晶, 等. 融合TLD框架的DSST实时目标跟踪改进算法[J]. 计算机工程与科学, 2020, 42(9): 1587-1598.

    HUANG Haomiao, ZHANG Jiang, Zhang Jing, et al. Improved algorithm for DSST real-time target tracking with a fused TLD framework[J]. Journal of Computer Engineering and Science, 2020, 42(9): 1587-1598.

图(17)  /  表(3)
计量
  • 文章访问数:  29
  • HTML全文浏览量:  4
  • PDF下载量:  16
  • 被引次数: 0
出版历程
  • 收稿日期:  2023-11-19
  • 修回日期:  2024-01-25
  • 网络出版日期:  2025-02-20
  • 刊出日期:  2025-03-14

目录

/

返回文章
返回