Auxiliary alignment technology for aerial refueling based on real-time image processing
-
摘要:
针对空中加油试飞中加油对接困难的问题，设计了一种基于影像实时处理的加油对接段辅助对准系统，通过影像测量技术计算受油头与加油锥套中心的精确相对位置，实现位置参数与视频画面实时同步显示，用于空中加受油对接辅助对准。并对复杂光学条件下锥套跟踪技术、基于约束的像机标定技术和加受油组件相对位置实时测量等关键技术进行研究。实验结果表明，该算法可实现空中复杂环境下锥套图像快速、稳定识别与跟踪；采用双目视觉前方交会测量实时计算加油锥套与受油头相对位置，与事后处理结果对比分析，精度优于0.1 m，可辅助飞行员进行空中加油对接操作，提高加受油对接成功率。
Abstract:Aiming at the difficult problem of refueling docking in aerial refueling flight test, an auxiliary alignment system for refueling docking section based on real-time image processing was designed. The accurate relative position between the fuel receiving head and the center of the refueling cone sleeve was calculated through image measurement technology, so as to realize the real-time synchronous display of position parameters and video images, which was used for the auxiliary alignment of air refueling docking. The key technologies involved in the system, such as cone tracking technology under complex optical conditions, camera calibration technology based on constraints and real-time measurement technology of relative position of oil feeding and receiving components were studied. The experimental results show that the algorithm can realize fast and stable recognition and tracking of cone images in complex air environment. Binocular vision forward intersection measurement was used to calculate the relative position between the refueling cone sleeve and the fuel receiving head in real time. Compared with the post-processing results, the accuracy is better than 0.1 m, which can assist the pilot in air refueling docking operation and improve the success rate of refueling and receiving docking.
-
Keywords:
- flight test /
- aerial refueling /
- dynamic vision measurement /
- auxiliary alignment
-
引言
空中加油是增大战机航程、增强作战效能的重要手段，技术难度大、风险高。我国战斗机以“插头-锥管”式空中加油系统为主，又称软式加油。加油锥套对大气紊流较敏感，特别是当两机逼近时，两机流场相互影响，加油锥套摆动幅度加大，受油机飞行员难以瞄准。目前空中加油试飞主要是靠飞行员目视判断完成加油对接，对接试飞前需要反复训练以提高空中加油对准效率，只有飞行经验丰富、飞行技术精湛的战斗机飞行员才能完成。
基于图像技术的空中加油辅助引导系统的研究最早起源于无人机。美国自2003年开始研究自主空中加油技术（autonomous air refueling, AAR）。2015年4月16日，美国海军X-47B无人机利用光学传感器和图像技术完成第一次无人机自主空中加油对接测试[1-2]。近年来，国内部分高校等科研机构开展了基于机器视觉/图像处理的无人机自主空中加油方面的研究，但都处于理论仿真和实验验证阶段 [3]。本文研究基于影像实时处理的加油对接段辅助对准技术主要用于实现空中加油试飞中加油锥套与受油头对接过程的影像及加油锥套中心与受油头实时相对位置快速获取，实现加油关键参数与视频画面实时同步显示，为飞行员、指挥员提供可视化的信息共享平台，为受油机飞行员提供辅助对准。
1 方案设计
空中加油过程可以划分为编队、对接、加油和分离4个阶段[3]。对接阶段是整个空中加油过程中最重要的部分，对接的成功与否直接决定能否成功加油。在受油机上加装加油对接段辅助对准系统引导飞行员进行空中加油对接操作。系统主要由高清摄像机、加受油组件相对位置解算单元、高清视频采集记录器、机载时码发生器、网络数据交换单元、座舱显示单元、数据遥测下传单元组成，如图1所示。
高清像机获取空中加油对接过程中加受油组件的图像，加受油组件相对位置解算单元实时解算加油锥套和受油头的相对位置，将位置信息实时发送至受油机飞行员座舱显示单元显示，辅助引导飞行员进行对接操作。同时，位置信息可通过数据遥测下传单元发送至地面监控大厅，供指挥员和试飞工程师用于编队飞行态势分析，保证飞行安全。高清视频采集记录器采集记录图像和数据信息，用于事后分析。机载时码发生器为系统提供统一的基准。
2 关键技术
2.1 复杂光学条件下锥套目标跟踪技术
空中加油高空环境下图像易受强光照、背景复杂多变等因素影响，由于两机相对运动、锥套摆动、旋转，导致锥套图像目标易被遮挡、图像尺度多变等情况，锥套的实时捕获、定位及快速跟踪是加油锥套与受油头精确定位的必要前提。
国内各高校与科研机构在加锥套检测算法方面也开展了系列研究。西北工业大学提出了一种多尺度低秩和稀疏分解锥套检测算法[4-5]。空军工程大学开展了基于HSV色彩空间的特征检测与识别方法进行锥套特征提取方法研究[6]。南京航空航天大学提出了一种基于形状信息的Hough-LS两级锥套目标检测与定位方法[7]。北京航空航天大学采用点匹配与位姿估计算法对软管式加油锥发光二极管LED标志进行识别和位姿估计[8]。但是，这些算法跟踪效果受制于图像质量，无法解决实际飞行复杂光学条件下锥套旋转时的跟踪稳定性问题以及锥套图像由远及近急剧膨胀时的跟踪点漂移问题。
本文采用基于人工神经网络的加油锥套自动识别技术，实现加油锥套运动参数的实时测量。在利用深度学习进行图像处理时，深度学习神经网络的输入即为原始图像，通过多层的神经系统，逐层对图像进行特征提取，获得每一层的特征表达[9-10]。同时可以通过训练调整各层参数使得输入与输出的结果接近，最后利用分类器对图像中的特征进行分类识别[11-12]。搭建深度学习环境，构建深度学习神经网络，处理流程如图2所示。
![]()
图 2 加油锥套特征点跟踪流程Figure 2. Flow chart of feature point tracking of refueling cone sleeve加油锥套特征点跟踪主要由训练和识别2部分组成。在模型训练阶段，通过训练样本集来调整神经网络架构中各层权值，使得输出误差最小；在识别跟踪部分，将模型训练部分得到的参数作为初始权值使用，将测试样本通过各层网络映射，得到识别结果。初始阶段将获取的1 600×1 200分辨率的加油锥套实际运动图片进行人工裁剪，裁剪出锥套目标为30×30像素，用于训练深度学习神经网络。训练时为自适应矩估计算法，通过损失函数对每个参数梯度进行一阶矩和二阶矩估计，调整参数的学习速率。训练完成后，将测试样本输入至训练模型当中，测试样本量约为2 000张图片，对图片中的特征点进行跟踪。
2.2 基于四角直线约束的像机标定技术
由于软管运动范围视场景深较大，不宜采用常规控制点空间后方交会法[13]标定。本文提出基于四角直线约束的像机标定方法，将线性参数$ ({x_0},{y_0},{f_x},{f_y},\phi ,\omega ,\kappa ,{X_s},{Y_s},{Z_s}) $和非线性的畸变系数$ {k_i}, (i = 0,1,2,3,4) $区分求解。在空间测量视场范围内靠近主点的区域布置标定控制点，利用线性变换求解线性参数，在拍摄视场4角放置共线标志约束板，利用直线拟合完成畸变系数求解。摄像机标定示意图如图3所示。
1） 利用点求取像机标校的线性参数
根据计算机视觉原理，任意一个像点$ (x,y) $和对应$ (X,Y,Z) $的物方点满足的中心透视投影关系通过投影矩阵写成：
$$ \lambda \left[ {\begin{array}{*{20}{c}} x \\ y \\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{m_{11}}}&{{m_{12}}}&{{m_{13}}}&{{m_{14}}} \\ {{m_{21}}}&{{m_{22}}}&{{m_{23}}}&{{m_{24}}} \\ {{m_{31}}}&{{m_{32}}}&{{m_{33}}}&{{m_{34}}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} X \\ Y \\ Z \\ 1 \end{array}} \right] $$ (1) 像机投影矩阵M矩阵与像机内外参数的关系为
$$ \begin{split} {\boldsymbol{M}} =& \left[ {\begin{array}{*{20}{c}} {{m_{11}}}&{{m_{12}}}&{{m_{13}}}&{{m_{14}}} \\ {{m_{21}}}&{{m_{22}}}&{{m_{23}}}&{{m_{24}}} \\ {{m_{31}}}&{{m_{32}}}&{{m_{33}}}&{{m_{34}}} \end{array}} \right] =\\ &\left[ {\begin{array}{*{20}{c}} {{f_x}}&0&{{x_0}}&0 \\ 0&{{f_y}}&{{y_0}}&0 \\ 0&0&1&0 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{r_1}^T}&{{X_s}} \\ {{r_2}^T}&{{Y_s}} \\ {{r_3}^T}&{{Z_s}} \\ 0&1 \end{array}} \right]= \\ & \left[ {\begin{array}{*{20}{c}} {{f_x}{r_1}^T + {x_0}{r_3}^T}&{{f_x}{X_s} + {x_0}{Z_s}} \\ {{f_y}{r_2}^T + {y_0}{r_3}^T}&{{f_y}{Y_s} + {y_0}{Z_s}} \\ {{r_3}^T}&{{Z_s}} \end{array}} \right] \end{split} $$ (2) $ {m_i}^T(i = 1,2,3) $是求得的M矩阵的第i行的前3个元素组成的行向量，$ {m_{i4}}(i = 1,2,3) $为M矩阵第i行的第4列元素，$ {r_i}^T(i = 1,2,3) $为旋转矩阵$ {\boldsymbol{R}} $的第i行向量。比较等式两边可得，$ {m_{34}}{m_3} = {r_3} $，由于$ {m_3} $是单位正交向量，所以，$ {m_{34}}\left| {{m_3}} \right| = 1 $，则$ {m_{34}} = {1 \mathord{\left/ {\vphantom {1 {\left| {{m_3}} \right|}}} \right. } {\left| {{m_3}} \right|}} $。求出了$ {m_{34}} $，利用最小二乘法求解，求得M矩阵后，便可求解像机标定的线性参数。
像机姿态角，可采用以下公式：
$$ \left\{ {\begin{array}{{l}} {\kappa = \arctan\left( - \dfrac{{{r_{21}}}}{{{r_{11}}}}\right)} \\ {\phi = \arcsin ( - {r_{31}})} \\ {\omega = \arcsin \left( - \dfrac{{{r_{32}}}}{{\cos \phi }}\right)} \end{array}} \right. $$ (3) 此时，就得到了像机的全部线性参数$ ({x_0}, {y_0}, {f_x},{f_y},\phi ,\omega ,\kappa ,{X_s},{Y_s},{Z_s}) $。
2） 利用直线求取像机标校的畸变参数
由于镜头畸变系数的存在，直线的像并不一定是直线。因此，用于标定的像直线是通过对直线的像进行线性拟合逼近得到的。依据上一步计算得出的像机线性参数，根据直线的像的曲线方程参数和像直线的直线方程参数计算得到畸变系数。
畸变后像点与理想像点之间的关系：
$$ \left\{ {\begin{array}{*{20}{c}} {\delta {}_x = x - \tilde x = [({k_0}{d_x} + {k_1})({d_x}^2 + {d_y}^2) + {k_3}{d_x}^2 + {k_4}{d_x}{d_y}]{f_x}} \\ {\delta {}_y = y - \tilde y = [({k_0}{d_y} + {k_2})({d_x}^2 + {d_y}^2) + {k_3}{d_x}{d_y} + {k_4}{d_y}^2]{f_y}} \end{array}} \right. $$ (4) 又因为
$$ \left\{ {\begin{array}{*{20}{c}} {d{}_x = \dfrac{{\bar x - {x_0}}}{{{f_x}}}} \\ {d{}_y = \dfrac{{\tilde y - {y_0}}}{{{f_y}}}} \end{array}} \right. $$ (5) 将（4）、（5）式带入直线的像的曲线方程，可写为
$$ y = \bar y + {\delta _y} = a(x - \delta {}_x) + b + {\delta _y} = {\rho _2}{x^2} + {\rho _1}x + {\rho _0} $$ (6) 式中：$ {\rho _i} $为曲线方程参数，$ (i = 0,1,2) $，且有：
$$ {\rho _2} = \frac{{{a^2}{f_x}^2 + {f_y}^2}}{{{f_x}{{^2}_y}^2}}\left[ {\left( {b + a{x_0} - {y_0}} \right){k_0} - a{f_x}{k_1} + {f_y}{k_2}} \right] $$ $$ \begin{split} {\rho _1} =& \frac{{2( - {x_0}{f_y}^2 + a{f_x}^2(b - y{}_0))\left( {b + a{x_0} - {y_0}} \right)}}{{{f_x}^2{f_y}^2}}{k_0} +\\ &\frac{{ - 2a( - {x_0}{f_y}^2 + a{f_x}^2(b - y{}_0))}}{{{f_x}{f_y}^2}}{k_1} +\\ & \frac{{2( - {x_0}{f_y}^2 + a{f_x}^2(b - y{}_0))}}{{{f_x}^2{f_y}}}{k_2} + \frac{{b + ax{}_0 - y{}_0}}{{{f_x}}}{k_3} +\\ &\frac{{a(b + ax{}_0 - y{}_0)}}{{{f_y}}}{k_4} + a \end{split} $$ $$ \begin{split} {\rho _0} = & \frac{{({x_0}{f_y}^2 + {f_x}^2{{(b - y{}_0)}^2})\left( {b + a{x_0} - {y_0}} \right)}}{{{f_x}^2{f_y}^2}}{k_0} +\\ & \frac{{ - 2a( - {x_0}^2{f_y}^2 + {f_x}^2{{(b - y{}_0)}^2})}}{{{f_x}{f_y}^2}}{k_1} + \\ &\frac{{{x_0}^2{f_y}^2 + {f_x}^2{{(b - y{}_0)}^2}}}{{{f_x}^2{f_y}}}{k_2} +\frac{{ - {x_0}(b + ax{}_0 - y{}_0)}}{{{f_x}}}{k_3} + \\ &\frac{{(b - {y_0})(b + ax{}_0 - y{}_0)}}{{{f_y}}}{k_4} + b \end{split}$$ 由此，通过对方程线性求解得到畸变系数$ {k_i}(i = 0,1,2,3,4) $。
2.3 加受油组件相对位置实时测量技术
以受油机受油头为坐标原点建立坐标系，X轴指向飞机右机翼，Y轴垂直向上，Z轴垂直于XY平面指向机尾，构成右手坐标系。高清像机在机上的安装基线一般在1 m～3 m，测量距离覆盖30 m，基线距离越短，双目图像匹配相对视差越小，因像素抖动产生的空间点重构误差越大。因此，采用视差梯度约束减少空间点跳跃带来的精度损失。
视差与深度信息密切相关,视差的变化随深度一致性变化[14]。视差梯度约束是指：视差几乎应该在所有的地方都是平滑的,根据视觉特性,视差梯度$ {G_d} $应小于等于2；若$ {G_d} $大于2，认为这2个点不匹配。假如在图像上有2个点$ {m_1}({x_1},{y_1}) $和$ {m_2}({x_2},{y_2}) $视差分别为$ {d_1} $、$ {d_2} $，则他们的视差梯度定义为
$$ {G_d} = \left| {\frac{{{d_2} - {d_1}}}{{{x_2} - {x_1} + ({d_2} - {d_1})/2}}} \right| $$ (7) 利用2.2中的训练结果，将实时获取的待识别的锥套运动影像进行实时检测，并对两路影像中的匹配同名像点利用视差梯度约束进行判断，提高匹配精度，得到同名像点在两路像机画面中的像素坐标$ ({x_1},{y_1}) $和$ ({x_2},{y_2}) $。采用双目视觉前方交会测量法[14]，得到锥套中心三维空间坐标$ (X,Y,Z) $，计算模型如下：
$$ \left\{ {\begin{array}{*{20}{c}} {x - {x_0} + \Delta x = - f\dfrac{{{a_1}(X - {X_S}) + {b_1}(Y - {Y_S}) + {c_1}(Z - {Z_S})}}{{{a_3}(X - {X_S}) + {b_3}(Y - {Y_S}) + {c_3}(Z - {Z_S})}}} \\ {y - {y_0} + \Delta y = - f\dfrac{{{a_2}(X - {X_S}) + {b_2}(Y - {Y_S}) + {c_2}(Z - {Z_S})}}{{{a_3}(X - {X_S}) + {b_3}(Y - {Y_S}) + {c_3}(Z - {Z_S})}}} \end{array}} \right. $$ (8) 式中：$ ({x_0},{y_0},f) $分别为像机内参数；$ ({X_S},{Y_S}, {Z_S}, {a_1}\cdots {a_3},{b_1}\cdots {b_3},{c_1}\cdots {c_3}) $为像机外方位元素；$ (\Delta x,\Delta y) $为像机镜头畸变参数的改正数，这些参数均可通过像机标定获取[15]。每对同名像点的像点坐标可以列出4个方程，通过最小二乘原理[16]得到加油锥套相对于受油头的瞬时位置$ (X,Y,Z) $。
3 实验结果与分析
如图4所示，在实验室构建加油组件智能视觉识别平台，对锥套跟踪算法的鲁棒性进行了测试，实验表明该算法可实现空中复杂环境下锥套图像快速、稳定识别与跟踪。如图5所示，利用机械臂进行精度验证，通过图像计算锥套的运动位置，对影像实时处理与事后处理结果进行对比分析，差值小于0.1 m，可满足空中加油辅助对准的需求，误差对比分析如图6所示。图7为加油对接段辅助对准系统实验室功能测试。
![]()
图 4 加油锥套图像跟踪鲁棒性测试Figure 4. Test of image tracking robustness for refueling cone sleeve![]()
图 6 影像事后-实时数据处理误差对比Figure 6. Errors comparison of post and real-time data processing for images4 结论
本文提出的系统架构与计算方法，通过实验室仿真以及空中加油试飞验证，实现了加油锥套与受油头相对位置的实时测量，为飞行员和指挥员提供空中加受油机、锥套与受油头实时位置信息，辅助飞行员空中加油对接，提高加受油对接成功率，缩短了试飞周期，有效保障了飞行安全。
-
![]()
图 2 加油锥套特征点跟踪流程
Figure 2. Flow chart of feature point tracking of refueling cone sleeve
![]()
图 4 加油锥套图像跟踪鲁棒性测试
Figure 4. Test of image tracking robustness for refueling cone sleeve
![]()
图 6 影像事后-实时数据处理误差对比
Figure 6. Errors comparison of post and real-time data processing for images
-
[1] 李振, 时静, 李波. 基于图像技术的空中加油辅助指引系统[J]. 飞航导弹,2017,12(4):51-54. LI Zhen, SHI Jing, LI Bo. Aerial refueling assistant command and guidance system based on image technology[J]. Aerodynamic Missile Journal,2017,12(4):51-54.
[2] MARTINEZ C,RICHARDSON T,CAMPOY P.Towards autonomous air-to-air refuelling for UAVs using visual information[C].Proceedings of IEEE International Conference on Robotics and Automation(ICRA), Karlsruhe, Germany, IEEE, 2013: 5756-5762. [3] 钟德星, 李永强, 李严桵. 无人机自主空中加油技术现状及发展趋势[J]. 航空科学技术,2014,25(5):1-6. doi: 10.3969/j.issn.1007-5453.2014.05.001 ZHONG Dexing, LI Yongqiang, LI Yanrui. State-of-the-art and tendency of autonomous aerial refueling technologies for unmanned aerial vehicles[J]. Aeronautical Science & Technology,2014,25(5):1-6. doi: 10.3969/j.issn.1007-5453.2014.05.001
[4] 李宏图, 官巍, 宋吉江, 等. 空中加受油仿真中关键技术的研究[J]. 系统仿真学报,2015,27(9):2225-2231. LI Hongtu, GUAN Wei, SONG Jijiang, et al. Study on key techniques about refueling simulation in air[J]. Journal of System Simulation,2015,27(9):2225-2231.
[5] 马跃博. 基于卷积神经网络的自主空中加油识别测量技术研究[D]. 北京: 中国科学院大学, 2020. MA Yuebo. Research on autonomous aerial refueling recognition and measurement technology based on convolutional neural[D]. Beijing: University of Chinese Academy of Sciences, 2020.
[6] 鲍继宇, 王龙, 董新民. 硬管式无人机AAR双目视觉导航算法研究[J]. 应用光学,2017,38(6):910-916. BAO Jiyu, WANG Long, DONG Xinmin. Binocular vision navigation algorithm for AAR of flying boom UAV[J]. Journal of Applied Optics,2017,38(6):910-916.
[7] 符毅, 孔星炜, 董新民, 等. 基于改进UKF的加油机位姿预测方法[J]. 应用光学,2016,37(6):860-865. FU Yi, KONG Xingwei, DONG Xinmin, et al. Tanker pose prediction based on modified unscented kalman filter[J]. Journal of Applied Optics,2016,37(6):860-865.
[8] 朱虎. 基于视觉/GPS混合引导的无人机空中加油对接控制[D]. 南京: 南京航空航天大学, 2016. ZHU Hu. Vision/GPS based docking control for UAV aerial refueling [D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2017.
[9] 牛畅, 黄银和, 尹奎英. 基于分块SURF特征提取的图像目标跟踪算法[J]. 激光与红外,2017,47(12):1541-1547. doi: 10.3969/j.issn.1001-5078.2017.12.016 NIU Chang, HUANG Yinhe, YIN Kuiying. Image target tracking algorithm based on blocked SURF extraction[J]. Laser & Infrared,2017,47(12):1541-1547. doi: 10.3969/j.issn.1001-5078.2017.12.016
[10] 王鑫, 侯志强, 余旺盛, 等. 基于多层卷积特征融合的目标尺度自适应稳健跟踪[J]. 光学学报,2017,37(11):115005-1-115005-12. WANG Xin, HOU Zhiqiang,YU Wangsheng, et al. Target scale adaptive robust tracking based on fusion of multilayer convolutional features[J]. Acta Optica Sinica,2017,37(11):115005-1-115005-12.
[11] WANG L J, OUYANG W L, WANG X G, et al. Visual tracking with fully convolution networks[C]. Conference on Computer Vision, Santiago Chile: IEEE,2015: 3119-3127. [12] 杨博文. 锥套图像检测识别与飞行演示验证研究[D]. 南京: 南京航空航天大学, 2016. YANG Bowen. Research on detection identification algorithm of drogue images and flight demonstration[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2016.
[13] 冯文灏. 近景摄影测量[M]. 武汉: 武汉大学出版社, 2001. FENG Wenhao. Close-range photogrammetry[M]. Wuhan: Wuhan University Press, 2001.
[14] 赵亮亮. 一种基于左右视线的立体图像匹配算法[J]. 计算机仿真, 2010, 27(3): 220-223. ZHAO Liangliang. A stereo matching algorithm based on left and right views[J]. Computer Simulation, 2010, 27(3): 220-223.
[15] 张建花, 柳琦, 聂荣华. 机载影像测量消抖技术研究[J]. 弹箭与制导学报,2016,36(1):174-176. ZHANG Jianhua, LIU Qi, NIE Ronghua. The research of airborne image measurement debounce technology[J]. Journal of Projectiles, Roktets, Missiles and Guidance,2016,36(1):174-176.
[16] 武汉大学测绘学院测量平差学科组编. 误差理论与测量平差基础[M]. 3版. 武汉: 武汉大学出版社, 2014. Wuhan University Error theory and measurement adjustment basics. Survey adjustment group of school of surveying and mapping, [M]. 3th ed. Wuhan: Wuhan University Press, 2014.
-
期刊类型引用(1)
1. 赵敏琨，刘小雄，徐新龙，杨楠，王映龙. 基于视觉的空中加油定位技术研究. 计算机测量与控制. 2023(06): 267-273+279 . 
百度学术
其他类型引用(0)
下载:
计量
- 文章访问数: 401
- HTML全文浏览量: 175
- PDF下载量: 48
- 被引次数: 1
陕公网安备 61011302001501号 