Research on vehicle 360° situational awareness system
-
摘要: 为了适应复杂的战场空间,提高装甲车辆近距离防护能力和战场生存能力,提出一种车载360°态势感知系统。给出了系统的构成框架,并从总体设计、高吞吐嵌入式图像处理平台架构、实时全景拼接以及目标识别和威胁判断等关键技术进行了分析,提出了解决方法。设计的系统实现了多路高清图像拼接,延时优于190 ms,对于车辆的探测距离达到1 km,具有人员和车辆目标的检测和威胁提示能力,可显著提高装甲车辆近距离态势感知能力。Abstract: In order to adapt to the complex battlefield space and improve the armored vehicle's short distance protection ability and battlefield survivability, a vehicle 360° situational awareness system was proposed. The framework of the system was given, and the key technologies such as general design, high throughput of embedded image processing platform, real-time panoramic mosaicing, target recognition and threat estimation were analyzed. Then the solutions were put forward. Results show that this system realizes the high-definition image mosaic in multi-channel. The delay time is better than 190 ms, and the detection distance to the vehicle is up to 1 km. It has the abilities of detection and threat prompting for human and vehicle targets, and can improve the situation awareness of armored vehicles in near range significantly.
-
Keywords:
- panoramic imaging /
- situational awareness /
- target recognition /
- threat estimation
-
引言
360°态势感知系统是当前最为先进、全面的光电信息感知技术,它结合了光电被动探测和分布式结构的全向特点,为作战平台提供全空域的战场态势情报和景象信息支持,并依据相关信息对来袭目标采取战术对抗行动,是现代各种作战平台信息系统及对抗武器系统不可缺少的组成之一[1-2]。车载360°态势感知系统将具有成像探测和状态感知的光电系统安装于装甲车辆上,以实现全景式的战场感知,使舱内乘员能够及时掌握战场环境、判断威胁来源以及获得驾驶视频辅助信息,减轻战斗人员负荷[3]。该系统适用于丛林分散作战和城市巷战,是目前军用被动光电系统的最新发展方向。
1 车载360°态势感知系统的组成
系统根据信息集成的框架特点和对全景信息的需求,结合国内外全新的信息感知与处理系统设计理念,系统分为传感器组件、信息处理系统和显控终端3个部分,组成图如图 1所示。传感器组件包括可见光和热像仪或其他传感器,实现图像和信息的获取。信息处理系统包括电源模块、目标识别模块、威胁判断模块和图像拼接显示模块,实现对视场内区域的监视探测、目标跟踪、威胁判断及图像拼接显示等功能。显示终端完成态势信息的综合显示及功能设置等。
根据车载态势感知系统作战使命的需求,系统应具备以下功能:
1) 感知能力。具有昼夜全景生成能力,形成360°态势感知范围,提请战斗人员注意潜在的敌方战斗人员、车辆、可能的爆炸物和其他战场上的威胁,并对检测到的目标作威胁等级分类。
2) 目标跟踪和定位能力。具备地面复杂背景中运动目标搜索和跟踪能力,对于发现的目标能快速定位。
3) 不同安装位置的适应能力。系统可分布式安装,以适应不同的安装位置,具备在线图像拼接参数校准能力。
4) 高效的人机界面、故障检测能力及硬件扩展和软件裁剪能力。
2 车载360°态势感知系统的关键技术
2.1 车载360°态势感知系统的总体技术
车载360°态势感知系统涉及光学、结构、控制、图像处理、电子学等多个学科,突破了传统的设计理念。传感器个数的选取要考虑到空间布局、探测距离、图像重叠比例以及盲区等参数,通过合理的设计和优化取得最优的结果。建立各传感器组件的数学关系,通过相机标定、安装位置、拼接算法确定系统的信息管理架构和流程。设计合理的内外部数据接口,包括数据传输方式和控制流程,为感知信息的共享提供基础。高效的人机交互界面可以减轻人员的负荷,提高工作效率。强大的扩展能力可适用于不同的需求。
2.2 高吞吐嵌入式图像处理平台架构
高吞吐嵌入式图像信息处理平台是车载态势感知系统的核心,按照功能可分为3个模块:目标识别模块、威胁判断模块和图像拼接与显示分系统模块[4],图像处理系统功能框图如图 2所示。目标识别模块功能是对监视区域内出现的车辆、人员等目标进行自动捕获和稳定跟踪,并将检测到的目标和需要叠加的显示信息传递给威胁判断模块。威胁判断模块的功能是将目标识别模块获取的目标信息结合图像聚类算法进行目标分类和威胁度判断并将结果输出,传递给图像拼接与显示分系统模块。图像拼接与显示分系统模块功能是接收传感器的图像信息结合标定信息进行图像拼接,将目标识别模块的信息进行叠加,根据上位机的指令进行相应的显示处理和分辨率变换,并将需要显示的图像信息输出。为了提高实时性,同步进行图像拼接、目标识别与威胁判断处理,有效提高工作效率。
2.3 实时全景合成技术
实时全景合成技术涉及的算法种类繁多,计算量也较为庞大,整个过程主要分为图像配准和图像变换2大部分。图像配准是整个算法的基本工作,也是最为重要的部分,主要对取自不同视角的多幅图像进行匹配,建立待匹配图像之间的对应关系,从而确定待匹配图像间的几何变换关系,最终通过柱面投影变换算法实现360°全景。图像配准算法是全景图拼接的关键算法,根据实际的仿真和综合比较,采用SIFT算法(scale invariant feature transform)。SIFT算法是一种基于图像尺度空间的特征点检测算子,对图像的尺度缩放和旋转保持不变性,并且对噪声不敏感[5]。SIFT算法的实现步骤分别是关键点方向分配、特征点描述子生成、获得候选匹配点和消除错误匹配。在获得待配准图像之间的空间关系后,为了得到合成图像,需要选择合适的图像融合策略来完成图像的拼接。为了使拼接区域平滑,提高图像质量,可采用图像平滑算法即渐入渐出的方法,使灰度逐渐过渡,以避免图像的模糊和明显的边界[6]。完成的全景拼接效果图,如图 3所示。
2.4 目标识别和威胁判断技术
目标识别和威胁判断技术是将所有典型目标属性构建成识别框架,建立目标威胁排序模型,构造判断测度函数。采用多特征属性方法获得信任测度或似然测度进行目标威胁程度估计并排序,解决目标威胁程度估计问题,为目标分配决策提供依据[7]。系统可从图像中获得目标的属性包括模板、位置、高度、宽度、轮廓、速度、方向、加速度等,但是实际图像中很多属性的数据准确率不高,因此采用模糊数学的方法进行判断,先判断出人和车辆,再进行威胁排序。
对于人员、车辆的判断,比较明显的2个属性是高宽比和空隙率2个特性,建立隶属度函数区分人和车辆。通过大量不同角度和距离的图像数据得到车的高度和宽度比在0.5~0.7左右,人的高度和宽度比在2~6左右,所以在建立隶属度函数时,对应区间2~6内是人的权值大,对应区间0.5~0.7内是车的权值大,小于0.5是车的可能性大,区间1~2是人的可能性大。依据这个原则建立隶属度函数。
按照高宽比将属于车的隶属度函数定义为
$$ {F_v}\left( P \right) = \left\{ \begin{array}{l} 0.7{\rm{ }}\;\;\;\;P < 0.5\\ 0.9{\rm{ }}\;\;\;\;0.5 \le P < 0.7\\ 0.6{\rm{ }}\;\;\;\;0.7 \le P < 1\\ 0.3{\rm{ }}\;\;\;\;\;1 \le P < 2\\ 0.1{\rm{ }}\;\;\;\;\;2 \le P < 6 \end{array} \right.{\rm{ }} $$ (1) 将属于人的隶属度函数定为
$$ {F_h}\left( P \right) = \left\{ \begin{array}{l} 0.3{\rm{ }}\;\;\;\;\;P < 0.5\\ 0.1{\rm{ }}\;\;\;\;\;0.5 \le P < 0.7\\ 0.4{\rm{ }}\;\;\;\;\;0.7 \le P < 1{\rm{ }}\\ 0.7{\rm{ }}\;\;\;\;\;1 \le P < 2\\ 0{\rm{ }}\;\;\;\;\;\;\;\;0.9{\rm{ }}2 \le P < 6 \end{array} \right.{\rm{ }} $$ (2) 针对目标的空隙率,进行人、车分类判断,根据已经处理的视频图像所获得的经验参数,人的空隙率要小,车的空隙率要大一些,依据得到的参数建立隶属度函数。
属于车的隶属度函数可定义为
$$ {F_h}\left( P \right) = \left\{ \begin{array}{l} 0.3{\rm{ }}\;\;\;\;\;P 0.5\\ 0.1{\rm{ }}\;\;\;\;\;0.5 \le P < 0.7\\ 0.4{\rm{ }}\;\;\;\;\;0.7 \le P < 1{\rm{ }}\\ 0.7{\rm{ }}\;\;\;\;\;1 \le P < 2\\ 0{\rm{ }}\;\;\;\;\;\;\;\;0.9{\rm{ }}2 \le P < 6 \end{array} \right.{\rm{ }} $$ (3) 而属于人的隶属度函数可定义为
$$ {G_h}\left( I \right) = \left\{ \begin{array}{l} 0.8{\rm{ }}\;\;\;\;I < 0.25\\ 0.6{\rm{ }}\;\;\;\;0.25 \le I < 0.6\\ 0.3{\rm{ }}\;\;\;\;\;0.6 \le I \le 1 \end{array} \right.{\rm{ }} $$ (4) 通过计算上述属于车和属于人的隶属度比例来判断目标是车还是人。当β≥1时,可以判定目标为车,当β<1时,可以判定目标为人,定义为
$$ \beta =\frac{{{G}_{v}}\left( I \right)+{{F}_{v}}\left( P \right)}{{{G}_{h}}\left( I \right)+{{F}_{h}}\left( P \right)}\text{ }~ $$ (5) 根据前面的隶属度函数定义与计算可判断目标是车还是人,再结合靠近或远离态势(目标面积变化比θ)以及远近态势(目标面积与图像比例λ),对进入视场的目标进行威胁度分级,原则是近处威胁高于远处,车辆威胁高于人,靠近威胁高于远离,其具体分级以及判定条件如(6)式,其中Wt越大,威胁度越高,Ts根据实际选取。
$$ {{W}_{t}}=\text{ }\left\{ \begin{align} & 1\text{ }\ \ \lambda <{{T}_{S}}, \beta <1, \theta <1\ \ 远处目标人远离观测点 \\ & 2\text{ }\ \ \lambda <{{T}_{S}}, \beta \ge 1, \theta <1\ \ 远处目标车远离观测点 \\ & 3\text{ }\ \ \lambda <{{T}_{S}}, \beta <1, \theta \ge 1\ \ 远处目标人靠近观测点~ \\ &4\text{ }\ \ \lambda <{{T}_{S}}, \beta \ge 1, \theta \ge 1\ \ 远处目标车靠近观测点 \\ & 5\text{ }\ \ \lambda \ge {{T}_{S}}, \beta <1, \theta <1~\ \ 近处目标人远离观测点 \\ & 6\text{ }\ \ \lambda \ge {{T}_{S}}, \beta \ge 1, \theta <1\ \ 近处目标车远离观测点~ \\ & 7\text{ }\ \ \lambda \ge {{T}_{S}}, \beta <1, \theta \ge 1\ \ 近处目标人靠近观测点 \\ & 8\text{ }\ \ \lambda \ge {{T}_{S}}, \beta \ge 1, \theta \ge 1\ \ 近处目标车靠近观测点 \\ \end{align} \right.~ $$ (6) 3 结论
本文围绕车载360°态势感知系统的关键技术,从总体设计、硬件构成以及功能实现给出了解决方案,该技术的应用可以全面提升装甲车辆的近距离目标搜索和防护能力,是未来不可缺少的信息化装备。
-
[1] 纪明, 许培忠, 徐飞飞.武装直升机光电系统发展与对策[J].应用光学, 2010, 31(1):1-7. doi: 10.3969/j.issn.1002-2082.2010.01.002 JI Ming, XU Peizhong, XU Feifei.Development of optoelectronic systems for armed helicopters[J].Journal of Applied Optics, 2010, 31(1):1-7. doi: 10.3969/j.issn.1002-2082.2010.01.002
[2] 蓝天, 陆南燕.光电分布式孔径系统的应用和发展研究[J].红外与激光工程, 2007, 36(增刊):553-556. http://d.old.wanfangdata.com.cn/Periodical/hwyjggc2007z2143 LAN Tian, LU Nanyan.Application and development of electro-optical distributed aperture system[J].Infrared and Laser Engineering, 2007, 36(Sup):553-556. http://d.old.wanfangdata.com.cn/Periodical/hwyjggc2007z2143
[3] WANG Yawei, LIU Yu, CHEN Wei, et al. Vehicle photoelectric detection system based on guidance of machine vision[J].SPIE, 2015, 9522:95220O. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=CC0215026323
[4] 杨云涛, 冯莹, 曹毓, 等.车载摄像平台序列图像快速拼接方法[J].应用光学, 2011, 32(4):685-687. http://d.old.wanfangdata.com.cn/Periodical/yygx201104018 YANG Yuntao, FENG Ying, CAO Yu, et al. Fast sequence images mosaic based on vehicle-borne camera platform[J]. Journal of Applied Optics, 2011, 32(4):685-687. http://d.old.wanfangdata.com.cn/Periodical/yygx201104018
[5] 杨晓萍, 胡玉, 张凯.基于FPGA的视频拼接技术研究[J].吉林大学学报(信息科学版), 2016, 34(6):709-715. doi: 10.3969/j.issn.1671-5896.2016.06.001 YANG Xiaoping, HU Yu, ZHANG Kai. Research on video mosaicing technology based on FPGA[J].Journal of Jilin University (Information Science Edition), 2016, 34(6):709-715. doi: 10.3969/j.issn.1671-5896.2016.06.001
[6] 何攀利, 范铁生.基于灰度相关改进算法的图像拼接[J].沈阳大学学报, 2006, 18(2):7-9. doi: 10.3969/j.issn.1008-9225.2006.02.003 HE Panli, FAN Tiesheng. Image mosaic of improved algorithm based on gray scale[J].Journal of Shenyang University, 2006, 18(2):7-9. doi: 10.3969/j.issn.1008-9225.2006.02.003
[7] 唐政, 王志刚, 赵露露, 等.基于DS证据理论的水下目标识别融合推理方法研究[J].现代导航, 2017, 8(2):113-117. http://d.old.wanfangdata.com.cn/Periodical/xddh201702009 TANG Zheng, WANG Zhigang, ZHAO Lulu, et al. Research on method of fusion reasoning of underwater target recognition based on dempster shafer evidence theory[J].Modern Navigation, 2017, 8(2):113-117. http://d.old.wanfangdata.com.cn/Periodical/xddh201702009
[8] 鲁剑锋.无人机光电载荷图像处理器的设计[J].中国光学, 2011, 4(5):448-452. doi: 10.3969/j.issn.2095-1531.2011.05.007 LU Jianfeng.Design of image system in optic-electrical payloads on UAV[J].Chinese Journal of Optics, 2011, 4(5):448-452. doi: 10.3969/j.issn.2095-1531.2011.05.007
[9] 高超, 张鑫, 王云丽, 等.一种基于SIFT特征的航拍图像序列自动拼接方法[J].计算机应用, 2007, 27(11):2789-2792. http://d.old.wanfangdata.com.cn/Periodical/jsjyy200711054 GAO Chao, ZHANG Xin, WANG Yunli, et al. Automatic stitching approach of aerial image sequence based on SIFT feature[J]. Computer Applications, 2007, 27(11): 2789-2792. http://d.old.wanfangdata.com.cn/Periodical/jsjyy200711054
[10] HEINZE N, ESSWEIN M, KNIGGER W. Automatic image exploitation system for small UAVs[C]. USA: SPIE, 2008.
-
期刊类型引用(1)
1. 张雅琼,郭建都,徐阳,郝小健,陈光辉,周婧,朱晶晶. 快速周扫探测系统扫描平台的高精度稳定控制. 应用光学. 2022(03): 375-385 . 本站查看
其他类型引用(5)