Research on vehicle 360° situational awareness system
-
摘要: 为了适应复杂的战场空间,提高装甲车辆近距离防护能力和战场生存能力,提出一种车载360°态势感知系统。给出了系统的构成框架,并从总体设计、高吞吐嵌入式图像处理平台架构、实时全景拼接以及目标识别和威胁判断等关键技术进行了分析,提出了解决方法。设计的系统实现了多路高清图像拼接,延时优于190 ms,对于车辆的探测距离达到1 km,具有人员和车辆目标的检测和威胁提示能力,可显著提高装甲车辆近距离态势感知能力。Abstract: In order to adapt to the complex battlefield space and improve the armored vehicle's short distance protection ability and battlefield survivability, a vehicle 360° situational awareness system was proposed. The framework of the system was given, and the key technologies such as general design, high throughput of embedded image processing platform, real-time panoramic mosaicing, target recognition and threat estimation were analyzed. Then the solutions were put forward. Results show that this system realizes the high-definition image mosaic in multi-channel. The delay time is better than 190 ms, and the detection distance to the vehicle is up to 1 km. It has the abilities of detection and threat prompting for human and vehicle targets, and can improve the situation awareness of armored vehicles in near range significantly.
-
Keywords:
- panoramic imaging /
- situational awareness /
- target recognition /
- threat estimation
-
引言
随着数字视频制作技术和数字投影机技术的快速发展,球幕数字投影越来越受到青睐,被广泛应用于天文、地理教学、展览展示等领域[1-3]。然而,市场上数字投影机的品牌和规格繁多,所需要配制的数字鱼眼镜头的规格也很多,检测为数字投影机配制的数字鱼眼镜头便成为了难题。目前,国内外还没有相关的检测设备对数字鱼眼镜头的性能、放映效果进行全面的测试,只能购买价格昂贵的与之匹配的数字投影机来进行性能、放映效果的测试,这样不仅增加了测试费用成本,而且通用性差。为此,研制一种通用型可检测各种类型数字投影鱼眼镜头的检测系统,变得十分迫切。本文研究讨论了一种鱼眼镜头检测系统,可实现芯片尺寸为0.55″~1.55″的1DLP、3DLP、3LCD、3LCOS的各类型的数字投影或放映鱼眼镜头的像方视场角、分辨率、彩色还原性能、色差等性能和放映效果进行测试,通用性强。
1 技术要求
设计一种检测系统,可以满足0.55″~1.55″的1DLP、3DLP、3LCD、3LCOS的各类型的数字投影或放映鱼眼镜头的性能参数和放映效果的测试,可实现的照明视场范围大于φ8.5 mm~φ35 mm,照明视场的照度均匀性应不低于85%,出射光通量应不小于5 000 lm。
2 设计思路
数字鱼眼镜头的设计是根据所配接的数字投影或放映机的关键参数和尺寸而定,如数字鱼眼镜头的像高由芯片尺寸而确定。为了更好地匹配系统整体像差,数字鱼眼镜头在设计时需要加入等效平行平板来模拟数字投影或放映机内部光学引擎中分合色棱镜[4-7]。
要满足不同规格的数字鱼眼镜头的性能(视场角、分辨率、彩色还原性能、色差)和放映效果的测试,检测系统需要具有不同种类和规格的检测标板,同时具有模拟数字投影或放映机内部分合色棱镜的功能,以及具有可以形成均匀且大小尺寸能改变的照明视场的功能。
3 设计过程
3.1 鉴别率标板的设计
数字投影或放映机的分辨率直接决定了所配接的数字鱼眼镜头的极限分辨率[4, 8],由公式(1)得出:
$$ ~{{R}_{L}}=\frac{1}{2\times \text{ }\frac{{{L}_{P}}}{{{R}_{P}}}~}=\frac{{{R}_{P}}}{2\times {{L}_{P}}}~ $$ (1) 式中:RL为数字鱼眼镜头的极限分辨率;RL为数字投影或放映机芯片的横向分辨率;LP为数字投影或放映机芯片的横向尺寸。
表 1列出了主流数字投影或放映机对数字鱼眼镜头极限分辨率的要求。一般情况下,镜头设计时会将极限分辨率的设计值提高到理论值的1.3到1.5倍,所以,实际数字鱼眼镜头的最高极限分辨率可能会达到100 lp/mm,甚至会更高。考虑到检测系统的通用型,鉴别率标板的单个分辨率图案包含5组线对,分别为125 lp/mm、100 lp/mm、80 lp/mm、63 lp/mm、50 lp/mm。鉴别率标板的尺寸根据各种规格的数字鱼眼镜头的成像像高而确定,每种规格的鉴别率标板在0、0.3、0.5、0.7、0.85视场上均匀分布着单个分辨率图案,如图 1所示,给出了鉴别率标板的示意图。
表 1 不同数字投影机对应的镜头极限分辨率Table 1. Different types of digital projectors and corresponding ultimate resolutions of lenses芯片尺寸/in 芯片像素 极限分辨率/lp/mm 0.76 1 920×1 200 59 0.7 1024×768 36 0.67 1 920×1 200 66.5 0.65 1 920×1 080、1 280×800、1 024×768 66.8 /45.7 /38.8 1.2 2 048×1 080 38 1.38 4 196×2 160 67 3.2 照明系统的设计
目前投影显示系统中主要采用复眼透镜照明系统和方棒照明系统2种照明方式[9]。
复眼透镜照明系统采用双排复眼透镜,属于柯拉照明。照明系统由于光源的整个光束被分为多个细光束照明,而且对称位置上的细光束光斑互相叠加,所以形成了较为均匀的照明场。但是复眼透镜照明系统结构较为复杂,很难保证2组复眼透镜严格的同轴,加工较为困难。
而方棒照明系统采用方棒形式,光在光棒里面多次反射,每次反射都会形成虚拟光源像,多次反射形成二维的虚拟光源矩阵,从而使得光更加均匀。但是方棒照明系统存在能量利用率相对较低,而且系统结构较长。
为了克服现有投影照明系统的不足和缺点,研究讨论了采用柱体(六边形)蝇眼透镜照明系统来提供高均匀的照明场。相比双排复眼透镜结构,柱体蝇眼透镜结构不但避免了在加工工艺中产生的两组蝇眼镜不同轴的误差和前后组蝇眼之间的粘合剂对光的吸收、散射以及杂光的入侵问题,而且还减少了加工面,简化了机械固定结构;相比方棒结构,能量利用率更高,系统的结构更加紧凑,有利于小型化。
系统由抛物型的反光碗光源、柱体蝇眼透镜阵列、准直物镜(场镜和集光镜)组成。其工作原理图如图 2所示,抛物型的反光碗光源发出类平行光,类平行光进入柱体蝇眼透镜阵列被形成多点光源,多点光源经准直物镜的调制之后均匀叠加在系统片窗上,如图 3所示。
3.3 照明系统中关键元件基本参数的确定
准直物镜的焦距f准与照明场的大小y存在以下关系:
$$ {f_{准}} = \frac{{y/2}}{{{\rm{tan}}w}} $$ (2) 式中,w为准直透镜的视场角,如图 4所示。
准直物镜的焦距f准与柱体蝇眼透镜组的子午方向上下边缘2个柱体中心距H(如图 3所示)的关系:
$$ H = {f_{准}}\cdot{\rm{tan}}\theta $$ (3) 式中,θ是准直物镜光学系统的孔径角。
该投影照明系统中柱体蝇眼透镜组的焦平面与准直物镜的物平面重合,即单个柱体透镜的像方孔径角也是准直物镜的视场角,故有:
$$ {f_{柱}} = \frac{{h/2}}{{{\rm{tan}}w}}{\rm{ }} $$ (4) 式中:f柱是单个柱体透镜的焦距;h是单个柱体透镜上下边的距离。
柱体蝇眼透镜组的子午方向上下边缘2个柱体中心距H与单个柱体透镜上下边的距离h之间的关系如下:
$$ ~H=h(n-1) $$ (5) 式中n为柱体蝇眼透镜组子午方向柱体透镜的总个数。
照明系统中,柱体透镜的排列方式,如图 3所示,故,柱体蝇眼透镜组的小透镜的总个数为
$$ N=1+\sum\limits_{1}^{\left( n-1 \right)/2}{\text{ }6\cdot \frac{\left( n-1 \right)}{2}}\text{ }~ $$ (6) 考虑到缩短整个光路,以及有效地提高照度均匀度,取准直透镜的视场角w=6°,准直物镜光学系统的孔径角θ=4°,再由各参数之间的关系式(2)~(6),最终得出关键元件的设计尺寸。
3.4 照明视场大小可变功能的实现
测试系统需要满足不同类型数字鱼眼镜头的检测,故所需的照明视场大小也不同,为了防止光能量的不必要损失,测试系统应该具有照明视场大小可调的功能。由(2)式知,当系统的准直透镜的视场角确定后,改变准直透镜的焦距,就可以改变照明场的大小。通过改变场镜和集光镜之间的距离便可以得到不同焦距值的准直透镜[10],进而实现照明视场的大小变化。
4 设计结果
设计了一款通用型数字鱼眼镜头检测系统,如图 4所示,主要由照明系统、检测标板、等效平行平板系统和球幕组成。照明系统采用的柱体蝇眼透镜阵列是由91个六边形柱透镜组成,测试标板主要是鉴别率板,用于检测数字鱼眼镜头的分辨率;等效平行平板系统是由4种不同厚度的平行平板组成,不同的组合可以满足不同类型数字鱼眼镜头的测试。球幕内部刻有角度线,用于检测数字鱼眼镜头的视场角。
经过定量化性能测试,主要性能指标测试结果如表 2所示,满足了设计指标要求。
表 2 检测系统测试结果Table 2. Testing result of testing system主要性能 测试结果 参数指标 照明视场范围φ/mm 8.1~36.3 >8.5~35 照度均匀度/% 91 ≥85 出射光通量/lm ≥5 000,可调 ≥5 000 5 结论
本文设计的通用型数字鱼眼镜头检测系统采用的柱体蝇眼透镜阵列照明系统不但光能利用率高,可产生较高的均匀度,而且有较高的准直性和较好的光束控制。通过调整更换不同厚度的等效平行玻璃平板,用于模拟各种数字投影或放映机内部棱镜,同时在片门处调换不同类型、不同尺寸的测试标板,被检测的数字鱼眼镜头将测试标板成像在球幕上,可实现对芯片尺寸为0.55″~1.55″的1DLP、3DLP、3LCD、3LCOS的各种类型的数字投影或放映鱼眼镜头的像方视场角、分辨率、彩色还原性能、色差等性能和放映效果进行测试,通用性强,降低了鱼眼镜头产品的检测成本。
-
[1] 纪明, 许培忠, 徐飞飞.武装直升机光电系统发展与对策[J].应用光学, 2010, 31(1):1-7. doi: 10.3969/j.issn.1002-2082.2010.01.002 JI Ming, XU Peizhong, XU Feifei.Development of optoelectronic systems for armed helicopters[J].Journal of Applied Optics, 2010, 31(1):1-7. doi: 10.3969/j.issn.1002-2082.2010.01.002
[2] 蓝天, 陆南燕.光电分布式孔径系统的应用和发展研究[J].红外与激光工程, 2007, 36(增刊):553-556. http://d.old.wanfangdata.com.cn/Periodical/hwyjggc2007z2143 LAN Tian, LU Nanyan.Application and development of electro-optical distributed aperture system[J].Infrared and Laser Engineering, 2007, 36(Sup):553-556. http://d.old.wanfangdata.com.cn/Periodical/hwyjggc2007z2143
[3] WANG Yawei, LIU Yu, CHEN Wei, et al. Vehicle photoelectric detection system based on guidance of machine vision[J].SPIE, 2015, 9522:95220O. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=CC0215026323
[4] 杨云涛, 冯莹, 曹毓, 等.车载摄像平台序列图像快速拼接方法[J].应用光学, 2011, 32(4):685-687. http://d.old.wanfangdata.com.cn/Periodical/yygx201104018 YANG Yuntao, FENG Ying, CAO Yu, et al. Fast sequence images mosaic based on vehicle-borne camera platform[J]. Journal of Applied Optics, 2011, 32(4):685-687. http://d.old.wanfangdata.com.cn/Periodical/yygx201104018
[5] 杨晓萍, 胡玉, 张凯.基于FPGA的视频拼接技术研究[J].吉林大学学报(信息科学版), 2016, 34(6):709-715. doi: 10.3969/j.issn.1671-5896.2016.06.001 YANG Xiaoping, HU Yu, ZHANG Kai. Research on video mosaicing technology based on FPGA[J].Journal of Jilin University (Information Science Edition), 2016, 34(6):709-715. doi: 10.3969/j.issn.1671-5896.2016.06.001
[6] 何攀利, 范铁生.基于灰度相关改进算法的图像拼接[J].沈阳大学学报, 2006, 18(2):7-9. doi: 10.3969/j.issn.1008-9225.2006.02.003 HE Panli, FAN Tiesheng. Image mosaic of improved algorithm based on gray scale[J].Journal of Shenyang University, 2006, 18(2):7-9. doi: 10.3969/j.issn.1008-9225.2006.02.003
[7] 唐政, 王志刚, 赵露露, 等.基于DS证据理论的水下目标识别融合推理方法研究[J].现代导航, 2017, 8(2):113-117. http://d.old.wanfangdata.com.cn/Periodical/xddh201702009 TANG Zheng, WANG Zhigang, ZHAO Lulu, et al. Research on method of fusion reasoning of underwater target recognition based on dempster shafer evidence theory[J].Modern Navigation, 2017, 8(2):113-117. http://d.old.wanfangdata.com.cn/Periodical/xddh201702009
[8] 鲁剑锋.无人机光电载荷图像处理器的设计[J].中国光学, 2011, 4(5):448-452. doi: 10.3969/j.issn.2095-1531.2011.05.007 LU Jianfeng.Design of image system in optic-electrical payloads on UAV[J].Chinese Journal of Optics, 2011, 4(5):448-452. doi: 10.3969/j.issn.2095-1531.2011.05.007
[9] 高超, 张鑫, 王云丽, 等.一种基于SIFT特征的航拍图像序列自动拼接方法[J].计算机应用, 2007, 27(11):2789-2792. http://d.old.wanfangdata.com.cn/Periodical/jsjyy200711054 GAO Chao, ZHANG Xin, WANG Yunli, et al. Automatic stitching approach of aerial image sequence based on SIFT feature[J]. Computer Applications, 2007, 27(11): 2789-2792. http://d.old.wanfangdata.com.cn/Periodical/jsjyy200711054
[10] HEINZE N, ESSWEIN M, KNIGGER W. Automatic image exploitation system for small UAVs[C]. USA: SPIE, 2008.
-
期刊类型引用(1)
1. 路文文,陈善勇,翟德德,熊玉朋. 混合仿生鱼眼-复眼的广角高清成像系统. 应用光学. 2019(02): 311-315 . 本站查看
其他类型引用(1)