Visible light imaging system through frosted glass
-
摘要: 透过复杂介质获取目标物体图像精细信息的能力是光电图像采集处理的一大难点, 选用CMOS光电图像传感器, 设计了CMOS成像系统以及后端读取和处理电路, 透过毛玻璃对目标物体成像, 将采集的图像信息传送到计算机中进行处理。该系统按照相机光学成像系统原理制作, 采用通用CMOS图像传感器芯片完成电路设计, 加之红外激光辅助照明拍摄采集图像, 由远及近不同距离分别对同一目标物成像, 对成像图像进行迭代图像增强算法优化, 可以解决毛玻璃非匀质问题, 使光源重建精度大大提高, 得到的可见光图像轮廓清晰, 与一般CCD成像系统相比, 识别率超过95%, 远大于一般成像系统, 且成像性能良好。Abstract: The ability to obtain fine information of object images through complex media is a major difficulty in photoelectric image acquisition and processing. The complementary metal oxide semiconductor (CMOS) photoelectric image sensor was adopted to design a CMOS imaging system and a back-end reading and processing circuit, the target object was imaged through the frosted glass, and the acquired image information is transmitted to the computer for processing.The system was fabricated according to the principle of camera optical imaging system. The circuit was completed by the general CMOS image sensor chip, and the image was acquired by infrared laser-assisted illumination shooting. The same target was imaged at far and near distances respectively, and the iterative image enhancement algorithm was optimized for the target image. It can solve the problem of non-uniformity of frosted glass, greatly improve the reconstruction precision of the light source, and obtain a clear outline of the visible light image. Compared with the general CCD imaging system, the recognition rate is over 95%, which is much larger than the general imaging system, and the imaging performance is good.
-
Keywords:
- visible light /
- CMOS image sensor /
- photoelectric imaging /
- image processing
-
引言
鱼眼和复眼是自然界两种典型的广角成像系统。仿生鱼眼镜头是利用鱼眼广角成像原理设计的短焦距镜头,视场可超过180°[1],缺点是镜组复杂,畸变大且分辨率不高,特别是边缘视场的变形非常明显,多用于视频监控。与高等动物的单眼不一样,昆虫的视觉由复眼产生。复眼系统由许多小眼构成,例如蜻蜓每只复眼有28 000个小眼。这些小眼排列成球面上的阵列,以获得接近240°的大视场。但是小眼直径一般为15 μm~50 μm,其承担的局部视场仅有几度,分辨能力比人眼低,视力仅1 m左右[2]。
事实上,大视场和高分辨率是成像系统设计的一对根本矛盾[3-6],究其根本在于系统的空间带宽积(space-bandwidth product,SBP)受限,SBP可解释为像平面上能够解析的点数[7-8]。提高SBP意味着随着成像系统尺度的增大,系统复杂性也迅速增加,以平衡几何像差的影响,达到或接近衍射受限条件。成像系统设计遵循基本的比例缩放规律,即焦距、口径及其他长度量纲的参数增大M倍,横轴像差与波像差随之同比例增大,而所有角度、曲率参数保持不变。多尺度成像原理正是根据比例缩放规律,采用两级或多级成像,在大视场与小像差之间取得平衡。美国杜克大学Brady研究小组首先提出多尺度设计的概念[8],将成像系统分为物镜透镜组和后端小相机阵列两部分,并先后公开了系列十亿像素级相机的多尺度设计结果[3, 10-14]。
从仿生学的角度看,这种多尺度设计是混合了鱼眼-复眼的仿生结构。前级为仿生鱼眼的物镜设计,其尺度与集光率及角分辨率指标匹配,且像面为同心球面,而不必是传统镜头所要求的平面;次级为仿生复眼的小型目镜阵列,排列成球面形状,将物镜成像中继到各个目镜的像平面探测器阵列上。目镜阵列因口径较小,能很好地校正局部小视场的像差,并且制造成本不高,可以适当增加复杂性,实现接近衍射极限的高清成像。
1 物镜采用双层同心球透镜的成像系统
1.1 成像系统设计
参考十亿像素相机设计[15],物镜结构为同心双胶合球透镜,设计波长为可见光(486.132 7 nm、587.561 8 nm和656.272 5 nm)。中心为整球,材料为成都光明的K9玻璃;与整球胶合的是2个半球窝透镜,外径为129.6 mm,材料为成都光明的F4玻璃。该设计具有球对称性,对于次级小口径目镜来说像差都是相同的,因而可用完全相同的目镜阵列。目镜设计主要平衡球差和色差,基于双高斯镜头结构,材料为成都光明的低成本玻璃,口径约为10 mm,以各面的曲率半径和光学间隙为优化变量进行优化。整个两级成像系统的光学设计如图 1所示,相邻目镜的光轴夹角为5°,全视场大于±50°。
系统孔径光阑的直径为4.38 mm,设在目镜组中第2个双胶合透镜前。系统主要参数如下:有效焦距f=52.667 6 mm,总长L=286.062 2 mm,像方光圈数F=3.2,入瞳孔径EPD=16.458 4 mm。在中间波长λ=587.56 nm下按照望远系统计算角分辨率为δ=43.55 μrad(9.0″)。选用MT9J003 CMOS探测器,静态模式像面尺寸为6.119 mm×4.589 mm,像素数3 664×2 748,像素尺寸1.67 μm×1.67 μm,对应CMOS满视场为±(3.32°×2.49°)。
由于目镜阵列是关于物镜球心对称的,每个目镜的成像性能即代表了全视场的成像性能。图 2(a)为单路目镜对无穷远目标成像的0~2.5°视场全色调制传递函数(modulation transfer function,MTF)曲线,±2°视场内在200 lp/mm频率处的MTF均大于或接近0.3,具有很好的像质。因图像拼接要求视场重叠(渐晕),2.5°视场的子午MTF下降较明显。图 2(b)是畸变,在边缘视场2.5°的畸变小于3%。另一方面,将物距从无穷远依次调整为5 km和300 m,发现无需调焦,MTF和弥散斑变化很小,说明系统具有很大的景深,可同时在300 m至无穷远目标较好成像。进一步,将物距改为20 m,通过像面位置调整(约0.14 mm),也可以得到很好的MTF,说明系统适当调焦后也可用于近距离目标成像。
1.2 成像性能测试
将物镜和单路目镜的两级成像系统组装在一起后,首先采用波面干涉仪测量系统波像差。测量原理如图 3(a)所示,波面干涉仪发出准直光入射到物镜上,在像平面处聚焦于一点;与该点共焦放置一个标准球面反射镜,可将测试光束原路返回并最终回到干涉仪,与干涉仪镜头参考面形成干涉,干涉图反映了系统波前误差的大小。图 3(b)是测量现场照片,图 3(c)是波前误差测量结果,由于中心存在反射鬼像,PV值受噪声点影响较明显,RMS值为0.043λ,满足Maréchal判据,即可认为系统成像接近衍射极限。
图 4(a)是成像系统获取的3 km距离目标图像,其中近处距离约100 m的树枝树叶清晰可见,远处嘉熙中心大楼距离约3 km,局部放大后如图 4(b)所示,大楼顶部“JIAXI CENTER”字样清晰可见(裸眼不可见),说明相机具有大景深特点。
图 5(a)是获取的距离7.4 km的顺天国际金融中心图像,局部放大图像如图 5(b),“顺天IFC”、“中国铁建”等字样清晰可见,玻璃窗格、塔吊桁架甚至楼顶避雷针等细长目标也清晰可辨。
图 6(a)、6(b)为距离20 m和40 m的USAF-1951分辨率板所成的像,据此估算系统的角分辨率为8″~10″,与系统对无穷远目标成像的分辨率设计指标相当。
2 物镜采用单个球透镜的成像系统设计
采用双层同心球透镜形式的物镜,要求半球碗与被包覆的中心球的曲率半径相等,2个透镜材料的热膨胀系数以及折射率必须匹配,使得可选材料受限,力学稳定性和热稳定性较差,且制造成本较高,还存在胶合偏心的影响。尽管物镜采用多层同心球的形式确实能够得到更好的中继像质[6],由于次级目镜系统具有很强的像差校正能力,为了简化物镜系统,完全可用单个球透镜形式,其剩余像差通过优化目镜系统进行校正。因此尝试物镜采用直径129.6 mm单一球透镜结构,玻璃材料选用K9。小口径的目镜组设计仍然基于双高斯镜头结构,包括依次布置的双凸透镜、2个双胶合透镜、调焦镜组以及焦平面探测器。为降低成本,目镜组所有透镜均为平面或球面透镜。通过优化曲率半径、光学间隙等参数,得到设计结果如图 7所示。
同样由于球对称性,各目镜完全相同,只需考察单路目镜对局部小视场的像差校正能力。系统主要参数:有效焦距f=50.379 8 mm,总长L=264.725 mm,像方光圈数F=2.974,入瞳孔径EPD=16.939 4 mm。图 8(a)所示为系统在无穷远物距、0~3.5°视场下的单路目镜成像的全色MTF,图 8(b)是畸变,在边缘视场3.5°的畸变约为4.5%。调整物距,发现该系统同样具有大景深特点。
图 8与图 2对比可见采用单个球透镜物镜的成像系统通过目镜的像差校正,甚至成像性能比双层同心球透镜物镜的成像系统更优:局部小视场可达到±3.5°,从而可满视场成像且相邻目镜的重叠视场更大,镜筒之间的间隔也可以更大,有利于光机设计;±2°视场内在200 lp/mm频率处的MTF均大于或接近0.3,子午面内的边缘视场±3.5°处MTF仍然大于0.1。
图 9是该系统的光机设计,采用免装调物镜镜筒结构,前端与球透镜配合,后端球冠曲率中心与球透镜中心重合,球冠上布满阵列孔,用于装配目镜阵列。该系统正在进行透镜和镜筒的加工,从光学设计结果对比看,有望获得优于图 4~图 6的成像质量,后续将进行广角目标成像实验,完成阵列图像获取与拼接。
3 结论
混合仿生的两级成像系统很好地解决了大视场与高分辨率的矛盾,其中物镜采用仿生鱼眼的球透镜结构,增大入瞳孔径收集广角目标光线;目镜采用仿生复眼结构,通过小口径透镜组阵列进行像差校正实现近衍射极限成像。设计结果表明,物镜采用单个球透镜也可以获得与双层同心球透镜相当甚至更优的成像性能,从而避免双胶合球透镜带来的公差控制和力学及热稳定性问题。系统可在100°全视场内达到角分辨率优于10″、畸变小于5%的指标,应用于侦查监控等领域,可实现广角目标的高清成像。
-
表 1 摄像头参数
Table 1 Camera parameters
名称 指标 模块颜色 Blue 接口 USB 供电方式 USB but power 操作系统 Windows 感光尺寸 1/3.2" 像素面积 1.4μm 保存格式 MJPG 表 2 测试识别次数结果(100次)
Table 2 Results of test recognition times(100 times)
测试系统 识别次数 1 cm 3 cm 5 cm CCD成像系统 91 83 48 CMOS图像增强成像系统 100 100 96 -
[1] 程瑶, 赵建, 米曾真, 等.基于线阵CCD的光学测角嵌入式系统设计[J].应用光学, 2018, 39(5):650-654. http://www.yygx.net/CN/abstract/abstract11164.shtml CHENG Yao, ZHAO Jian, MI Zengzhen, et al. Design of optical angular measurement embedded system based on linear CCD[J]. Journal of Applied Optics, 2018, 39(5):650-654. http://www.yygx.net/CN/abstract/abstract11164.shtml
[2] 李成勇.LED室内光通信系统研究[J].光通信研究, 2018(3):73-76. http://d.old.wanfangdata.com.cn/Periodical/gtxyj201803019 LI Chengyong. Research on LED indoor optical communication system[J]. Optical Communication Research, 2018(3):73-76. http://d.old.wanfangdata.com.cn/Periodical/gtxyj201803019
[3] 李成勇, 王泽芳.基于超声波辅助测距的可见光室内定位系统[J].光通信技术, 2018(1):53-55. http://d.old.wanfangdata.com.cn/Periodical/gtxjs201801016 LI Chengyong, Wang Zefang. Visible light indoor positioning system based on ultrasonic assisted ranging[J]. Optical Communication Technology, 2018(1):53-55. http://d.old.wanfangdata.com.cn/Periodical/gtxjs201801016
[4] 泮万盛, 侯忆楠, 肖石林, 等.基于成像的VLC室内定位镜面干扰消除技术[J].光通信技术, 2017(8):48-50. http://d.old.wanfangdata.com.cn/Periodical/gtxjs201708013 PAN Wansheng, HOU Yinan, XIAO Shilin, et al. Image-based VLC indoor positioning mirror interference elimination technology[J]. Optical Communication Technology. 2017(8):48-50. http://d.old.wanfangdata.com.cn/Periodical/gtxjs201708013
[5] 尤泽樟, 王先培, 田猛, 等.微型宽波段光谱仪光学系统设计[J].应用光学, 2017, 38(5):740-745. http://www.yygx.net/CN/abstract/abstract11007.shtml YU Zezhang, WANG Xianpei, TIAN Meng, et al. Optical system design of micro-wide-band spectrometer[J]. Journal of Applied Optics, 2017, 38(5):740-745. http://www.yygx.net/CN/abstract/abstract11007.shtml
[6] 欧阳宁, 郑雪英, 袁华, 等.基于NSCT和稀疏表示的多聚焦图像融合[J].计算机工程与设计, 2017, 38(1):177-182. http://d.old.wanfangdata.com.cn/Periodical/jsjgcysj201701033 OU Yangning, ZHENG Xueying, YUAN Hua, et al. Multi-focus image fusion based on NSCT and sparse representation[J]. Computer Engineering and Design, 2017, 38(1):177-182. http://d.old.wanfangdata.com.cn/Periodical/jsjgcysj201701033
[7] 朱海滨, 邵毓, 张远健, 等.可见光/红外双视场全景式航空侦查相机光学系统设计[J].应用光学, 2017, 38(1):7-11. http://www.yygx.net/CN/abstract/abstract10885.shtml ZHU Haibin, SHAO Yu, ZHANG Yuanjian, et al. Optical system design of visible/infrared dual-field panoramic aerial reconnaissance camera[J]. Journal of Applied Optics, 2017, 38(1):7-11. http://www.yygx.net/CN/abstract/abstract10885.shtml
[8] 赵响, 林基明.室内可见光成像传感器定位系统的理论极限[J].西安电子科技大学学报, 2016, 43(4):63-68. doi: 10.3969/j.issn.1001-2400.2016.04.012 ZHAO Xiang, LIN Jiming. Theoretical limits of indoor visible light imaging sensor positioning system[J]. Journal of Xi'an University of Electronic Science and Technology, 2016, 43(4):63-68. doi: 10.3969/j.issn.1001-2400.2016.04.012
[9] 王凌, 腾国奇, 陈娇, 等.车载光电系统电视摄像机光学系统设计及杂散光分析[J].应用光学, 2016, 37(5):644-650. http://www.yygx.net/CN/abstract/abstract10833.shtml WANG Ling, TENG Guoqi, CHEN Jiao, et al. Optical system design and stray light analysis of on-board optoelectronic system TV camera[J]. Journal of Applied Optics, 2016, 37(5):644-650. http://www.yygx.net/CN/abstract/abstract10833.shtml
[10] 代少升, 徐洪, 刘琴.基于人眼视觉特性的红外图像增强算法[J].半导体光电, 2016(1):115-118. http://d.old.wanfangdata.com.cn/Periodical/bdtgd201601025 DAI Shaosheng, XU Hong, LIU Qin. Infrared image enhancement algorithm based on human visual characteristics[J]. Semiconductor Optoelectronics, 2016(1):115-118. http://d.old.wanfangdata.com.cn/Periodical/bdtgd201601025
[11] 崔光茫, 冯华君, 徐之海, 等.基于CSF和仿射重建模型的噪声图像质量评价[J].浙江大学学报(工学版), 2016, 50(1):144-150. doi: 10.3785/j.issn.1008-973X.2016.01.021 CUI Guangmeng, FENG Huajun, XU Zhihai, et al. Noise image quality evaluation based on CSF and affine reconstruction model[J]. Journal of Zhejiang University (Engineering), 2016, 50(1):144-150. doi: 10.3785/j.issn.1008-973X.2016.01.021
[12] 曾恒亮, 张孟伟, 刘征, 等.利用偏振特性因子的偏振成像目标探测实验[J].光电工程, 2016, 43(2):22-26. doi: 10.3969/j.issn.1003-501X.2016.02.004 ZENG Hengliang, ZHANG Mengwei, LIU Zheng, et al. Polarization imaging target detection experiment using polarization characteristic factor[J]. Optoelectronics Engineering, 2016, 43(2):22-26. doi: 10.3969/j.issn.1003-501X.2016.02.004
[13] 马书新, 高峰, 刘欢.计算机视觉检测中自动调焦算法的研究[J].微型机与应用, 2015(24):78-81. http://d.old.wanfangdata.com.cn/Periodical/wxjyyy201524012 MA Shuxin, GAO Feng, LIU Huan. Research on automatic focusing algorithm in computer vision detection[J]. Microcomputer and Application, 2015(24):78-81. http://d.old.wanfangdata.com.cn/Periodical/wxjyyy201524012
[14] 王雪培, 赵虹霞, 李青会, 等.多光谱成像技术分析彩色艺术品的相关基础研究[J].光学学报, 2015, 35(10):312-319. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=gxxb201510040 WANG Xuepei, ZHAO Hongxia, LI Qinghui, et al. Basic research on analysis of color artworks by multi-spectral imaging technology[J]. Acta Optica Sinica, 2015, 35(10):312-319. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=gxxb201510040
[15] 杨红, 康登魁, 姜昌录, 等.可见光光电成像系统整机综合参数校准技术研究[J].应用光学, 2015, 36(2):253-258. http://www.yygx.net/CN/abstract/abstract10585.shtml YANG Hong, KANG Dengkui, JIANG Changlu, et al. Research on integrated parameter calibration technology of visible light photoelectric imaging system[J].Journal of Applied Optics, 2015, 36(2):253-258. http://www.yygx.net/CN/abstract/abstract10585.shtml
-
期刊类型引用(3)
1. 刘飞,太智超,张敏洁,相萌,于纯,邵晓鹏. 基于天塞主镜的多尺度长焦成像系统设计. 航空兵器. 2024(01): 111-116 . 百度学术
2. 刘飞,吴晓琴,赵琳,段景博,李江勇,邵晓鹏. 广域高分辨率计算光学成像系统研究进展. 激光与光电子学进展. 2021(18): 10-35+438+3 . 百度学术
3. 郭智元,李建聪,陈太喜,伍雁雄. 单中心超广角手机镜头设计. 激光与光电子学进展. 2020(07): 277-283 . 百度学术
其他类型引用(6)