穿透毛玻璃的可见光成像系统

李成勇, 应春霞, 胡晶晶

李成勇, 应春霞, 胡晶晶. 穿透毛玻璃的可见光成像系统[J]. 应用光学, 2019, 40(3): 416-421. DOI: 10.5768/JAO201940.0302002
引用本文: 李成勇, 应春霞, 胡晶晶. 穿透毛玻璃的可见光成像系统[J]. 应用光学, 2019, 40(3): 416-421. DOI: 10.5768/JAO201940.0302002
LI Chengyong, YING Chunxia, HU Jingjing. Visible light imaging system through frosted glass[J]. Journal of Applied Optics, 2019, 40(3): 416-421. DOI: 10.5768/JAO201940.0302002
Citation: LI Chengyong, YING Chunxia, HU Jingjing. Visible light imaging system through frosted glass[J]. Journal of Applied Optics, 2019, 40(3): 416-421. DOI: 10.5768/JAO201940.0302002

穿透毛玻璃的可见光成像系统

基金项目: 

重庆市教委科学技术研究项目 KJQN201801903

重庆市教委科学技术研究项目 KJ1717312

详细信息
    作者简介:

    李成勇(1986-), 男, 硕士, 副教授, 主要从事光通信系统建模及嵌入式系统开发方面的研究。E-mail:lichengyong000@126.com

  • 中图分类号: TN29

Visible light imaging system through frosted glass

  • 摘要: 透过复杂介质获取目标物体图像精细信息的能力是光电图像采集处理的一大难点, 选用CMOS光电图像传感器, 设计了CMOS成像系统以及后端读取和处理电路, 透过毛玻璃对目标物体成像, 将采集的图像信息传送到计算机中进行处理。该系统按照相机光学成像系统原理制作, 采用通用CMOS图像传感器芯片完成电路设计, 加之红外激光辅助照明拍摄采集图像, 由远及近不同距离分别对同一目标物成像, 对成像图像进行迭代图像增强算法优化, 可以解决毛玻璃非匀质问题, 使光源重建精度大大提高, 得到的可见光图像轮廓清晰, 与一般CCD成像系统相比, 识别率超过95%, 远大于一般成像系统, 且成像性能良好。
    Abstract: The ability to obtain fine information of object images through complex media is a major difficulty in photoelectric image acquisition and processing. The complementary metal oxide semiconductor (CMOS) photoelectric image sensor was adopted to design a CMOS imaging system and a back-end reading and processing circuit, the target object was imaged through the frosted glass, and the acquired image information is transmitted to the computer for processing.The system was fabricated according to the principle of camera optical imaging system. The circuit was completed by the general CMOS image sensor chip, and the image was acquired by infrared laser-assisted illumination shooting. The same target was imaged at far and near distances respectively, and the iterative image enhancement algorithm was optimized for the target image. It can solve the problem of non-uniformity of frosted glass, greatly improve the reconstruction precision of the light source, and obtain a clear outline of the visible light image. Compared with the general CCD imaging system, the recognition rate is over 95%, which is much larger than the general imaging system, and the imaging performance is good.
  • 鱼眼和复眼是自然界两种典型的广角成像系统。仿生鱼眼镜头是利用鱼眼广角成像原理设计的短焦距镜头,视场可超过180°[1],缺点是镜组复杂,畸变大且分辨率不高,特别是边缘视场的变形非常明显,多用于视频监控。与高等动物的单眼不一样,昆虫的视觉由复眼产生。复眼系统由许多小眼构成,例如蜻蜓每只复眼有28 000个小眼。这些小眼排列成球面上的阵列,以获得接近240°的大视场。但是小眼直径一般为15 μm~50 μm,其承担的局部视场仅有几度,分辨能力比人眼低,视力仅1 m左右[2]

    事实上,大视场和高分辨率是成像系统设计的一对根本矛盾[3-6],究其根本在于系统的空间带宽积(space-bandwidth product,SBP)受限,SBP可解释为像平面上能够解析的点数[7-8]。提高SBP意味着随着成像系统尺度的增大,系统复杂性也迅速增加,以平衡几何像差的影响,达到或接近衍射受限条件。成像系统设计遵循基本的比例缩放规律,即焦距、口径及其他长度量纲的参数增大M倍,横轴像差与波像差随之同比例增大,而所有角度、曲率参数保持不变。多尺度成像原理正是根据比例缩放规律,采用两级或多级成像,在大视场与小像差之间取得平衡。美国杜克大学Brady研究小组首先提出多尺度设计的概念[8],将成像系统分为物镜透镜组和后端小相机阵列两部分,并先后公开了系列十亿像素级相机的多尺度设计结果[3, 10-14]

    从仿生学的角度看,这种多尺度设计是混合了鱼眼-复眼的仿生结构。前级为仿生鱼眼的物镜设计,其尺度与集光率及角分辨率指标匹配,且像面为同心球面,而不必是传统镜头所要求的平面;次级为仿生复眼的小型目镜阵列,排列成球面形状,将物镜成像中继到各个目镜的像平面探测器阵列上。目镜阵列因口径较小,能很好地校正局部小视场的像差,并且制造成本不高,可以适当增加复杂性,实现接近衍射极限的高清成像。

    参考十亿像素相机设计[15],物镜结构为同心双胶合球透镜,设计波长为可见光(486.132 7 nm、587.561 8 nm和656.272 5 nm)。中心为整球,材料为成都光明的K9玻璃;与整球胶合的是2个半球窝透镜,外径为129.6 mm,材料为成都光明的F4玻璃。该设计具有球对称性,对于次级小口径目镜来说像差都是相同的,因而可用完全相同的目镜阵列。目镜设计主要平衡球差和色差,基于双高斯镜头结构,材料为成都光明的低成本玻璃,口径约为10 mm,以各面的曲率半径和光学间隙为优化变量进行优化。整个两级成像系统的光学设计如图 1所示,相邻目镜的光轴夹角为5°,全视场大于±50°。

    图  1  双层同心球透镜作为物镜的成像系统设计
    Figure  1.  Imaging system design using concentric double ball lenses as objective

    系统孔径光阑的直径为4.38 mm,设在目镜组中第2个双胶合透镜前。系统主要参数如下:有效焦距f=52.667 6 mm,总长L=286.062 2 mm,像方光圈数F=3.2,入瞳孔径EPD=16.458 4 mm。在中间波长λ=587.56 nm下按照望远系统计算角分辨率为δ=43.55 μrad(9.0″)。选用MT9J003 CMOS探测器,静态模式像面尺寸为6.119 mm×4.589 mm,像素数3 664×2 748,像素尺寸1.67 μm×1.67 μm,对应CMOS满视场为±(3.32°×2.49°)。

    由于目镜阵列是关于物镜球心对称的,每个目镜的成像性能即代表了全视场的成像性能。图 2(a)为单路目镜对无穷远目标成像的0~2.5°视场全色调制传递函数(modulation transfer function,MTF)曲线,±2°视场内在200 lp/mm频率处的MTF均大于或接近0.3,具有很好的像质。因图像拼接要求视场重叠(渐晕),2.5°视场的子午MTF下降较明显。图 2(b)是畸变,在边缘视场2.5°的畸变小于3%。另一方面,将物距从无穷远依次调整为5 km和300 m,发现无需调焦,MTF和弥散斑变化很小,说明系统具有很大的景深,可同时在300 m至无穷远目标较好成像。进一步,将物距改为20 m,通过像面位置调整(约0.14 mm),也可以得到很好的MTF,说明系统适当调焦后也可用于近距离目标成像。

    图  2  双层同心球透镜作为物镜的系统成像性能
    Figure  2.  Imaging performance using concentric double ball lenses as objective

    将物镜和单路目镜的两级成像系统组装在一起后,首先采用波面干涉仪测量系统波像差。测量原理如图 3(a)所示,波面干涉仪发出准直光入射到物镜上,在像平面处聚焦于一点;与该点共焦放置一个标准球面反射镜,可将测试光束原路返回并最终回到干涉仪,与干涉仪镜头参考面形成干涉,干涉图反映了系统波前误差的大小。图 3(b)是测量现场照片,图 3(c)是波前误差测量结果,由于中心存在反射鬼像,PV值受噪声点影响较明显,RMS值为0.043λ,满足Maréchal判据,即可认为系统成像接近衍射极限。

    图  3  成像系统的波前误差测试
    Figure  3.  Wavefront error measurement of imaging system

    图 4(a)是成像系统获取的3 km距离目标图像,其中近处距离约100 m的树枝树叶清晰可见,远处嘉熙中心大楼距离约3 km,局部放大后如图 4(b)所示,大楼顶部“JIAXI CENTER”字样清晰可见(裸眼不可见),说明相机具有大景深特点。

    图  4  距离3 km目标图像
    Figure  4.  Image of buildings 3 km far away

    图 5(a)是获取的距离7.4 km的顺天国际金融中心图像,局部放大图像如图 5(b),“顺天IFC”、“中国铁建”等字样清晰可见,玻璃窗格、塔吊桁架甚至楼顶避雷针等细长目标也清晰可辨。

    图  5  距离7.4 km目标图像
    Figure  5.  Image of buildings 7.4 km far away

    图 6(a)6(b)为距离20 m和40 m的USAF-1951分辨率板所成的像,据此估算系统的角分辨率为8″~10″,与系统对无穷远目标成像的分辨率设计指标相当。

    图  6  USAF-1951分辨率板成像
    Figure  6.  Images of USAF-1951 resolution test target

    采用双层同心球透镜形式的物镜,要求半球碗与被包覆的中心球的曲率半径相等,2个透镜材料的热膨胀系数以及折射率必须匹配,使得可选材料受限,力学稳定性和热稳定性较差,且制造成本较高,还存在胶合偏心的影响。尽管物镜采用多层同心球的形式确实能够得到更好的中继像质[6],由于次级目镜系统具有很强的像差校正能力,为了简化物镜系统,完全可用单个球透镜形式,其剩余像差通过优化目镜系统进行校正。因此尝试物镜采用直径129.6 mm单一球透镜结构,玻璃材料选用K9。小口径的目镜组设计仍然基于双高斯镜头结构,包括依次布置的双凸透镜、2个双胶合透镜、调焦镜组以及焦平面探测器。为降低成本,目镜组所有透镜均为平面或球面透镜。通过优化曲率半径、光学间隙等参数,得到设计结果如图 7所示。

    图  7  单个球透镜作为物镜的成像系统设计
    Figure  7.  Imaging system design using single ball lens as objective

    同样由于球对称性,各目镜完全相同,只需考察单路目镜对局部小视场的像差校正能力。系统主要参数:有效焦距f=50.379 8 mm,总长L=264.725 mm,像方光圈数F=2.974,入瞳孔径EPD=16.939 4 mm。图 8(a)所示为系统在无穷远物距、0~3.5°视场下的单路目镜成像的全色MTF,图 8(b)是畸变,在边缘视场3.5°的畸变约为4.5%。调整物距,发现该系统同样具有大景深特点。

    图  8  单个球透镜作为物镜的系统成像性能
    Figure  8.  Imaging performance using single ball lens as objective

    图 8图 2对比可见采用单个球透镜物镜的成像系统通过目镜的像差校正,甚至成像性能比双层同心球透镜物镜的成像系统更优:局部小视场可达到±3.5°,从而可满视场成像且相邻目镜的重叠视场更大,镜筒之间的间隔也可以更大,有利于光机设计;±2°视场内在200 lp/mm频率处的MTF均大于或接近0.3,子午面内的边缘视场±3.5°处MTF仍然大于0.1。

    图 9是该系统的光机设计,采用免装调物镜镜筒结构,前端与球透镜配合,后端球冠曲率中心与球透镜中心重合,球冠上布满阵列孔,用于装配目镜阵列。该系统正在进行透镜和镜筒的加工,从光学设计结果对比看,有望获得优于图 4~图 6的成像质量,后续将进行广角目标成像实验,完成阵列图像获取与拼接。

    图  9  单个球透镜作为物镜的成像系统光机设计
    Figure  9.  Optomechanical design of imaging system using single ball lens as objective

    混合仿生的两级成像系统很好地解决了大视场与高分辨率的矛盾,其中物镜采用仿生鱼眼的球透镜结构,增大入瞳孔径收集广角目标光线;目镜采用仿生复眼结构,通过小口径透镜组阵列进行像差校正实现近衍射极限成像。设计结果表明,物镜采用单个球透镜也可以获得与双层同心球透镜相当甚至更优的成像性能,从而避免双胶合球透镜带来的公差控制和力学及热稳定性问题。系统可在100°全视场内达到角分辨率优于10″、畸变小于5%的指标,应用于侦查监控等领域,可实现广角目标的高清成像。

  • 图  1   可见光成像系统结构框图

    Figure  1.   Structure block diagram of visible light imaging system

    图  2   CMOS成像系统电路结构

    Figure  2.   Circuit structure of CMOS imaging system

    图  3   图像构成

    Figure  3.   Image composition

    图  4   图像处理过程

    Figure  4.   Image processing process

    图  5   可见光成像系统电路实物图

    Figure  5.   Physical circuit diagram of visible light imaging system

    图  6   图像增强优化算法流程图

    Figure  6.   Flow chart of image enhancement optimization algorithm

    图  7   不同拍摄情况下的成像效果比较

    Figure  7.   Comparison of imaging effects under different shooting conditions

    表  1   摄像头参数

    Table  1   Camera parameters

    名称 指标
    模块颜色 Blue
    接口 USB
    供电方式 USB but power
    操作系统 Windows
    感光尺寸 1/3.2"
    像素面积 1.4μm
    保存格式 MJPG
    下载: 导出CSV

    表  2   测试识别次数结果(100次)

    Table  2   Results of test recognition times(100 times)

    测试系统 识别次数
    1 cm 3 cm 5 cm
    CCD成像系统 91 83 48
    CMOS图像增强成像系统 100 100 96
    下载: 导出CSV
  • [1] 程瑶, 赵建, 米曾真, 等.基于线阵CCD的光学测角嵌入式系统设计[J].应用光学, 2018, 39(5):650-654. http://www.yygx.net/CN/abstract/abstract11164.shtml

    CHENG Yao, ZHAO Jian, MI Zengzhen, et al. Design of optical angular measurement embedded system based on linear CCD[J]. Journal of Applied Optics, 2018, 39(5):650-654. http://www.yygx.net/CN/abstract/abstract11164.shtml

    [2] 李成勇.LED室内光通信系统研究[J].光通信研究, 2018(3):73-76. http://d.old.wanfangdata.com.cn/Periodical/gtxyj201803019

    LI Chengyong. Research on LED indoor optical communication system[J]. Optical Communication Research, 2018(3):73-76. http://d.old.wanfangdata.com.cn/Periodical/gtxyj201803019

    [3] 李成勇, 王泽芳.基于超声波辅助测距的可见光室内定位系统[J].光通信技术, 2018(1):53-55. http://d.old.wanfangdata.com.cn/Periodical/gtxjs201801016

    LI Chengyong, Wang Zefang. Visible light indoor positioning system based on ultrasonic assisted ranging[J]. Optical Communication Technology, 2018(1):53-55. http://d.old.wanfangdata.com.cn/Periodical/gtxjs201801016

    [4] 泮万盛, 侯忆楠, 肖石林, 等.基于成像的VLC室内定位镜面干扰消除技术[J].光通信技术, 2017(8):48-50. http://d.old.wanfangdata.com.cn/Periodical/gtxjs201708013

    PAN Wansheng, HOU Yinan, XIAO Shilin, et al. Image-based VLC indoor positioning mirror interference elimination technology[J]. Optical Communication Technology. 2017(8):48-50. http://d.old.wanfangdata.com.cn/Periodical/gtxjs201708013

    [5] 尤泽樟, 王先培, 田猛, 等.微型宽波段光谱仪光学系统设计[J].应用光学, 2017, 38(5):740-745. http://www.yygx.net/CN/abstract/abstract11007.shtml

    YU Zezhang, WANG Xianpei, TIAN Meng, et al. Optical system design of micro-wide-band spectrometer[J]. Journal of Applied Optics, 2017, 38(5):740-745. http://www.yygx.net/CN/abstract/abstract11007.shtml

    [6] 欧阳宁, 郑雪英, 袁华, 等.基于NSCT和稀疏表示的多聚焦图像融合[J].计算机工程与设计, 2017, 38(1):177-182. http://d.old.wanfangdata.com.cn/Periodical/jsjgcysj201701033

    OU Yangning, ZHENG Xueying, YUAN Hua, et al. Multi-focus image fusion based on NSCT and sparse representation[J]. Computer Engineering and Design, 2017, 38(1):177-182. http://d.old.wanfangdata.com.cn/Periodical/jsjgcysj201701033

    [7] 朱海滨, 邵毓, 张远健, 等.可见光/红外双视场全景式航空侦查相机光学系统设计[J].应用光学, 2017, 38(1):7-11. http://www.yygx.net/CN/abstract/abstract10885.shtml

    ZHU Haibin, SHAO Yu, ZHANG Yuanjian, et al. Optical system design of visible/infrared dual-field panoramic aerial reconnaissance camera[J]. Journal of Applied Optics, 2017, 38(1):7-11. http://www.yygx.net/CN/abstract/abstract10885.shtml

    [8] 赵响, 林基明.室内可见光成像传感器定位系统的理论极限[J].西安电子科技大学学报, 2016, 43(4):63-68. doi: 10.3969/j.issn.1001-2400.2016.04.012

    ZHAO Xiang, LIN Jiming. Theoretical limits of indoor visible light imaging sensor positioning system[J]. Journal of Xi'an University of Electronic Science and Technology, 2016, 43(4):63-68. doi: 10.3969/j.issn.1001-2400.2016.04.012

    [9] 王凌, 腾国奇, 陈娇, 等.车载光电系统电视摄像机光学系统设计及杂散光分析[J].应用光学, 2016, 37(5):644-650. http://www.yygx.net/CN/abstract/abstract10833.shtml

    WANG Ling, TENG Guoqi, CHEN Jiao, et al. Optical system design and stray light analysis of on-board optoelectronic system TV camera[J]. Journal of Applied Optics, 2016, 37(5):644-650. http://www.yygx.net/CN/abstract/abstract10833.shtml

    [10] 代少升, 徐洪, 刘琴.基于人眼视觉特性的红外图像增强算法[J].半导体光电, 2016(1):115-118. http://d.old.wanfangdata.com.cn/Periodical/bdtgd201601025

    DAI Shaosheng, XU Hong, LIU Qin. Infrared image enhancement algorithm based on human visual characteristics[J]. Semiconductor Optoelectronics, 2016(1):115-118. http://d.old.wanfangdata.com.cn/Periodical/bdtgd201601025

    [11] 崔光茫, 冯华君, 徐之海, 等.基于CSF和仿射重建模型的噪声图像质量评价[J].浙江大学学报(工学版), 2016, 50(1):144-150. doi: 10.3785/j.issn.1008-973X.2016.01.021

    CUI Guangmeng, FENG Huajun, XU Zhihai, et al. Noise image quality evaluation based on CSF and affine reconstruction model[J]. Journal of Zhejiang University (Engineering), 2016, 50(1):144-150. doi: 10.3785/j.issn.1008-973X.2016.01.021

    [12] 曾恒亮, 张孟伟, 刘征, 等.利用偏振特性因子的偏振成像目标探测实验[J].光电工程, 2016, 43(2):22-26. doi: 10.3969/j.issn.1003-501X.2016.02.004

    ZENG Hengliang, ZHANG Mengwei, LIU Zheng, et al. Polarization imaging target detection experiment using polarization characteristic factor[J]. Optoelectronics Engineering, 2016, 43(2):22-26. doi: 10.3969/j.issn.1003-501X.2016.02.004

    [13] 马书新, 高峰, 刘欢.计算机视觉检测中自动调焦算法的研究[J].微型机与应用, 2015(24):78-81. http://d.old.wanfangdata.com.cn/Periodical/wxjyyy201524012

    MA Shuxin, GAO Feng, LIU Huan. Research on automatic focusing algorithm in computer vision detection[J]. Microcomputer and Application, 2015(24):78-81. http://d.old.wanfangdata.com.cn/Periodical/wxjyyy201524012

    [14] 王雪培, 赵虹霞, 李青会, 等.多光谱成像技术分析彩色艺术品的相关基础研究[J].光学学报, 2015, 35(10):312-319. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=gxxb201510040

    WANG Xuepei, ZHAO Hongxia, LI Qinghui, et al. Basic research on analysis of color artworks by multi-spectral imaging technology[J]. Acta Optica Sinica, 2015, 35(10):312-319. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=gxxb201510040

    [15] 杨红, 康登魁, 姜昌录, 等.可见光光电成像系统整机综合参数校准技术研究[J].应用光学, 2015, 36(2):253-258. http://www.yygx.net/CN/abstract/abstract10585.shtml

    YANG Hong, KANG Dengkui, JIANG Changlu, et al. Research on integrated parameter calibration technology of visible light photoelectric imaging system[J].Journal of Applied Optics, 2015, 36(2):253-258. http://www.yygx.net/CN/abstract/abstract10585.shtml

  • 期刊类型引用(3)

    1. 刘飞,太智超,张敏洁,相萌,于纯,邵晓鹏. 基于天塞主镜的多尺度长焦成像系统设计. 航空兵器. 2024(01): 111-116 . 百度学术
    2. 刘飞,吴晓琴,赵琳,段景博,李江勇,邵晓鹏. 广域高分辨率计算光学成像系统研究进展. 激光与光电子学进展. 2021(18): 10-35+438+3 . 百度学术
    3. 郭智元,李建聪,陈太喜,伍雁雄. 单中心超广角手机镜头设计. 激光与光电子学进展. 2020(07): 277-283 . 百度学术

    其他类型引用(6)

图(7)  /  表(2)
计量
  • 文章访问数:  2006
  • HTML全文浏览量:  406
  • PDF下载量:  137
  • 被引次数: 9
出版历程
  • 收稿日期:  2018-11-27
  • 修回日期:  2018-12-27
  • 刊出日期:  2019-04-30

目录

/

返回文章
返回