Snapshot spectral imaging technique based on field compression
-
摘要:
针对快照式成像芯片和成像光学元器件视场角度敏感问题，设计了一款基于视场压缩的快照式光谱成像系统。该系统由前置视场压缩系统、光阑、后置成像镜头组和光谱成像芯片四部分组成，通过对前置光学系统的Zemax光学设计，实现450 nm~800 nm波长范围内将±10°视场压缩为±3°，最大波相差小于1/4波长；设计后置镜头组用于校正光学系统的色差、球差等像差；整个光学系统各个视场的RMS半径接近面阵探测器的像元尺寸，且相对畸变小于2.138 %；最后通过实验验证了该视场压缩光学系统的可行性，并通过搭建的成像系统对不同颜色字母目标和外景目标物进行成像。实验结果表明：红色R中心波长在610 nm；绿色G中心波长在500 nm；蓝色B中心波长在460 nm；红色地面和绿色地面中心波长分别为613 nm、517 nm，进一步验证了该系统的准确性。
Abstract:Aiming at the Angle sensitivity of snapshot imaging chips and imaging optical components, a snapshot spectral imaging system based on field compression is designed. The system consists of a front field compression system, an aperture, a rear imaging lens group and a spectral imaging chip. Through the Zemax optical design of the front optical system, the field of view of ±10° can be compressed to ±3° in the wavelength range of 450 nm~900 nm, and the maximum wave difference is less than a quarter wavelength. The rear lens group is designed to correct aberrations such as chromatic aberration and spherical aberration of the optical system. The RMS radius of each field of view of the whole optical system is close to the pixel size of the array detector, and the relative distortion is less than
0.1593 %. Finally, the feasibility of the field compression optical system is verified by experiments, and the imaging system is used to image targets with different color letters and location targets. The results show that the central wavelength of red R is 610nm. Green G center wavelength is 500 nm; The central wavelength of blue B is 460 nm; The central wavelength of red ground and green ground is 613 nm and 517 nm respectively, which further verifies the accuracy of the system. -
引言
随着光学信息获取技术的发展，多维信息的快速获取已成目前研究热点之一[1]。光谱成像技术不仅具有空间分辨能力，而且还具有光谱分辨能力，可以从图像和光谱等多角度获取目标信息[2]。传统的光谱成像方式分为掸扫式[3]、推扫式[4-5]、凝视式[6-7]。掸扫式光谱成像技术通过逐点扫描的方式获取样品的光谱信息，具有高光谱分辨率和非接触式测量等优点；推扫式光谱成像技术通过光谱仪采集不同波长的光信号，并将其转换为数字信号进行处理和分析；凝视式光谱成像技术是一种用于分析凝胶样品的成像技术，可用于分析生物分子。但3种成像方式存在采集速度慢、数据处理复杂等问题，无法广泛应用于信息的快速获取。
随着计算机和微纳加工技术的发展，计算型快照式光谱成像技术发展迅速。快照式光谱成像技术是通过单次曝光即可获得目标辐射的二维空间分布和一维光谱信息[8-9]，具有光能利用率高，空间分辨率和光谱分辨率相兼容等优点。目前，主流的快照式光谱成像有微透镜阵列、FP微腔、马赛克型、超构表面等多种形式。以色列NATHAN H等人结合法布里-珀罗谐振腔和微透镜阵列基本原理，利用压缩感知重构算法复原数据立方体，实现了更高空间分辨率的快照式光谱成像[10]。OIKNINE Y 等人提出了一种基于改进法布里-珀罗谐振腔的近红外高光谱成像方法，通过修改谐振腔，在光谱调制图像的基础上，恢复近红外高光谱数据，实现10∶1的高压缩比[11-12]。ZHANG X等人应用深度学习去马赛克技术，研制了微型多光谱传感器，实现了8通道灰度图像和色温的获取，并降低了制造成本[13]。清华大学电子工程系黄翊东教授团队在硅基超表面实现了对入射光的频谱域调制，通过改变超表面单元的结构参数实现不同的调制函数[14]，并通过压缩感知算法重建得到入射光的光谱，并进一步通过超表面的大规模阵列集成实现实时光谱成像[14]。XIONG J等提出并证明了一种基于可重构超表面超单元的快照超光谱成像，通过可重新配置的超表面结构单元实现外来光调制，并通过构建压缩感知算法重建可见光谱图像，并进一步通过超表面超级单元与商业相机集成，实现了实时动态测量[15]。
由于快照式成像芯片和成像光学元器件对视场角度较为敏感，要实现大视场成像，通常需要复杂算法进行角度校准，工作量大，且视场角度越大，测量误差越大。因此，本文提出一种基于视场压缩的快照式光谱成像技术，通过设计透镜模组，将较大的视场角度（±10°）压缩成成像芯片允许的小入射角范围（±3°），无需复杂算法进行校准即可实现较大视场角成像。
1 视场压缩式成像系统仿真设计
基于视场压缩的快照式光谱成像系统由前置光学系统、光阑、后置镜头组和快照式光谱相机组成。前置光学系统主要是将视场压缩，且为无焦系统。后置镜头组用于消除球差、慧差等色差。
系统的通光孔径由光谱相机的入射孔径（8 mm）决定，光谱成像芯片允许的最大入射角为±3°，在此角度下成像误差较小，不需要复杂算法进行校准，减小了工作量。入射角度越大，光谱空间分辨率越低，为确保系统可以清晰成像，本文选择了10°作为前置光学系统的最大入射角，因此进入光谱成像芯片的最大入射角为3º，也就是前置光学系统将 10º的入射光压缩为 3º。
系统的入瞳孔径设置为8 mm，根据系统视场角要求，设置仿真的角度分别为0°、±5°和±10°，其中10°为整个光学系统的最大视场。由于相机只能输出中心波长在特定通道的光谱图像，因此入射光线波长均匀设置为450 nm、550 nm、650 nm、750 nm和800 nm，650 nm光线设置为主光线。系统需要在这些波长范围都具有较好的成像质量，仿真权重均为1。
根据实际需求，设计的光学系统主要参数考虑了一下几点：
1） 前置光学系统需设计为无焦系统，使出射光为平行光；
2） 为方便调焦，450 nm～800 nm波段可以有效消除色差；
3） 前置镜头组需将±10º视场压缩到光谱成像芯片允许的 ±3º视场角范围内；
4） CCD分辨率为1 094×1 072 pixels，像元尺寸为2.7 μm×2.7 μm，通光孔径为8 mm。
基于视场压缩的快照式光谱成像技术原理如图1所示。该成像系统由前置压缩系统、光阑、后置透镜组和快照光谱成像芯片（光谱调制模块和CCD）构成。
![]()
图 1 基于视场压缩式的快照式光谱成像技术原理图Figure 1. Schematic diagram of snapshot spectral imaging technology based on field compression1.1 前置透镜组的Zemax设计
前置光学系统的主要作用是改变入射光束的宽度，压缩视场。本文设计的镜头组为无焦系统[16]，经过前置镜头组的光线仍可平行入射到CCD中。前置光学系统的视场角最大为10°，即需要设计的系统将10°左右的视场压缩到3°范围内。根据光学元件的距离、成像视场等因素，前置透镜组Zemax仿真光学原理图[17-18]如图2所示。前置镜头组各透镜参数如表1所示。
表 1 前置镜头组参数设置Table 1. Parameter Settings of front lens group表面类型 曲率半径/mm 厚度/mm 材料 净口径/mm 物面 标准面 无限 无限 空气 无限 标准面 无限 99.340 空气 40.000 孔径 标准面 −78.367 12.000 LAKL21 20.000 孔径 标准面 534.126 10.001 空气 20.000 孔径 标准面 −160.000 12.006 H-ZK9A 20.000 孔径 标准面 84.290 10.00 空气 20.000 孔径 标准面 345.007 12.073 ZF12 20.000 孔径 标准面 −75.114 1 0.000 空气 20.000 孔径 标准面 −123.000 12.000 D-ZF10-25 17.700 孔径 标准面 54.096 12.008 KF3 20.000 孔径 标准面 −62.895 60.092 空气 20.000 光阑 无限 10.000 空气 9.000 像面 无限 无限 空气 8.000 前置光学系统为无焦系统，可以用波前图来衡量前置光学系统成像质量，如图3所示。图3中出射前置光学系统的光线波峰到波谷的距离为
0.0716 个波长，最大波相差小于1/4波长，符合瑞利判据。通过提取不同视场下，光线出射前置光学系统时与光轴的夹角，可以知道0°视场的光线出射角为0°，5°视场的光线出射角为2.2°，10°视场的光线出射角为2.9°。
1.2 后置透镜组的Zemax设计
后置透镜组的主要作用是校正光学系统的色差、球差等像差，入射后置镜头组的最大角度是快照光谱成像芯片所允许的最大角度3°。后置镜头组需要的视场角较小，且结构简单，后置镜头组的Zemax仿真原理如图4所示，后置镜头组中各透镜参数如表2所示。
表 2 后置透镜组参数Table 2. Rear lens group parameters表面类型 曲率半径/mm 厚度/mm 材料 净口径/mm 光阑 标准面 无限 10.000 空气 8.000 孔径 标准面 58.134 48.387 N-FK51 9.113 孔径 标准面 −84.047 10.000 空气 20.000 孔径 标准面 63.582 12.000 H-BAK1 20.000 孔径 标准面 −31.375 49.781 N-KZFS8 20.000 孔径 标准面 58.684 10.000 空气 20.000 像面 标准面 无限 − 空气 8.000 1.3 整体光学系统设计
本文提出的视场压缩的快照式光谱成像系统，通过设计前置光学系统，可以把10°左右的视场角压缩到光谱成像芯片可接受的视场范围内，经压缩后的目标光是以平行光的方式进入测量系统。平行光经后置镜头组成像于快照光谱芯片上，最终数据经过PC采集处理，从而实现整套系统快照式光谱成像。为保证进入光阑的光束依旧是平行光，设计的前置光学系统必须为无焦系统。
将前置光学系统和快照式光谱成像技术结合后，通过Zemax软件对整个光学系统进行优化，如图5所示。
系统入射的450 nm、550 nm、650 nm、750 nm和900 nm光线点列图如6所示。由图6可以看出，各个视场的RMS半径接近面阵探测器的像元尺寸。整个成像光学系统的畸变如图7所示。从图7可知，系统畸变小于2.138 %，优化后的垂轴色差限制在艾里斑内。
图9是整个系统的FFT MTF曲线，表示不同频率的正弦强度分布函数经光学系统成像后对比度的衰减程度。图9中曲线横坐标表示到镜头中心的距离，纵坐标表示对比度和分辨率，黑色线条代表衍射极限。
2 实验验证
通过前述Zemax仿真设计的基于压缩视场的快照式光谱成像系统原理图和搭建的实物图分别如图10和图11所示。待测目标经过前置光学系统压缩视角后，光线经过光阑到达后置镜头后，成像在相机CCD（苏州多感科技有限公司MMS201-1B-USBCAM01）上，通过计算机呈现采集的图像。前置光学系统可将视场压缩，同时为无焦系统，保证出射前置镜头的光线为平行光。后置镜头组的视场小，结构简单，光线入射的最大角度即为相机CCD能观察到的3°视场。
光谱成像芯片搭载于相机上，可输出成像质量相同的8个特定通道（480 nm,500nm,525 nm,550 nm,560 nm,580 nm,610 nm,645 nm）的原始图像和算法合成的彩色图像。
为验证视场压缩的准确性，采用一组同心圆环，中心圆直径为15.5 mm，为前置镜头镜片大小，如图12所示。将同心圆环置于实验台，距前置镜头为1 m。第一步，使用相机CCD和后置镜头组测试相机视场，结果如图12(a)所示。第二步，在第一步基础上加上前置光学系统，测试视场压缩后系统的视场，结果如图12(b)所示。
图12(a)所示为相机视场原有范围，在x轴方向上观测距离为50.5 mm，在y轴方向上观测距离为 30.5 mm。图12 (b)所示为增大视场后相机所能观测到的范围，在x轴方向上观测距离175.5 mm，在y轴方向上观测距离为105.5 mm。相机在x轴方向上可以观测到的角度为2.8°左右，在y轴上可以观测到的角度为1.74°左右。增大视场后，相机在x轴方向上观测范围约10°左右，在y轴方向上观测范围约6°左右。因此，可以认为前置光学系统使相机视场扩大了3倍。
2.1 RGB图片光谱
为探究本文设计的成像系统图像采集能力，使用4色RGB图片作为待测目标。将实验分为两组，第一组直接使用快照光谱相机进行数据采集；第二组使用前置压缩透镜组对目标物实时采集，获取8个光谱通道的图像和待测目标的彩色图像，如图13和图14所示。通过后期数据图像处理，得到RGBW四色光谱曲线。
图15展示了系统输出的8通道灰色图像。从图15整体效果来看，不同波长下的灰色图像成像质量基本一致，说明入射到相机CCD的光是平行光，并且不同波长下，颜色越亮，表示字母颜色越接近显示的通道波长。因此，红色R中心波长在610 nm；绿色G中心波长在500 nm；蓝色B中心波长在460 nm；白色W中心波长在500 nm。
对采集的8通道灰色图像选取合适范围，经数据处理后，得到如图16所示光谱数据。图16中，红色R中心波长在625 nm；绿色G中心波长在523 nm；蓝色B中心波长在460 nm；白色W中心波长在523 nm。
2.2 室外测试
使用图11搭建的实验装置，对室外目标进行测量，通过系统获取算法合成后的彩色图像如图17（a）所示。分别对图17（a）中红色地面和绿色地面进行采样分析，得到它们的光谱曲线，如图17（b所示，红色地面和绿色地面中心波长分别为613 nm、517 nm。
通过图像处理，获得了室外8通道光谱图像，如图18所示。从图18可以看出，不同波长下，不同目标颜色深浅不一，在目标探测识别上具有独特优势。
3 结论
本文设计了一款基于视场压缩的快照式光谱成像系统，无需复杂算法进行视场校正，即可实现单次曝光获取不同通道的光谱图像。通过Zemax仿真设计及实验验证，该系统可以将450 nm～800 nm波段范围内±10°视场压缩为±3°，大大降低了计算复杂度和系统成本。最后，通过对RGB图片和室外测试验证系统对远方物体成像效果进行分析，获取了相对应的8通道原始图像和合成的彩色图像。通过数据图像处理，验证了系统的可行性，本研究为宽视场快照式光谱成像技术提供了一个新的方式。
-
![]()
图 1 基于视场压缩式的快照式光谱成像技术原理图
Figure 1. Schematic diagram of snapshot spectral imaging technology based on field compression
表 1 前置镜头组参数设置
Table 1 Parameter Settings of front lens group
表面类型 曲率半径/mm 厚度/mm 材料 净口径/mm 物面 标准面 无限 无限 空气 无限 标准面 无限 99.340 空气 40.000 孔径 标准面 −78.367 12.000 LAKL21 20.000 孔径 标准面 534.126 10.001 空气 20.000 孔径 标准面 −160.000 12.006 H-ZK9A 20.000 孔径 标准面 84.290 10.00 空气 20.000 孔径 标准面 345.007 12.073 ZF12 20.000 孔径 标准面 −75.114 1 0.000 空气 20.000 孔径 标准面 −123.000 12.000 D-ZF10-25 17.700 孔径 标准面 54.096 12.008 KF3 20.000 孔径 标准面 −62.895 60.092 空气 20.000 光阑 无限 10.000 空气 9.000 像面 无限 无限 空气 8.000 
下载: 导出CSV
表 2 后置透镜组参数
Table 2 Rear lens group parameters
表面类型 曲率半径/mm 厚度/mm 材料 净口径/mm 光阑 标准面 无限 10.000 空气 8.000 孔径 标准面 58.134 48.387 N-FK51 9.113 孔径 标准面 −84.047 10.000 空气 20.000 孔径 标准面 63.582 12.000 H-BAK1 20.000 孔径 标准面 −31.375 49.781 N-KZFS8 20.000 孔径 标准面 58.684 10.000 空气 20.000 像面 标准面 无限 − 空气 8.000
下载: 导出CSV
-
[1] SONG, H Y, ZHANG W Y, LI H F, et al. Review of compact computational spectral information acquisition systems[J]. Frontiers of Information Technology & Electronic Engineering, 2020, 21.8: 1119-1133.
[2] 傅霞萍. 水果内部品质可见/近红外光谱无损检测方法的实验研究[D]. 杭州: 浙江大学, 2008. FU Xiaping. Experimental study on non-destructive detection method of fruit internal quality by visible/near infrared spectroscopy [D]. Hangzhou: Zhejiang University, 2008.
[3] GREEN R O, EASTWOOD M L, SARTURE C M. Imaging spectroscopy and the airborne visible/infrared imaging spectrometer (AVIRIS)[J]. Remote Sensing of Environment, 1998, 65(3): 227-248. doi: 10.1016/S0034-4257(98)00064-9
[4] 石颖超, 张路明, 陈飞, 等. 数字微镜器件光谱成像技术进展[J]. 光学精密工程, 2023, 31(21): 3096-3110. SHI Yingchao, ZHANG Luming, Chen Fei et al. Optical Precision Engineering, 2023, 31(21): 3096-3110.
[5] BASEDOW R W, CARMER D C, ANDERSON M E, et al. HYDICE system: implementation and performance in imaging spectrometry[J]. SPIE, 1995, 2480: 258-267.
[6] FORD B K, DESCOUR M R, LYNCH R M. Large-image-format computed tomography imaging spectrometer for fluorescence microscopy[J]. Optics Express, 2001, 9(9): 444-453. doi: 10.1364/OE.9.000444
[7] 解娜. 高光谱成像技术研究[D]. 长春: 长春理工大学, 2019. XIE Na. Research on hyperspectral imaging technology [D]. Changchun : Changchun University of Science and Technology, 2019.
[8] 袁艳, 刘安琪, 苏丽娟. 快照式光谱成像技术发展趋势分析与展望(特邀)[J]. 光子学报, 2022, 51(7): 96-112. YUAN Yan, LIU Anqi, SU Lijuan. Development trend analysis and prospect of snapshot spectral imaging [J]. Acta Photonica Sinica, 202, 51(7): 96-112.
[9] NATHAN H, KUDENOV M W. Review of snapshot spectral imaging technologies[J]. Optical Engineering, 2013, 52(9): 090901. doi: 10.1117/1.OE.52.9.090901
[10] OIKNINE Y; AUGUST I; STERN A. Multi-aperture snapshot compressive hyperspectral camera. Optics letters, 2018, 43(20): 5042-5045.
[11] OIKNINE Y, AUGUST I, BLUMBERG D G, et al. NIR hyperspectral compressive imager based on a modified Fabry–Perot resonator[J]. Journal of Optics, 2018, 20(4): 044011. doi: 10.1088/2040-8986/aab3b8
[12] ZHANG X, CUI Z, SHEN Z, et al. A low-cost miniature multispectral image sensor and its applications in consumer electronics[C]//2022 12th Workshop on Hyperspectral Imaging and Signal Processing: Evolution in Remote Sensing (WHISPERS). New York: IEEE, 2022: 1-4.
[13] FENG K, ZHAO Y, CHAN J, et al. Mosaic convolution-attention network for demosaicing multispectral filter array images. IEEE Transactions on Computational Imaging, 2021(7): 864-878.
[14] XIONG J, CAI X S, CUI K Y, et al. Dynamic brain spectrum acquired by a real-time ultraspectral imaging chip with reconfigurable metasurfaces[J]. Optica 2022, 9(5) : 461-468.
[15] CAI X S, Jian XIONG J, Kaiyu CUI K Y, et al. One-shot ultraspectral imaging with reconfigurable metasurfaces[EB/OL]. [2020-03-16]. https://export.arxiv.org.
[16] 张瑞. 基于声光和液晶调制的高精度高光谱全偏振成像系统研究[D]. 太原: 中北大学, 2017. ZHANG Rui. Research on high-precision hyperspectral full-polarization imaging system based on acousto-optic and liquid crystal modulation [D]. Taiyuan: North University of China, 2017.
[17] 刘青函. 超宽视场成像光谱仪前置光学系统设计[D]. 苏州: 苏州大学, 2016. LIU Qing-Han. Design of front optical system for ultra-wide field imaging spectrometer [D]. Suzhou: Soochow University, 2016.
[18] 常凌颖, 王馨幼, 邱跃洪, 等. 基于AOTF成像光谱仪主动变焦前置光学系统设计[J]. 光学学报, 2023, 43(19): 184-191. CHANG Lingying, WANG Xinyu, QIU Yuehong et al. Design of active zoom pre-optical system based on AOTF imaging spectrometer [J]. Acta Optica Sinica, 2019, 43(19): 184-191.
计量
- 文章访问数: 25
- HTML全文浏览量: 2
- PDF下载量: 10
陕公网安备 61011302001501号 