Distortion measurement and correction method on compound-eye optical imaging system
-
摘要: 复眼式光学成像系统在大视场侦查、图像识别、目标探测等领域较传统单孔径光学系统优势突出，但随着视场的增加，子孔径本身的成像畸变及多个子孔径的安装位置误差引起的畸变会直接影响拼接图像的质量。针对该问题，采用光电测量技术对复眼系统进行畸变测量与校正，生成多模动态电子畸变测量靶标，构建畸变测量校正模型，建立多项式拟合算法，采用最小二乘法获得畸变系数，通过双线性插值法模型对图像进行重建。实验结果表明，校正后的平均相对畸变优于0.1%，满足大视场复眼式光学成像系统的畸变校正和图像拼接的精度要求。Abstract: The compound-eye optical imaging system features outstanding advantages over traditional single-aperture optical system in large field of view detection, image recognition, and target detection. However, with the increase of the field of view, the image distortion of sub-aperture itself and the distortion caused by installation position error of the multiple sub-aperture will directly affect the quality of mosaic images. To address the problem, the distortion measurement and correction of compound-eye system were carried out by using the photoelectric measurement technology, and the multi-mode dynamic electronic distortion measurement target was generated. Then, the distortion measurement and correction model was constructed, and the polynomial fitting algorithm was established. The least square method was adopted to obtain the distortion coefficient, and the images were reconstructed by using the bilinear interpolation model. The experimental results show that the average relative distortion after correction is better than 0.1%, which can meet the accuracy requirements of distortion correction and image mosaic of compound-eye optical imaging system with large field of view.
-
引言
随着光电成像技术的日趋成熟，大视场高分辨率光电成像系统可以获取更大空间范围、更多空间细节的目标图像，成为目前主要发展趋势之一。复眼式光学成像系统能在保证大视场的同时获得高分辨率图像，逐渐取代传统单孔径光学系统，在国防科技领域如无人机、光电侦查、导弹制导等以及安防摄像机、智能机器人、微型复眼相机等民用经济领域中有着广泛的应用[1-2]。
本文研究的复眼式光学成像系统采用同心多尺度结构，如图1所示。同心多尺度成像系统主要分为同心球透镜、微相机阵列两部分。整个视场被微相机阵列分为多个小视场，相邻小视场之间存在视场重叠，每个小视场对应一个微相机，通过微相机阵列将多幅有重叠区域的小视场子图像拼接成全视场高分辨率图像[3-5]。
复眼式光学系统微相机的视频图像存在畸变，发生畸变的图像无法准确传达真实场景的内容，导致图像无法拼接或者拼接错误。为了满足复眼式光学成像系统图像拼接高精度的要求，需要对每个微相机的畸变进行测量和校正。2016年，上海大学Li等人通过校准捕获图像进行光学系统畸变校正，生成畸变条纹图形，通过投影系统投射畸变校正后的条纹。2018年，韩国电子与电信研究所的Hayan Kim提出数值补偿方法用于重建畸变大小。
本文针对复眼式光学成像系统畸变问题，采用可见光图像显示技术，生成多模动态电子畸变测量靶标，建立多项式拟合算法，构建畸变测量校正模型，采用最小二乘法获得畸变系数，通过双线性插值法模型对图像进行重建，以提升复眼系统中多孔径拼接的图像质量。
1 畸变测量
1.1 畸变测量系统
畸变测量系统由目标发生子系统、多维调整子系统、图像采集子系统构成，如图2所示。测试时，目标发生子系统生成9×13阵列的十字目标畸变测试标准靶，通过手动多维调整台调整待测复眼式光学成像系统，图像采集子系统接收待测系统输出的畸变标准靶的图像，如图3所示。
![]()
图 2 复眼式光学成像系统畸变测量原理图Figure 2. Schematic diagram of distortion measurement of compound-eye optical imaging system1.2 畸变图像目标点提取
畸变测量校正需要利用数字图像处理方法获取畸变图像中的目标点信息。本文采用自适应中值滤波、局部直方图增强等方法对畸变图像进行预处理[6]，运用图像处理中阈值化分割法从图像中提取出目标点[7]。
阈值分割后的畸变二值图像中目标点成为一个个分离的连通区域，校正前首先要找到图像中的每个目标对象，并用同样的数值标记属于同一目标对象的所有像素，进而提取每个目标点的中心坐标，标记出各个连通区域[8]。
以图4所示的待标记连通区域为例，标记的算法实现步骤如下：
1） 定义数组
$N(i)$ 。$i$ 为连通区域的标号，$\sum N(i)$ 为第$i$ 个连通区域的像素个数，初始化$\sum N(i) = $ $ 0,i = 0$ ；新分配与待标记连通区域大小相等的内存，初始化为0。2） 逐行逐列扫描目标图像，若当前点像素值为1且其左上、正上、右上、左点都不为1，则将
$N(i)$ 值和$i$ 值分别加1。若右上点为1，则将右上点标记赋予当前点，$N(i)$ 值加1；若不为1，但正上点为1，则将正上点标记赋予当前点，$N(i)$ 值加1。同理判断左上和左点，若都不为1，赋予当前点$i+1$ 作为新的标记值，以此来标记另一区域。该算法实现边扫描边提取，有效克服了重复标记的问题，标记结果如图5所示。
畸变图像经过标记后，各个目标点具有相同标记，即可对目标进行细分定位，通过图像质心法提取畸变图像目标点的中心坐标。畸变图像的中心部分视场较小可视为理想成像，以畸变图像中心9个目标点为理想点坐标，计算虚拟理想图目标点的行列间距，还原虚拟理想图像各个目标点的中心坐标[9]。图3的畸变图像和虚拟理想图像目标中心点对比如图6所示，畸变目标点用红色星点表示，理想目标点用蓝色圆点表示。
![]()
图 6 畸变图像和虚拟理想图像目标中心点对比Figure 6. Comparison of target center points between distorted image and virtual ideal image2 基于多项式拟合的畸变校正算法
图像产生畸变是图像中的像素点位置发生偏移，利用多项式模型进行畸变校正实际上是对发生畸变的图像进行恢复的过程。通过确定位置的目标点建立两幅图像之间的对应关系，利用空间变换校正图像中的各像素位置，得到正常显示的图形[10-14]，基于多项式拟合算法的畸变校正过程如图7所示。
![]()
图 7 多项式拟合校正过程示意图Figure 7. Schematic diagram of correction process of polynomial fitting1） 建立多项式数学模型，提取目标点，建立其像素空间位置的对应关系。通过畸变图像目标点的中心像素坐标
$({x_d},{y_d}) \to ({\rho _d},{\theta _d})$ 和理想图像目标点的中心像素坐标$({x_i},{y_i}) \to ({\rho _i},{\theta _i})$ ，由多个目标点的坐标关系得到一个线性方程组，如（1）式所示，利用最小二乘法求得畸变系数。$$\begin{split} & {\rho _d} = {m_1}{\rho _i} + {m_2}\rho _i^2 + {m_3}\rho _i^3 + {m_4}\rho _i^4 + {m_5}\rho _i^5 + \cdots \\ & {\theta _d} = {n_1}{\theta _i} + {n_2}\theta _i^2 + {n_3}\theta _i^3 + {n_4}\theta _i^4 + {n_5}\theta _i^5 + \cdots \end{split} $$ (1) 2） 根据畸变系数计算出每个理想点对应的畸变点的坐标
$({\rho _t},{\theta _t}) \to ({x_t},{y_t})$ ，即：$$\begin{split} & {\rho _t} = {m_1}{\rho _i} + {m_2}\rho _i^2 + {m_3}\rho _i^3 + {m_4}\rho _i^4 + {m_5}\rho _i^5 + \cdots \\ & {\theta _t} = {n_1}{\theta _i} + {n_2}\theta _i^2 + {n_3}\theta _i^3 + {n_4}\theta _i^4 + {n_5}\theta _i^5 + \cdots \end{split} $$ (2) 3） 在重新排列畸变图像像素时，像素映射关系并不是一一对应的，因此利用双线性插值法进行灰度重建，将非整数位置点的灰度值变换为整数位置点的灰度值。通过公式（3）计算畸变点
$({x_t},{y_t})$ 对应的灰度值$g({x_t},{y_t})$ ，取整后即为校正图像素点$({x_i},{y_i})$ 对应的灰度值$\varphi ({x_i},{y_i})$ 。$$\begin{split} \varphi ({x_i},{y_i}) \!=\! &\left[ {g({x_t},{y_t})} \right]\! =\! \left[ {g(i + \Delta i,j + \Delta j)} \right] \!=\! [(1 - \Delta i)(1 - \Delta j) \cdot \\ & g(i,j) + (1 - \Delta i) \cdot \Delta j \cdot g(i,j + 1) +\Delta i \cdot (1 - \Delta j) \cdot \\ & g(i + 1,j) + \Delta i \cdot \Delta j \cdot g(i + 1,j + 1)] \\[-12pt] \end{split} $$ (3) 式中：
$i=\left[{x}_{t}\right];j=\left[{y}_{t}\right];\Delta i={x}_{t}-\left[{x}_{t}\right];\Delta j={y}_{t}-\left[{y}_{t}\right]$ 。3 实验与结果分析
3.1 多项式拟合算法分析
根据图6中畸变目标点和理想目标点位移绘制偏差分布图如图8所示。偏差呈对称分布，畸变图像的点阵区域越接近中心部分，理想点和畸变点偏差越小，而在图像边缘，尤其是4个角上，偏差较大，达到了35个像素，如不进行畸变校正，边缘特征点误差较大，会降低后期图像拼接的精度。
图9是多项式拟合进行校正后的效果图，红色星点是畸变图像目标中心点，蓝色圆点是采用多项式算法计算的拟合目标中心点，可以看出畸变图像目标中心点与拟合目标中心点几乎完全重合。图10是针对图3采用多项式拟合算法得到的畸变校正图，拟合之后图像成像质量得到提升。多项式拟合残差分布如图10所示，图像中心区域残差在0.1～0.3个像素之间，图像边缘残差为1个像素以内，拟合之后图像成像质量得到提升。
3.2 校正精度评估
在多项式拟合的数学模型和畸变系数足够准确的前提下，畸变点可以映射正确的理想点位置，否则会产生残余畸变，因此我们用残余畸变来评价畸变校正的精度。多项式拟合残差分布如图11所示，图像中心区域残差在0.1～0.3个像素之间，图像边缘残差为1个像素以内，优于传统Tsai算法。表1给出了畸变校正精度评估的各项指标，通过表1中数据可看出，采用多项式拟合算法校正后的平均相对畸变小于0.1%。
![]()
图 11 不同算法残差分布对比图Figure 11. Comparison diagram of residual distribution with different algorithms表 1 校正算法的精度评价Table 1. Comprehensive evaluation of correction algorithm评价指标 传统Tsai算法 多项式拟合算法 最大畸变量/μm 8.63 6.58 平均畸变量/μm 2.48 1.43 平均相对畸变/% 0.276 0.076 3.3 校正图像的拼接
采用多项式拟合算法，对复眼式光学成像系统（如图12所示）的多个子孔径图像进行畸变校正，校准结果如图13所示。从图13中两幅图像的校正示例可以看出，图像的畸变得到了较好的校正。根据复眼式光学成像系统的特性，结合边缘检测，采用SIFT算法进行子图像特征点检测和提取，利用RANSAC算法对提取出的特征点进行精确匹配，通过加权平均算法实现多幅子图像的拼接融合，完成复眼式光学成像系统多孔径图像拼接[15-16]，如图14所示。
![]()
图 14 畸变校正后多孔径图像拼接图Figure 14. Stitched image of multi-aperture image after distortion correction4 结论
本文针对复眼式光学成像系统畸变提出了基于多项式拟合算法的畸变测量校正方法，实验结果表明，校正后的平均相对畸变优于0.1%，提高了畸变校正的精度。但是通过校正结果可以看出，图像边缘部分仍然存在残余畸变，对复眼式光学成像系统后期图像拼接精度仍有一定影响，因此，还需要继续对算法进行优化改进。
-
![]()
图 2 复眼式光学成像系统畸变测量原理图
Figure 2. Schematic diagram of distortion measurement of compound-eye optical imaging system
![]()
图 6 畸变图像和虚拟理想图像目标中心点对比
Figure 6. Comparison of target center points between distorted image and virtual ideal image
![]()
图 7 多项式拟合校正过程示意图
Figure 7. Schematic diagram of correction process of polynomial fitting
![]()
图 11 不同算法残差分布对比图
Figure 11. Comparison diagram of residual distribution with different algorithms
![]()
图 14 畸变校正后多孔径图像拼接图
Figure 14. Stitched image of multi-aperture image after distortion correction
表 1 校正算法的精度评价
Table 1 Comprehensive evaluation of correction algorithm
评价指标 传统Tsai算法 多项式拟合算法 最大畸变量/μm 8.63 6.58 平均畸变量/μm 2.48 1.43 平均相对畸变/% 0.276 0.076 
下载: 导出CSV
-
[1] 雷卫宁, 郭云芝, 高挺挺. 基于仿生复眼的大视场探测系统结构研究[J]. 光学与光电技术,2016,14(3):62-66. LEI Weining, GUO Yunzhi, GAO Tingting. Study on the structure of large field view detection system based on bionic compound eye[J]. Optics Optoelectronic Technology,2016,14(3):62-66.
[2] 田钰麒, 高天元, 赵宇, 等. 仿生复眼成像系统角度误差[J]. 红外与激光工程,2018,47(3):0310001-1-5. doi: 10.3788/IRLA201847.0310001 TIAN Yuqi, GAO Tianyuan, ZHAO Yu, et al. Angle error of bionic compound eye imaging system[J]. Infrared and Laser Engineering,2018,47(3):0310001-1-5. doi: 10.3788/IRLA201847.0310001
[3] 郭书基, 史立芳, 曹阿秀, 等. 基于大视场人工复眼定位技术[J]. 光子学报,2016,45(5):87-92. GUO Shuji, SHI Lifang, CAO Axiu, et al. Study of large field of view compound-eye orientation technology[J]. Acta Photonica Sinica,2016,45(5):87-92.
[4] 史立芳, 曹阿秀, 刘艳, 等. 大视场人工复眼结构设计方法与实验[J]. 光电工程,2013,40(7):27-33. doi: 10.3969/j.issn.1003-501X.2013.07.005 SHI Lifang, CAO Axiu, LIU Yan, et al. Design and experiments of artificial compound eye with large view field[J]. Opto-Electronic Engineering,2013,40(7):27-33. doi: 10.3969/j.issn.1003-501X.2013.07.005
[5] 庞武斌, 黄玮, 王新华, 等. 微镜头阵列球面排布方法研究[J]. 光学学报,2015,35(5):0522003-1-8. PANG Wubin, HUANG Wei, WANG Xinhua, et al. Research of micro-ienses packing strategy on spherical surface[J]. Acta Photonica Sinica,2015,35(5):0522003-1-8.
[6] 贾文良, 陈雨, 陈强. 基于改进的小波阈值图像去噪算法[J]. 微电子学与计算机,2020,37(10):24-29. JIA Wenliang, CHEN Yu, CHEN Qiang. Image denoising algorithm based on improved wavelet threshold[J]. Microelectronics & Computer,2020,37(10):24-29.
[7] 赵琦, 郝士琦, 张岱. 改进阈值分割的光斑中心定位方法[J]. 激光与红外,2018,48(5):633-637. doi: 10.3969/j.issn.1001-5078.2018.05.018 ZHAO Qi, HAO Shiqi, ZHANG Dai. Location method of spot center based on improved threshold segmentation[J]. Laser & Infrared,2018,48(5):633-637. doi: 10.3969/j.issn.1001-5078.2018.05.018
[8] 沈夏炯, 段晓宇, 原万里, 等. 基于连通区域标记算法的圆检测算法的研究[J]. 计算机工程与应用,2018,54(21):95-98. doi: 10.3778/j.issn.1002-8331.1707-0023 SHEN Xiajiong, DUAN Xiaoyu, YUAN Wanli, et al. Research on circle detection algorithm based on connected region labeling algorithm[J]. Computer Engineering and Applications,2018,54(21):95-98. doi: 10.3778/j.issn.1002-8331.1707-0023
[9] 席剑辉, 包辉. 基于改进质心法的激光条纹中心提取算法[J]. 火力与指挥控制,2019,44(5):149-153. doi: 10.3969/j.issn.1002-0640.2019.05.032 XI Jianhui, BAO Hui. Laser stripe center extraction algorithm based on improved centroid method[J]. Fire Control & Command Control,2019,44(5):149-153. doi: 10.3969/j.issn.1002-0640.2019.05.032
[10] 张雄, 宋乐, 张姗姗, 等. 仿生复眼系统标定及测量方法研究[J]. 光电工程,2014,41(3):35-42. doi: 10.3969/j.issn.1003-501X.2014.03.006 ZHANG Xiong, SONG Le, ZHANG Shanshan, et al. The method for eht calibration and measurement of bionic compound-eye system[J]. Opto-Electronic Engineering,2014,41(3):35-42. doi: 10.3969/j.issn.1003-501X.2014.03.006
[11] 柳赟, 鹿冠群. 人工智能技术的大视场光电测量系统畸变校正[J]. 激光杂志,2020,41(8):40-44. LIU Yun, LU Guanqun. Distortion correction of photoelectric measurement system with large field of view based on artificial intelligence[J]. Laser Journal,2020,41(8):40-44.
[12] 王月新, 田竹梅, 任国凤, 等. 基于人工智能技术的大视场光电测量系统畸变校正方法研究[J]. 激光杂志,2020,41(8):59-62. WANG Yuexin, TIAN Zhumei, REN Guofeng, et al. Research on distortion correction method of large field of view photoelectric measurement system based on artificial intelligence technology[J]. Laser Journal,2020,41(8):59-62.
[13] 何子清, 葛超, 王春阳. 基于最小二乘配置的光学镜头畸变校正方法[J]. 液晶与显示,2019,34(3):302-309. doi: 10.3788/YJYXS20193403.0302 HE Ziqing, YU Guodong, WANG Chunyang. Optical lens distortion correction method based on least square configuration[J]. Chinese Journal of Liquid Crystals and Displays,2019,34(3):302-309. doi: 10.3788/YJYXS20193403.0302
[14] 毛昕蓉, 刘铠铭, 汪乐意, 等. 基于FPGA的图像畸变矫正算法研究[J]. 应用光学,2020,41(1):86-93. doi: 10.5768/JAO202041.0102004 MAO Xinrong, LIU Kaiming, WANG Leyi, et al. Image distortion correction algorithm based on FPGA[J]. Journal of Applied Optics,2020,41(1):86-93. doi: 10.5768/JAO202041.0102004
[15] 燕飞, 郭云芝, 史立芳, 等. 基于仿生复眼系统的图像拼接技术[J]. 航空兵器,2017(6):49-53. YAN Fei, GUO Yunzhi, SHI Lifang, et al. Research of image mosaic algorithm based on bionic compound eye system[J]. Aero Weaponry,2017(6):49-53.
[16] 蔡怀宇, 武晓宇, 卓励然, 等. 结合边缘检测的快速SIFT图像拼接方法[J]. 红外与激光工程,2018,47(11):441-447. CAI Huaiyu, WU Xiaoyu, ZHUO Liran, et al. Fast SIFT image stitching algorithm combining edge detection[J]. Infrared and Laser Engineering,2018,47(11):441-447.
-
期刊类型引用(3)
1. 李颖娟，许开銮，刘培桢，宋金鸿，曹玉举，张旭辉. 基于海天线的红外掠海小目标跟踪. 应用光学. 2024(01): 70-78 . 
本站查看
2. 郭雷平，段文博，郭冰涛，王怡恬，韩琪，蔡鹏程，赵子淳，任冬. 基于实测数据的机动目标探测性能评估研究. 应用光学. 2024(04): 665-672 . 本站查看
3. 刘学吉，张洪文，远国勤，修吉宏，王健飞，张昶. 双波段航空遥感相机的目标作用距离. 光学精密工程. 2022(08): 908-916 . 百度学术
其他类型引用(2)
计量
- 文章访问数: 778
- HTML全文浏览量: 230
- PDF下载量: 61
- 被引次数: 5
陕公网安备 61011302001501号 