引言

随着光电成像技术的日趋成熟，大视场高分辨率光电成像系统可以获取更大空间范围、更多空间细节的目标图像，成为目前主要发展趋势之一。复眼式光学成像系统能在保证大视场的同时获得高分辨率图像，逐渐取代传统单孔径光学系统，在国防科技领域如无人机、光电侦查、导弹制导等以及安防摄像机、智能机器人、微型复眼相机等民用经济领域中有着广泛的应用^[1-2]。

本文研究的复眼式光学成像系统采用同心多尺度结构，如图1所示。同心多尺度成像系统主要分为同心球透镜、微相机阵列两部分。整个视场被微相机阵列分为多个小视场，相邻小视场之间存在视场重叠，每个小视场对应一个微相机，通过微相机阵列将多幅有重叠区域的小视场子图像拼接成全视场高分辨率图像^[3-5]。

图  1  复眼式光学成像系统图

Figure  1.  Schematic diagram of compound-eye optical imaging system

下载: 全尺寸图片 幻灯片

复眼式光学系统微相机的视频图像存在畸变，发生畸变的图像无法准确传达真实场景的内容，导致图像无法拼接或者拼接错误。为了满足复眼式光学成像系统图像拼接高精度的要求，需要对每个微相机的畸变进行测量和校正。2016年，上海大学Li等人通过校准捕获图像进行光学系统畸变校正，生成畸变条纹图形，通过投影系统投射畸变校正后的条纹。2018年，韩国电子与电信研究所的Hayan Kim提出数值补偿方法用于重建畸变大小。

本文针对复眼式光学成像系统畸变问题，采用可见光图像显示技术，生成多模动态电子畸变测量靶标，建立多项式拟合算法，构建畸变测量校正模型，采用最小二乘法获得畸变系数，通过双线性插值法模型对图像进行重建，以提升复眼系统中多孔径拼接的图像质量。

1   畸变测量

1.1   畸变测量系统

畸变测量系统由目标发生子系统、多维调整子系统、图像采集子系统构成，如图2所示。测试时，目标发生子系统生成9×13阵列的十字目标畸变测试标准靶，通过手动多维调整台调整待测复眼式光学成像系统，图像采集子系统接收待测系统输出的畸变标准靶的图像，如图3所示。

图  2  复眼式光学成像系统畸变测量原理图

Figure  2.  Schematic diagram of distortion measurement of compound-eye optical imaging system

下载: 全尺寸图片 幻灯片

图  3  畸变图像

Figure  3.  Distorted image

下载: 全尺寸图片 幻灯片

1.2   畸变图像目标点提取

畸变测量校正需要利用数字图像处理方法获取畸变图像中的目标点信息。本文采用自适应中值滤波、局部直方图增强等方法对畸变图像进行预处理^[6]，运用图像处理中阈值化分割法从图像中提取出目标点^[7]。

阈值分割后的畸变二值图像中目标点成为一个个分离的连通区域，校正前首先要找到图像中的每个目标对象，并用同样的数值标记属于同一目标对象的所有像素，进而提取每个目标点的中心坐标，标记出各个连通区域^[8]。

以图4所示的待标记连通区域为例，标记的算法实现步骤如下：

图  4  待标记的连通区域

Figure  4.  Connected regions to be marked

下载: 全尺寸图片 幻灯片

1） 定义数组$N(i)$。$i$为连通区域的标号，$\sum N(i)$为第$i$个连通区域的像素个数，初始化$\sum N(i) = $$ 0,i = 0$；新分配与待标记连通区域大小相等的内存，初始化为0。

2） 逐行逐列扫描目标图像，若当前点像素值为1且其左上、正上、右上、左点都不为1，则将$N(i)$值和$i$值分别加1。若右上点为1，则将右上点标记赋予当前点，$N(i)$值加1；若不为1，但正上点为1，则将正上点标记赋予当前点，$N(i)$值加1。同理判断左上和左点，若都不为1，赋予当前点$i+1$作为新的标记值，以此来标记另一区域。

该算法实现边扫描边提取，有效克服了重复标记的问题，标记结果如图5所示。

图  5  标记后的连通区域

Figure  5.  Connected area after marking

下载: 全尺寸图片 幻灯片

畸变图像经过标记后，各个目标点具有相同标记，即可对目标进行细分定位，通过图像质心法提取畸变图像目标点的中心坐标。畸变图像的中心部分视场较小可视为理想成像，以畸变图像中心9个目标点为理想点坐标，计算虚拟理想图目标点的行列间距，还原虚拟理想图像各个目标点的中心坐标^[9]。图3的畸变图像和虚拟理想图像目标中心点对比如图6所示，畸变目标点用红色星点表示，理想目标点用蓝色圆点表示。

图  6  畸变图像和虚拟理想图像目标中心点对比

Figure  6.  Comparison of target center points between distorted image and virtual ideal image

下载: 全尺寸图片 幻灯片

2   基于多项式拟合的畸变校正算法

图像产生畸变是图像中的像素点位置发生偏移，利用多项式模型进行畸变校正实际上是对发生畸变的图像进行恢复的过程。通过确定位置的目标点建立两幅图像之间的对应关系，利用空间变换校正图像中的各像素位置，得到正常显示的图形^[10-14]，基于多项式拟合算法的畸变校正过程如图7所示。

图  7  多项式拟合校正过程示意图

Figure  7.  Schematic diagram of correction process of polynomial fitting

下载: 全尺寸图片 幻灯片

1） 建立多项式数学模型，提取目标点，建立其像素空间位置的对应关系。通过畸变图像目标点的中心像素坐标$({x_d},{y_d}) \to ({\rho _d},{\theta _d})$和理想图像目标点的中心像素坐标$({x_i},{y_i}) \to ({\rho _i},{\theta _i})$，由多个目标点的坐标关系得到一个线性方程组，如（1）式所示，利用最小二乘法求得畸变系数。

2） 根据畸变系数计算出每个理想点对应的畸变点的坐标$({\rho _t},{\theta _t}) \to ({x_t},{y_t})$，即：

3） 在重新排列畸变图像像素时，像素映射关系并不是一一对应的，因此利用双线性插值法进行灰度重建，将非整数位置点的灰度值变换为整数位置点的灰度值。通过公式（3）计算畸变点$({x_t},{y_t})$对应的灰度值$g({x_t},{y_t})$，取整后即为校正图像素点$({x_i},{y_i})$对应的灰度值$\varphi ({x_i},{y_i})$。

式中：$i=\left[{x}_{t}\right];j=\left[{y}_{t}\right];\Delta i={x}_{t}-\left[{x}_{t}\right];\Delta j={y}_{t}-\left[{y}_{t}\right]$。

3   实验与结果分析

3.1   多项式拟合算法分析

根据图6中畸变目标点和理想目标点位移绘制偏差分布图如图8所示。偏差呈对称分布，畸变图像的点阵区域越接近中心部分，理想点和畸变点偏差越小，而在图像边缘，尤其是4个角上，偏差较大，达到了35个像素，如不进行畸变校正，边缘特征点误差较大，会降低后期图像拼接的精度。

图  8  偏差分布图

Figure  8.  Deviation distribution diagram

下载: 全尺寸图片 幻灯片

图9是多项式拟合进行校正后的效果图，红色星点是畸变图像目标中心点，蓝色圆点是采用多项式算法计算的拟合目标中心点，可以看出畸变图像目标中心点与拟合目标中心点几乎完全重合。图10是针对图3采用多项式拟合算法得到的畸变校正图，拟合之后图像成像质量得到提升。多项式拟合残差分布如图10所示，图像中心区域残差在0.1～0.3个像素之间，图像边缘残差为1个像素以内，拟合之后图像成像质量得到提升。

图  9  多项式拟合

Figure  9.  Polynomial fitting

下载: 全尺寸图片 幻灯片

图  10  校正后图像

Figure  10.  Image after correction

下载: 全尺寸图片 幻灯片

3.2   校正精度评估

在多项式拟合的数学模型和畸变系数足够准确的前提下，畸变点可以映射正确的理想点位置，否则会产生残余畸变，因此我们用残余畸变来评价畸变校正的精度。多项式拟合残差分布如图11所示，图像中心区域残差在0.1～0.3个像素之间，图像边缘残差为1个像素以内，优于传统Tsai算法。表1给出了畸变校正精度评估的各项指标，通过表1中数据可看出，采用多项式拟合算法校正后的平均相对畸变小于0.1%。

图  11  不同算法残差分布对比图

Figure  11.  Comparison diagram of residual distribution with different algorithms

下载: 全尺寸图片 幻灯片

表  1  校正算法的精度评价

Table  1.  Comprehensive evaluation of correction algorithm

评价指标	传统Tsai算法	多项式拟合算法
最大畸变量/μm	8.63	6.58
平均畸变量/μm	2.48	1.43
平均相对畸变/%	0.276	0.076

下载: 导出CSV 

| 显示表格

3.3   校正图像的拼接

采用多项式拟合算法，对复眼式光学成像系统（如图12所示）的多个子孔径图像进行畸变校正，校准结果如图13所示。从图13中两幅图像的校正示例可以看出，图像的畸变得到了较好的校正。根据复眼式光学成像系统的特性，结合边缘检测，采用SIFT算法进行子图像特征点检测和提取，利用RANSAC算法对提取出的特征点进行精确匹配，通过加权平均算法实现多幅子图像的拼接融合，完成复眼式光学成像系统多孔径图像拼接^[15-16]，如图14所示。

图  12  多孔径原始图像

Figure  12.  Original image of multi-aperture

下载: 全尺寸图片 幻灯片

图  13  子孔径图像畸变校正示例

Figure  13.  Example of distortion correction of sub-aperture image

下载: 全尺寸图片 幻灯片

图  14  畸变校正后多孔径图像拼接图

Figure  14.  Stitched image of multi-aperture image after distortion correction

下载: 全尺寸图片 幻灯片

4   结论

本文针对复眼式光学成像系统畸变提出了基于多项式拟合算法的畸变测量校正方法，实验结果表明，校正后的平均相对畸变优于0.1%，提高了畸变校正的精度。但是通过校正结果可以看出，图像边缘部分仍然存在残余畸变，对复眼式光学成像系统后期图像拼接精度仍有一定影响，因此，还需要继续对算法进行优化改进。