引言

在无人机全天候侦察中，同时搭载光电系统与合成孔径雷达(synthetic aperture radar, SAR)完成战场侦察和武器制导等任务^[1]。当前在国内外无人机侦察研究与工程应用中，侦察载荷相互独立，侦察信息与图像分散，无法实时交互与融合。图像特征分析主要基于静态图像，将光电系统与SAR侦察图像输入到同一平台，实时融合光电系统与SAR侦察图像，是无人机侦察领域发展的一个重要方向。

光电系统与SAR在成像机理方面有着本质差异^[2], 光电系统成像分辨率高^[3]、实时性强，目标信息与图像质量正相关，但易受大气环境影响^[4]。而SAR能够全天侯工作^[5]，几乎不受大气环境影响，目标信息丰富^[6]，但实际应用受限于分辨率^[7]。设计图像融合过程与算法，实时融合光电图像与SAR图像，实现复杂大气环境中大范围和高分辨率的目标侦察和监视功能，发挥光电系统与SAR的成像机理优势，提高侦察效率。

1   光电与SAR图像融合原理

光电图像与SAR图像融合通过4个层次实现:时间配准、图像配准、图像融合与融合评价及应用，如图 1所示。

图  1  图像融合原理

Figure  1.  Image fusion principle

下载: 全尺寸图片 幻灯片

光电系统生成侦察图像，标记时标后连续存储在数据融合处理单元中。SAR生成一副完整的侦察图像后传输到融合处理单元，根据SAR图像包含的生成时间，采用时间配准算法调取存储区中与SAR图像对应的光电图像，作为图像配准的图像源完成图像时间配准。

采用特征点提取算法提取光电图像与SAR图像特征点，形成2个特征点集。在2个特征点集中，采用特征匹配算法计算匹配关系，形成匹配点集。根据匹配点集、计算图像间透视变换关系、生成光电图像与SAR图像的透视变换模型，完成图像配准。经过图像配准处理，采用小波变换的算法，将光电图像与SAR图像进行融合。最后将融合图像进行量化分析与评价。

2   光电与SAR图像融合算法

光电图像与SAR图像融合是2种异源图像进行融合，经时间配准、图像配准、图像融合3个过程完成。

融合流程如图 2所示。光电图像输入到融合处理单元，标记时标并存储。SAR图像输入到融合处理单元，融合处理单元接收并解析SAR图像，根据解析的SAR图像时标t，采用时间配准算法搜索存储区中与之对应的光电图像。搜索成功得到的光电图像作为图像配准的图像源，若未搜索到，则返回到流程开始等待下一帧SAR图像。利用SIFT算法提取SAR图像以及与其时间匹配的光电图像特征点，生成特征点集。采用BBF算法计算光电图像特征点集中所有点一一对应的SAR图像特征点集中的点，生成匹配点集。根据生成的匹配点集，计算光电图像与SAR图像透视变换模型，依据该模型计算生成SAR配准图像，接着采用小波变换的算法实现光电图像与SAR配准图像的融合，最后对融合图像进行分析与评价。

图  2  光电与SAR图像融合流程

Figure  2.  Fusion process of opto-electronic and SAR image

下载: 全尺寸图片 幻灯片

2.1   时间配准

在无人机侦察过程中，光电图像帧频与SAR图像帧频由于成像机理的差异而不同。

光电图像与SAR图像时间配准，帧频率的最大值不能大于两者中的最高频率，最小值不能小于最低频率。设配准频率为f_s，最大值与最小值分别为f_s^max与f_s^min，则有关系式：

考虑同步频率时f_s的条件为

光电图像与SAR图像采集频率极值f_s满足：

满足图像融合实时性要求，则可以推导出：

上述条件满足后，为了避免SAR生成周期性不强的侦察图像，所选择的配准帧频率应为光电图像的帧频的整数倍。

2.2   图像配准

光电图像分辨率高，范围窄，SAR图像分辨率低，范围广，因此以光电图像为基准，对SAR图像进行配准。

点特征是SAR图像最直观的特征^[8]，提取典型特征点是SAR图像配准的的关键。而SIFT算法是一种基于图像局部特征点的配准技术，能够使每一个关键点尽可能被唯一确定，提高配准时的识别精确度^[9]。

SIFT算法将图像分解到不同尺度空间，生成一系列的分信息。一副二维图像的尺度空间可以定义为^[10]

式中G(x, y, σ)为尺度可变高斯核函数，其函数形式如下：

式中：(x, y)是图像空间坐标；σ是尺度坐标。将图像与不同尺度因子下高斯核函数进行卷积操作，得到高斯金子塔的分层结构，接着将高斯金子塔中相邻尺度空间函数相减，从而得到高斯差分DoG金子塔，如下式所示：

将DoG尺度空间图像中的每个像素与它邻近的像素点进行比较，共需26个点，得出局部极值点，其中低对比度的点不能作为关键点，边缘点不能作为关键点，局部极值点的集合，就是SIFT提取的特征点集合。

特征点旋转不变性由梯度大小和方向确定。尺度空间图像L上每一个采样的梯度大小和方向由(8)式得出：

式中：θ(x, y)点为特征点在(x, y)处的方向；L(x, y)表示特征点(x, y)在金字塔中的尺度；m(x, y)为特征点在(x, y)处梯度的模值。

经SIFT算法分别计算光电图像与SAR图像，提取生成特征点集。接着采用BBF算法快速高效地搜索光电图像特征点集中所有点一一对应的SAR图像特征点集中最近距离与次近距离点，两者比值小于0.6接收为一对匹配点，形成匹配点集。依据匹配点集，采用BBF算法计算透视变换模型，求得光电图像与SAR图像变换关系，根据该变换关系对SAR图像进行配准变换，完成图像配准。

2.3   融合算法

光电图像与SAR图像包含了及其丰富的目标细节与侦察区域信息。为了使得目标的特征更加明显与清晰，以及更准确地对侦察区域进行观测，在图像融合时，须保存尽可能多的原始图像细节信息。

小波变换算法通过伸缩和平移得到不同尺度的小波，对图像进行分析，能聚焦到图像的任何细节^[11]，低频域包含90%以上的信息，高频域代表了概貌。对不同的频率域应用不同的融合规则，低频域采用加权平均的融合规则，高频域采用基于窗口的系数加权平均融合规则，使得融合图像保留源图像中不同的频率域特征。图像融合基本过程如图 3所示。

图  3  图像融合过程

Figure  3.  Image fusion process

下载: 全尺寸图片 幻灯片

小波变换的图像融合算法分3个步骤完成，分别是分解、融合和重构。

1) 分解。光电图像与SAR配准图像进行小波分解，图像被分解为4个1/4图像，每一个都是配准图像与一个小波基进行内积两倍抽样而成。

2) 融合。对光电图像与SAR配准图像分解出的高频信息和低频信息进行融合处理，低频信息使用加权平均融合规则，如下式所示：

式中W_A和W_B为加权系数，且满足W_A+W_B=1。高频信息采用基于窗口的系数加权平均融合规则融合。

3) 重构。通过小波逆变换重构图像，得到光电图像与SAR配准图像融合后的图像。

经以上过程完成光电图像与SAR配准图像融合。

3   实验及结果

本文的实验系统主要由光电与SAR集成系统和地面控制中心构成，如图 4所示。

图  4  实验示意图

Figure  4.  Experimental Schematic

下载: 全尺寸图片 幻灯片

在同一平台集成光电系统与SAR，依靠结构件的机械加工误差及零位对准，使两者具有相同基准。光电系统通过视频信号线，SAR通过网络分别将生成的图像传输到地面控制中心，进行图像的融合处理。

目标距离较远或在光电视场外，光电系统无法侦察到目标时，选择SAR的工作模式对目标区进行侦察，生成SAR侦察图像，并传输到地面控制中心，地面控制中心解析目标信息，引导光电系统对目标区侦察，同时光电系统生成的光电图像传输到地面控制中心。地面控制中心接收光电系统和SAR的侦察图像，执行图像融合过程与算法，实现光电图像与SAR图像实时融合。

经实验验证，光电系统与SAR生成的图像如图 5与图 6所示。

图  5  SAR图像与其直方图

Figure  5.  SAR image and histogram

下载: 全尺寸图片 幻灯片

图  6  光电图像与其直方图

Figure  6.  Opto-electronic image and histogram

下载: 全尺寸图片 幻灯片

图 5是SAR生成的图像与其直方图，直方图灰度等级集中在中间，目标区亮度变化强烈，对比度强，但直方图边缘不平滑，图像中噪点较多。图 6是光电系统生成的图像与其直方图，直方图灰度等级主要集中在左侧，目标区灰度等级集中，边缘平滑，图像对比度变化平滑，图像中随机性噪点少。

经图像配准计算，生成SAR配准图像如图 7所示，光电图像与SAR配准图像融合后生成的融合图像与其直方图如图 8所示，融合图像灰度等级集中区间介于光电图像与SAR图像中间，且与光电图像灰度等级重合较多，保存了尽可能多的光电图像信息，目标区对比度强烈，融合加强了目标区域识别，融合图像直方图边缘较光滑，降低了SAR图像噪点。融合图像结合了光电图像的清晰可见与SAR的对比度强的特点，发挥了两者成像机理的优势，强化了光电系统与SAR侦察识别目标的能力。

图  7  配准图像

Figure  7.  Registration image

下载: 全尺寸图片 幻灯片

图  8  融合图像与其直方图

Figure  8.  Fusion image and histogram

下载: 全尺寸图片 幻灯片

将光电图像、SAR配准图像以及融合图像分别输入到Matlab建立的熵、均值、标准方差和平均梯度的函数，计算结果如表 1所示。可以看出，图 8的熵值(信息细节)是图 6的95.7%，比图 7提高了1.44倍，融合图像兼具了光电图像清晰与信息量大的特点，增强了SAR图像细节。图 8的标准方差是图 6的86.8%，是图 7的74.5%，融合图像随机性噪点降低。图 8平均梯度比图 6提高了1.52倍，图像清晰度提高。

为对比融合效果，将本文方法与文献[12-13]中的统计特性加权方法和基于NSCT的图像融合进行比较，统计特性加权方法对SAR图像纹理边缘信息保留较好，但地物轮廓与图像信息保持较差，基于NSCT的图像融合算法，对于斑点噪声污染严重的融合比较适用，融合图像更接近整体亮度较高的图像，但NSCT分解层数较多时，计算效率较低。以上方法从静态图像的融合进行论证。

表  1  融合图像评价

Table  1.  Evaluated values of fusion image

类目	图 6	图 7	图 8
熵	5.7817	3.820 4	5.509 5
均值	112.279 0	14.006 3	62.892 4
标准方差	15.336 5	17.864 5	13.316 4
平均梯度	2.150 8	5.326 7	3.273 2

下载: 导出CSV 

| 显示表格

本文通过原理与算法论证、实验设计与结果分析，结合光电系统与SAR成像机制、载机安装以及运动特性，融合过程和算法解决了2种运动侦察载荷实时图像融合中的时间和场景差异，保留了光电图像细节，提高了光电图像对比度，增强了SAR图像信息量，利于侦察识别目标。

4   结论

光电系统实时成像分辨率高，范围窄，易受大气环境影响，SAR成像作用距离远，穿透性强，范围宽，但分辨率低。为了发挥互补优势，提高无人机侦察识别效率，提出了一种光电与SAR的图像融合方法，论证了技术原理与算法，设计实验方案并采用Matlab量化分析结果，融合图像相比于SAR图像提高了1.44倍细节(熵)，在远距离大范围侦察时，有利于清晰高效的发现侦察目标。融合图像相比于光电图像，标准方差降低，平均梯度提高了1.52倍，提高了光电图像目标清晰度和识别准确性，降低了随机性噪点。提升了无人机载光电系统与SAR的侦察识别效率。