基于遥感图像及工程参数的全局像移探测算法

刘海秋, 高彦伟, 闫得杰

刘海秋, 高彦伟, 闫得杰. 基于遥感图像及工程参数的全局像移探测算法[J]. 应用光学, 2019, 40(5): 838-846. DOI: 10.5768/JAO201940.0503001
引用本文: 刘海秋, 高彦伟, 闫得杰. 基于遥感图像及工程参数的全局像移探测算法[J]. 应用光学, 2019, 40(5): 838-846. DOI: 10.5768/JAO201940.0503001
shu
LIU Haiqiu, GAO Yanwei, YAN Dejie. Algorithm of global image motion detection based on remote images and engineering parameters[J]. Journal of Applied Optics, 2019, 40(5): 838-846. DOI: 10.5768/JAO201940.0503001
Citation: LIU Haiqiu, GAO Yanwei, YAN Dejie. Algorithm of global image motion detection based on remote images and engineering parameters[J]. Journal of Applied Optics, 2019, 40(5): 838-846. DOI: 10.5768/JAO201940.0503001
shu

基于遥感图像及工程参数的全局像移探测算法

  • 1.

    安徽农业大学 信息与计算机学院, 安徽 合肥 230036

  • 2.

    中国科学院 长春光学精密机械与物理研究所, 吉林 长春 130033

基金项目: 

国家自然科学基金 61805001

安徽省自然科学基金 1808085QF218

安徽农业大学青年基金重点项目 2015ZD16

详细信息
    作者简介:

    刘海秋(1987－), 女, 博士, 讲师, 主要从事空间光学遥感器像移模型及像移测量方面的研究。E-mail：lhq@ahau.edu.cn

  • 中图分类号: TN911.73;V448.15

Algorithm of global image motion detection based on remote images and engineering parameters

  • 1.

    School of Information and Computer, Anhui Agricultural University, Anhui 230036, China

  • 2.

    Changchun Institute of Optics, Fine Mechanics and Physics, CAS, Changchun 130033, China

摘要

    摘要
  • 摘要: 相邻两片成像传感器的拼接区能够形成具有相同目标景物的图像, 是提炼像移信息的关键, 具有相同目标景物的图像并非贯穿于每次成像任务全程, 无相同目标景物期间的像移估计问题仍然存在。提出基于遥感图像及工程参数的全局像移探测算法, 试图对包含无相同目标景物期间在内的像移进行全覆盖探测。根据拼接区成像特点, 将成像过程分为无相同目标景物和有相同目标景物两个阶段:在无相同目标景物阶段, 利用工程参数计算像移的低频分量, 建立基于拼接区图像和像移低频分量的目标函数, 衡量像移曲线与低频分量之间的偏离程度; 采用最速下降法搜索偏离度最小值点, 作为无相同目标景物期间像移的最优估计; 推导有相同目标景物期间的像移计算公式, 利用无相同目标景物期间的估计值求解像移。以XX-1号空间光学遥感器为实验对象, 检测到0.133 Hz、7 pixels左右的像移, 可探测的时间范围包含最初226 ms的无相同目标景物阶段, 且显著削弱了盲点处的像移测量偏差。实验结果证明, 提出的算法能够对包含无相同目标景物期间的全局像移进行有效测量。
    Abstract: Identical scenes in images taken by two adjacent imaging sensors' splicing areas are essential for detecting image motion. However, images with identical scenes are not always present throughout an imaging mission, and it is still a question to detect the image motion for the period with images without identical scenes. In this study, an algorithm based on remote images and engineering parameters is proposed to detect image motion throughout an imaging mission, including the period with images without identical scenes. According to the imaging characteristics of the splicing areas, an imaging mission is divided into two periods: the period with images without identical scenes and that with identical scenes. For the first period, low-frequency image motion is first calculated by using engineering parameters, and an objective function based on the low-frequency image motion and images from slicing areas is then established to measure the deviation between image motion curve and the low-frequency component during the period without identical scenes. Steepest descent method is adopted to find the minimal solution which is taken as the optimal estimation of the image motion for the period without identical scenes. A formula is derived to calculate the image motion for the period with identical scenes by the use of the estimated image motion of the period without identical scenes. Experiments performed on XX-1 space optical remote sensor show that an image motion of about 7 pixels at 0.133 Hz is captured, and its value during the initial 226 ms, the period with images without identical scene, is detectable. Besides, the deviation at blind frequencies is reduced significantly, proving that the proposed algorithm can effectively measure the global image motion, including that during the period with images without identical scenes.
    • HTML全文

  • 引言

    像移作为影响空间相机成像质量的关键因素之一, 描述了空间相机在轨运行期间由轨道运动、地球自转、飞行器姿态变化、活动部件运动等因素导致的目标景物在焦面上映射的像与焦面之间的相对运动[1-2]。随着空间相机地面分辨率不断提高, 像移对像质的影响日益严重, 如何准确地获取像移, 是实现像移补偿, 进而削弱像移对像质影响的前提[3-6]。国内外相关学者提出了多种像移获取方法, 可以归纳为3类。

    第1类, 基于工程参数的像移计算方法。由于像点与物点的三维坐标之间存在一定的几何关系, 通过建立两者之间的坐标变换公式, 并根据物点的地理位置坐标, 以及星下点经纬度、轨道高度、飞行器三轴姿态角及角速度等数据(统称为工程参数), 计算像点在焦面上的位置坐标。Miller.B.M等人建立了简单的坐标变换模型[1], 为进一步提高模型的准确度, 长春光机所王家骐院士利用齐次坐标变换方法, 提出了精确的对地探测坐标变换公式[7], 目前我国包括XX-1号空间光学遥感器在内的多台相机都采用该方法探测像移。然而, 在轨运行结果表明, 该方法的像移测量带宽不仅受限于各种工程参数测量装置的带宽, 也受限于飞行器对工程参数的更新周期, 虽然在1 Hz以下的低频像移计算方面取得了理想效果, 但是难以成为高频像移探测的有效手段。

    第2类, 基于联合相关器的像移估计方法。通过在焦面上增加辅助的面阵成像传感器, 获得具有重叠区域的图像序列, 利用光学透镜组成联合变换器, 对图像序列做相关运算得到匹配误差, 将该匹配误差近似为像移[8]。K.Janschek等人提出这种方法, 并巧妙地运用光学联合变换器对图像进行快速匹配处理, 解决了当时电子学处理器速度低、实时性差的问题[9]。戴朝约等人分别通过改进PA算法、双三次样条插值、双相位编码等方式, 提高像移测量的准确度[10]。此外, 樊超等人分析了目标景物、像移大小、窗口尺寸对像移测量精度的影响, 验证了该方法的有效性[11]。该方法的测量位置在焦面处, 更能反映焦面像移的真实状态, 增加的面阵成像传感器能够进行高帧频拍摄, 可以达到较高的像移测量带宽。但是, 在低轨高速运行环境中, 面阵成像传感器信噪比低, 像移测量精度难以保障[12], 该方法在低轨高分辨率空间相机上的应用前景有限。

    第3类, 基于遥感图像的像移测量方法。利用焦面上平行排布的成像传感器拍摄得到平行观测图像, 通过配准技术得到配准误差序列, 采用频谱分析技术, 提取配准误差频谱曲线中峰值点的频率、幅值和初相位信息, 进而求取像移峰值点处的频率、幅值和初相位, 并以三角函数的形式拟合像移。Akira Iwasaki等人运用ASTER相机多谱段图像探测到了1.5 Hz处的像移[13]。Sarah S. Mattson等人利用LROC-NAC相机图像探测到6 Hz处的像移[14], 并采用HiRISE相机中红光波段图像捕捉到2 Hz处的像移[15]。孙涛等人采用MS-1卫星遥感图像检测到0.1 Hz和0.6 Hz的像移[16]。童小华和王密等人发现在资源三号卫星上存在0.6 Hz左右的像移[17-18]。

    基于遥感图像的像移测量方法选取焦面上主成像传感器所成图像为数据源, 测量结果能够反映成像时刻和成像位置处像移的真实状态, 且像移测量效果不受限于惯性测量设备, 人们关注的焦点逐渐从依赖于惯性测量设备的低频像移测量, 过渡到从遥感图像中挖掘高频像移信息的阶段, 各国学者纷纷利用遥感图像尝试对本国卫星的像移进行探测。值得注意的是, 相邻两片成像传感器的拼接区能够对同一目标景物先后成像2次, 从而形成具有相同目标景物的图像, 是该方法获取像移信息的关键[12-18]。然而, 对于推扫式空间相机而言, 具有相同目标景物的视差图像并非贯穿每次成像任务, 在成像初始阶段, 相邻两片成像传感器拼接区的投影范围不重合, 输出的遥感图像中无相同目标景物, 虽然无相同目标景物期间所占时间较短, 但位于每次成像的初始阶段, 该阶段像移的准确估计, 是成像初期在轨实时像移补偿的基本依据, 而成像初期的像移补偿效果直接影响整个拍摄阶段的成像质量, 因此, 无相同目标景物期间像移的准确估计至关重要。由于此期间所成的遥感图像中无相同目标景物, 单纯地依赖遥感图像并不能成功地反演像移信息, 本文提出基于遥感图像和工程参数的全局像移探测算法, 对无相同目标景物和有相同目标景物期间的像移进行全覆盖估计。

    1   无相同景物期间的像移估计

    1.1   TDICCD拼接区的成像特点

    空间相机焦面上通常存在多片CCD, 并以如图 1所示的交错拼接方式进行排布。在相邻两片CCD的拼接区往往存在数十列重叠像元[19-21], 正射成像时拼接区在地球表面的投影区域相互重合, 重合范围内的目标景物会被两片CCD的拼接区先后分时拍摄2次。假设2次成像的时间差为δ, 一次成像过程的起止时刻分别为0和Ts, 则在区间[δ, Ts-δ]内, 地球表面的目标景物会被1#CCD和2#CCD先后成像2次, 形成具有相同目标景物的视差图像。然而, 在区间[0, δ]内, 1#CCD的拍摄范围Region1不会被2#CCD捕捉到, 同理, 在区间[Ts-δ, Ts]内, 2#CCD的拍摄范围Region2也不会被1#CCD捕捉到。因此, 在每次成像任务的最初和最后δ期间, 相邻两片CCD拼接区视差图像中无相同的目标景物, 但最后δ期间的无相同景物区域对像移估计并不重要。

    图  1  CCD拼接区的成像特点
    Figure  1.  Imaging characteristics of CCD slicing areas
    下载: 全尺寸图片 幻灯片

    虽然在一次拍摄任务中, 无相同目标景物期间所占比例较少, 以本文实验所采用的XX-1号空间光学遥感器为例, 无相同目标景物期间的持续时间约为226 ms, 仅占一次拍摄时长的0.8%(由中科院长春光机所提供), 但是, 无相同目标景物期间处于每次拍摄任务的起始阶段, 起始阶段的像移准确估计, 是拍摄初期在轨实时像移补偿的基本依据, 而拍摄初期的像移补偿效果直接影响整个拍摄任务阶段的成像质量, 因此, 无相同目标景物期间像移的准确估计至关重要。

    1.2   无相同景物期间的像移获取

    作为像移的形成因素之一, 活动部件振动的带宽可以高达几百赫兹, 由此引起的像移带宽较宽, 尽管如此, 但是随着频率的增加, 像移的功率谱密度往往呈现下降的趋势[22], 像移的绝大部分能量集中在低频段[23]。此外, 对于CCD所成图像而言, 相邻两行图像之间的时间差与CCD的像元尺寸和飞行器所处的轨道高度等参数有关, 一般情况下, 高分辨率空间相机的行扫描频率可以达到上万赫兹[24]。相机的逐行扫描过程可以看作对像移的实时采样, 在上万赫兹的采样频率下, 高频像移能够被记录在CCD拼接区所成的两幅视差图像中, 并以相同目标景物在两幅图像中的位置偏移量的形式展现出来。基于上述原理, 该部分采用空间相机在轨运行期间实时采集的工程参数, 提取低频的像移信息, 并利用具有相同目标景物的视差图像获取位置偏移量数据, 构建基于拼接区图像和低频分量的目标函数, 用以衡量像移曲线与低频像移之间的偏差程度, 筛选无相同目标景物期间像移的最优估计, 如图 2所示。

    图  2  无相同目标景物期间的像移估计方案
    Figure  2.  Image motion estimation scheme during period without identical scenes
    下载: 全尺寸图片 幻灯片
    1.2.1   利用图像配准方法获取视差图像中位置偏移量

    像移描述了像点与焦面之间的相对运动, 由于相邻两片CCD的拼接区对同一目标景物的成像时刻不同, 而不同时刻像移的取值和方向[25]可能导致同一目标景物在拼接区所成的两幅视差图像中的位置存在偏差。位置偏移量描述了相同目标景物在两幅视差图像中的位置偏差程度, 在利用图像配准方法确定位置偏移量之前, 需要提取一次拍摄任务中具有相同目标景物的图像区域。根据上述内容可知, [0, Ts-δ]期间2#CCD拼接区与[δ, Ts]期间1#CCD拼接区所成的视差图像中具有相同的目标景物, 提取上述2个图像区域用于图像处理, 进而采用基于模块匹配和曲面拟合的图像配准方法, 得到一组位置偏移量序列{p(n)}N, 符号的定义同上。

    1.2.2   采用对地探测坐标变换公式计算低频像移

    工程参数包括卫星轨道高度、星下点经纬度、卫星三轴姿态角及角速度等数据。长春光机所王家骐院士提出的对地探测坐标变换公式, 已成功应用于国内多台高分辨率空间相机中[25], 结果表明该公式能够准确地将卫星在轨运行期间实时探测的工程参数转换为焦面像移。

    值得注意的是, 受限于各类工程参数传感设备的采样频率, 目前卫星对工程参数的更新频率约为每秒2次(由中科院长春光机所提供)。根据奈奎斯特采样定理可知, 由工程参数计算所得的像移数据中只包含二分之一采样频率以下的低频分量, 进而采用插值方法得到与位置偏移量长度相同的低频像移序列{y1(n)}N。

    1.2.3   建立基于拼接区图像和低频分量的目标函数并求解最小值点

    依据平方误差理论, 以低频像移序列{y1(n)}N和位置偏移量{p(n)}N为已知量, 建立如式(1)所示的目标函数, 用以衡量像移曲线与低频分量之间的偏差程度：

    $$ \begin{array}{l} F(y(1),y(2), \cdots ,y(D),\eta ) = {F_{{\rm{without}}}}(y(1),y(2), \cdots ,\\ y(D)) + {F_{{\rm{with}}}}(y(1),y(2), \cdots ,y(D),\eta ) \end{array} $$ (1)

    式中：Fwithout(y(1), y(2), …y(D))描述了一次拍摄任务所成的视差图像中, 无相同目标景物期间像移与低频分量之间的偏差程度; Fwith(y(1), y(2), …, y(D))用于评价有相同目标景物期间[δ, (η+1) ×δ]时间段内的像移与其低频分量之间的偏差程度; 其余符号的定义同上。

    根据平方误差和最小的原理, 本文构建无相同目标景物期间的目标函数：

    $$ \begin{array}{l} {F_{{\rm{without}}}}(y(1),y(2), \cdots ,y(D)) = \sum\limits_{n = 1}^D {{{\left[ {y(n) - {y_1}(n)} \right]}^2}} /\\ \sum\limits_{n = 1}^D {{y_1}} {(n)^2} \end{array} $$ (2)

    式中各符号的定义同上。有相同目标景物期间[δ, (+1)×δ]时间段内的目标函数如下：

    $$ \begin{array}{l} {F_{{\rm{with}}}}(y(1),y(2), \cdots ,y(D),\eta ) = \frac{{\sum\limits_{n = 1}^D {{{\left[ {y(n) + p(n) - {y_1}(n + D)} \right]}^2}} }}{{\sum\limits_{n = 1}^D {{y_1}(n + D)} }} + \cdots + \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\frac{{\sum\limits_{n = 1}^D {{{\left\{ {y(n) + p(n) + \cdots + p[n + (j - 1) \times D] - {y_1}(n + j \times D)} \right\}}^2}} }}{{\sum\limits_{n = 1}^D {{y_1}} {{(n + j \times D)}^2}}} + \cdots + \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\frac{{\sum\limits_{n = 1}^D {{{\left\{ {y(n) + p(n) + \cdots + p[n + (\eta - 1) \times D] - {y_1}(n + \eta \times D)} \right\}}^2}} }}{{\sum\limits_{n = 1}^D {{y_1}} {{(n + \eta \times D)}^2}}} \end{array} $$ (3)

    式中扩展系数η描述了函数F在有相同目标景物期间的覆盖度, η∈N*, N*为正整数集, 扩展系数η越大, 函数F在有相同目标景物期间的覆盖度越广, 对像移与其低频分量之间的偏差程度的约束越严格, 如图 3所示。下一步工作是针对扩展系数对无相同目标景物期间像移估计的影响进行研究。

    图  3  扩展系数对偏差约束程度的影响
    Figure  3.  Effect of expansion factor on deviation constraint
    下载: 全尺寸图片 幻灯片

    目标函数F衡量了像移曲线与低频分量之间的偏差程度, 函数值越小, 像移与低频分量之间的偏差度越低, 对应的无相同目标景物期间的像移更接近真实值。本文选取运算量最小的最速下降法筛选目标函数的最小值点Yopt, 作为无相同目标景物期间像移的最优估计, 即：

    $$ \begin{array}{*{20}{c}} {{Y_{{\rm{out}}}} = [y(1),y(2), \cdots ,y(D)]|{\rm{minimize}}}\\ {\{ F(y(1),y(2), \cdots ,y(D),\eta )\} } \end{array} $$ (4)

    2   有相同目标景物期间的像移计算

    由于相邻两片TDICCD的拼接区对同一目标景物的成像时刻不同, 像移的取值和方向可能导致同一目标景物在拼接区所成的两幅视差图像中的位置存在偏差, 如图 4所示。

    图  4  位置偏移量的形成过程
    Figure  4.  Formation of position offsets
    下载: 全尺寸图片 幻灯片

    位置偏移量衡量了同一目标景物在两幅视差图像中的偏移程度, 其与像移之间的关系如下：

    $$ y(t + \delta ) = y(t) + p(t)\;\;\;\;0 \le t \le {T_s} - \delta $$ (5)

    式中：y(t)和y(t+δ)分别为t和(t+δ)时刻的焦面像移; δ为TDICCD拼接区对同一目标景物的拍摄时间差; p(t)为t时刻的位置偏移量。将(5)式中的时间变量t离散处理后得到：

    $$ y(n + D) = y(n) + p(n)\;\;\;\;(n = 1,2, \cdots ,N) $$ (6)

    式中：y(n)为(n×Tp)时刻的像移值; p(n)为(n×Tp)时刻的位置偏移量; Tp为位置偏移量离散序列的采样周期; $D = \left\lfloor {\delta /{T_{\rm{p}}}} \right\rfloor ;N = \left\lfloor {{T_{\rm{s}}}/{T_{\rm{p}}}} \right\rfloor ;\delta $的定义同上; Ts为单次成像任务的持续时间。将无相同目标景物期间[0 δ]内的像移离散序列定义为

    $$ {Y_{{\rm{without}}}} = {[y(1),y(2), \cdots ,y(D)]^{\rm{T}}} $$ (7)

    有相同目标景物期间[δTs-δ]内的像移离散序列, 以连续的D个元素为一组进行分组处理, 则第1组像移为Y1=[y(D+1), y(D+2), …, y(2D)]T。根据(5)式可知, 第1组像移可以表示为

    $$ y(D + i) = y(i) + p(i)\;\;\;\;i = 1,2, \cdots ,D $$ (8)

    令位置偏移量P1=[p(1), p(2), …, p(D)]T, 可得：

    $$ {Y_1} = {Y_{{\rm{without}}}} + {P_1} $$ (9)

    同理, 第2组像移为Y2=[y(2D+1), y(2D+2), …, y(3D)]T。根据(5)式可知, 第2组像移可以表示为

    $$ \begin{array}{*{20}{c}} {y(2D + i) = y(D + i) + p(D + i)}\\ {i = 1,2, \cdots ,D} \end{array} $$ (10)

    将(8)式代入(10)式可得：

    $$ \begin{array}{*{20}{c}} {y(2D + i) = y(i) + p(i) + p(D + i)}\\ {i = 1,2, \cdots ,D} \end{array} $$ (11)

    令位置偏移量P2=[p(D+1), p(D+2), …, p(2D)]T, 则(11)式可以化简为

    $$ {Y_2} = {Y_{{\rm{without}}}} + {P_1} + {P_2} $$ (12)

    以此类推, 第k组像移可以表示为

    $$ \begin{array}{l} y(k \times D + i) = y(i) + p(i) + p(D + i) + p[(k - \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\left. {1) \times D + i} \right]\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;k = 1,2, \cdots ,K,i = 1,2, \cdots ,D \end{array} $$ (13)

    式中：总组数$K = \left\lfloor {N/D} \right\rfloor $; N和D的定义同上。将第k组像移和位置偏移量均表示为向量的形式:Yk={y(k×D+1), y(k×D+2), …, y[(k+1) D]}T, Pk={p[(k-1) D+1], p[(k-1) D+2], …, p(k×D)}T, 则(13)式可以化简为

    $$ {Y_k} = {Y_{{\rm{without }}}} + {P_1} + {P_2} + \cdots + {P_k}\;\;\;k = 1,2, \cdots ,K $$ (14)

    式中无相同目标景物期间的像移可采用本文上述方法估计, 位置偏移量数据可采用上述图像配准方法获得, 根据公式(14)可确定有相同目标景物期间的像移。

    3   实验及结果分析

    XX-1号空间光学遥感器焦面上存在5片TDICCD交错拼接排布, 拼接区存在40列重叠像元, 行扫描周期约为65 μs, 单次成像任务的时长约为29.18 s, 其中无相同目标景物期间位于最初的226 ms以内。本文选取视场中心相邻两片TDICCD所成的遥感图像为实验对象, 以北京(场景A)和云南(场景B)为研究区域, 利用本文算法估计像移, 并将结果分别与基于工程参数的方法和基于遥感图像的方法进行对比, 分析本文算法的有效性。

    图 5显示了本文算法和基于遥感图像方法的像移时域曲线。从图 5(a)和图 5(b)的局部曲线可以看出, 本文算法可检测的时间范围包含相机开拍最初的[0, 226 ms]范围, 即无相同目标景物区间, 而单纯利用遥感图像所测得的像移结果中不包含无相同目标景物区间。此外, 虽然场景A和场景B中两种方法的像移曲线大体趋势基本一致, 但仍然存在偏差, 且偏差主要集中于高频分量, 为此, 将像移测量结果分为低频和高频两部分。

    图  5  时域像移测量结果
    (RI:基于遥感图像的像移测量方法; EP:基于工程参数的像移计算方法; RIEP:基于遥感图像和工程参数的像移测量方法)
    Figure  5.  Results of image motion in time domain
    (RI: Image motion method based on remote images; EP: Image motion method based on engineering parameters; RIEP: Image motion method based on remote images and engineering parameters)
    下载: 全尺寸图片 幻灯片

    由于卫星每512 ms更新一次工程参数, 意味着单纯地利用工程参数, 最高可恢复0.98 Hz的像移(1/512 ms/2=0.98 Hz)。本实验中每40行视差图像提取一个位置偏移量数据, 相当于位置偏移量数据的采样频率为384.62 Hz(1/65 μs/40 lines=384.62 Hz), 则从遥感图像中最高可提取192.31 Hz的像移。为此, 将整个频率分为0~0.98 Hz低频和0.98 Hz~192.31 Hz高频2个区间。

    在低频区间, 将本文算法与基于工程参数的方法和基于遥感图像的方法进行对比, 讨论3种算法在低频区间测量结果的一致性。从图 6(a)和图 7(a)中的幅频曲线可以看出, 3种算法的峰值均出现在0.133 Hz处, 虽然幅值存在一定差异, 但基本可以确定该光学遥感器在对场景A和场景B成像期间, 焦面上存在0.133 Hz、幅值约为7 pixels的像移, 3种算法在低频区的像移测量结果基本一致, 能够证明本文算法对低频区像移测量的有效性。

    图  6  场景A的频域像移测量结果
    Figure  6.  Results of image motion in frequency domain for Scene A
    下载: 全尺寸图片 幻灯片
    图  7  场景B的频域像移测量结果
    Figure  7.  Results of image motion in frequency domain for Scene B
    下载: 全尺寸图片 幻灯片

    在高频区间, 将本文算法与单纯基于遥感图像的方法进行对比, 如图 6(b)和图 7(b)所示, 两种算法均存在若干峰值点, 从局部放大图可以看出, 两种算法在峰值及其附近频率点处的振幅差别较大, 而距离峰值较远的频率处的振幅基本一致。此外, 从表 1统计的峰值频率发现, 两种算法的峰值频率非常接近, 且都位于4.4 Hz的整数倍附近, 而4.4 Hz恰恰是本实验中相邻两片TDICCD对同一目标景物的成像时间间隔δ的倒数(1/δ=1/(65 μs/行×3 480行≈4.4 Hz)。这是由于频率等于或接近1/δ的像移经过时间间隔δ之后, 正好经历或接近整数倍周期, 像移的取值与时间间隔δ之前的取值相差很小, 导致同一目标景物在相邻两片TDICCD拼接区所成的两幅视差图像中的位置偏差很小, 进而导致频率等于或接近1/δ的整数倍的像移难以准确探测, 盲点一直是基于遥感图像的像移探测算法中普遍存在的问题[24]。

    表  1  像移测量的统计结果
    Table  1.  Statistical results of estimated image motion
    Frequency band /Hz Method Peaks’ frequencies/Hz and amplitude /pixel Detectable time range /s
    Scene A Scene B
    0~0.98 EP1) (0.133, 7.024) (0.133, 6.802) ——
    RI2) (0.133, 6.655) (0.133, 6.408) [0.226, 29.18]
    RIEP3) (0.133, 6.966) (0.133, 7.069) [0, 29.18]
    0.98~192.31 RI 4.31, 8.79, 13.22 Hz, … 4.43, 8.86, 13.30 Hz, …
    1.879, 0.568, 0.165 pixels 1.805, 0.153, 0.667 pixels ——
    RIEP 4.38, 8.81, 13.24 Hz, … 4.45, 8.91, 13.42 Hz, … ——
    0.569, 0.194, 0.064 pixels 1.099, 0.110, 0.148pixels
    Deviation reduction 65.59% 48.34% ——
    注：1)基于工程参数的像移测量方法; 2)基于遥感图像的像移测量方法; 3)基于遥感图像和工程参数的像移测量方法
    下载: 导出CSV 
    | 显示表格

    根据表 1的统计结果可知, 在场景A和场景B的两组实验中, 本文算法在盲点处的测量偏差分别下降了65.59%和48.34%。由此可见, 与现有算法单纯地从遥感图像中提取像移信息相比, 本文结合了空间相机在轨工作期间实时获取的工程参数, 从工程参数中提取低频像移信息, 并以最小方差为目标求解像移, 显著地削弱了盲点处的像移测量偏差。

    4   结论

    相邻两片成像传感器的拼接区能够对同一目标景物先后成像2次, 从而形成的图像中具有相同的目标景物, 这是基于遥感图像方法获取像移信息的关键。然而, 在成像初始阶段, 相邻两片成像传感器拼接区输出的遥感图像中并无相同的目标景物, 单纯地依赖遥感图像难以获取像移信息, 为此, 本文提出了基于遥感图像和工程参数的全局像移探测算法。利用国内XX-1号空间光学遥感器在轨实时拍摄的遥感图以及工程参数对算法进行了验证, 结果表明本文算法的可探测时间范围包含无相同目标景物阶段。此外, 在低频区, 本文算法与现有算法的像移测量结果基本吻合, 证明了本文算法对低频区像移测量的有效性; 在高频区, 与现有算法相同, 依然存在对频率等于或接近1/δ整数倍处的像移难以准确检测的问题, 但是, 在距离1/δ整数倍较远的频率点处的像移测量结果与现有方法基本一致, 证明了本文算法对高频区像移测量的有效性。另外, 本文算法显著地削弱了盲点处的像移测量偏差。以上分析表明, 除频率等于或接近1/δ整数倍的像移外, 本文算法能够对包含无相同目标景物期间的全局像移进行有效测量, 这对实现全局像移补偿, 进而削弱像移对像质的影响具有重要意义。

  • 图  1   CCD拼接区的成像特点

    Figure  1.   Imaging characteristics of CCD slicing areas

    下载: 全尺寸图片 幻灯片

    图  2   无相同目标景物期间的像移估计方案

    Figure  2.   Image motion estimation scheme during period without identical scenes

    下载: 全尺寸图片 幻灯片

    图  3   扩展系数对偏差约束程度的影响

    Figure  3.   Effect of expansion factor on deviation constraint

    下载: 全尺寸图片 幻灯片

    图  4   位置偏移量的形成过程

    Figure  4.   Formation of position offsets

    下载: 全尺寸图片 幻灯片

    图  5   时域像移测量结果

    (RI:基于遥感图像的像移测量方法; EP:基于工程参数的像移计算方法; RIEP:基于遥感图像和工程参数的像移测量方法)

    Figure  5.   Results of image motion in time domain

    (RI: Image motion method based on remote images; EP: Image motion method based on engineering parameters; RIEP: Image motion method based on remote images and engineering parameters)

    下载: 全尺寸图片 幻灯片

    图  6   场景A的频域像移测量结果

    Figure  6.   Results of image motion in frequency domain for Scene A

    下载: 全尺寸图片 幻灯片

    图  7   场景B的频域像移测量结果

    Figure  7.   Results of image motion in frequency domain for Scene B

    下载: 全尺寸图片 幻灯片

    表  1   像移测量的统计结果

    Table  1   Statistical results of estimated image motion

    Frequency band /Hz Method Peaks’ frequencies/Hz and amplitude /pixel Detectable time range /s
    Scene A Scene B
    0~0.98 EP1) (0.133, 7.024) (0.133, 6.802) ——
    RI2) (0.133, 6.655) (0.133, 6.408) [0.226, 29.18]
    RIEP3) (0.133, 6.966) (0.133, 7.069) [0, 29.18]
    0.98~192.31 RI 4.31, 8.79, 13.22 Hz, … 4.43, 8.86, 13.30 Hz, …
    1.879, 0.568, 0.165 pixels 1.805, 0.153, 0.667 pixels ——
    RIEP 4.38, 8.81, 13.24 Hz, … 4.45, 8.91, 13.42 Hz, … ——
    0.569, 0.194, 0.064 pixels 1.099, 0.110, 0.148pixels
    Deviation reduction 65.59% 48.34% ——
    注：1)基于工程参数的像移测量方法; 2)基于遥感图像的像移测量方法; 3)基于遥感图像和工程参数的像移测量方法
    下载: 导出CSV
    • 参考文献(25)
  • [1]

    MILLER B M, RUBINOVICH E Y. Image motion compensation at charge-coupled device photographing in delay[J].Integration Mode. Automation and Remote Control, 2007, 68(3): 564-571. doi: 10.1134-S0005117907030162/
    [2]

    JANSCHEK K, TCHERNYKH V, DYBLENKO S. Integrated camera motion compensation by real-time image motion tracking and image deconvolution[C]//2005 IEEE/ASME International Conference on Advanced Intelligent Mechatronics. USA: IEEE, 2005: 1437-1444.
    [3] 王战, 韩诚山, 李祥之, 等.视轴角控制误差对航天相机成像质量的影响分析[J].应用光学, 2015, 36(1):35-40. http://www.yygx.net/CN/abstract/abstract10548.shtml

    WANG Zhan, HAN Chengshan, LI Xiangzhi, et al. Effect of control error of boresight angle on imaging quality of space camera[J].Journal of Applied Optics, 2015, 36(1):35-40. http://www.yygx.net/CN/abstract/abstract10548.shtml
    [4]

    LI Zhijun, CHEN Xinglong. Study of image motion compensation in spectral imaging system[C]//Eighth international symposium on advanced optical manufacturing and testing technology. USA: SPIE, 2016: 968217.
    [5] 张景国, 丁亚林, 田海英, 等.一种彩色面阵CCD测绘相机前向像移的补偿方法[J].应用光学, 2011, 32(3):460-463. http://www.yygx.net/CN/abstract/abstract9736.shtml

    ZHANG Jingguo, DING Yalin, TIAN Haiying, et al. Compensation for forward image motion of color area array CCD mapping camera[J].Journal of Applied Optics, 2011, 32(3):460-463. http://www.yygx.net/CN/abstract/abstract9736.shtml
    [6]

    QIAO M, CAO J, WANG H. Galvanometer control system design of aerial camera motion compensation[C]//AOPC 2015: Telescope and Space Optical Instrumentation.USA: International Society for Optics and Photonics, 2015: 6-12.
    [7] 王家骐, 于平, 颜昌翔, 航天光学遥感器像移速度矢计算数学模型[J].光学学报, 2005, 24(12):1585-1589 http://d.old.wanfangdata.com.cn/Periodical/gxxb200412001

    WANG Jiaqi, YU Ping, YAN Changxiang. Space optical remote sensor image motion velocity vector computation modeling[J]. Acta Optica Sinica, 2005, 24(12):1585-1589 http://d.old.wanfangdata.com.cn/Periodical/gxxb200412001
    [8]

    TCHERNYKH V, BECK M, JANSCHEK K. Optical correlator based optical flow processor for real time visual navigation[M].London: InTech Open Access Publisher, 2007: 223-236.
    [9]

    JANSCHEK K, TCHERNYKH V, DYBLENKO S. Performance analysis of opto-mechatronic image stabilization for a compact space camera[J]. Control Engineering Practice, 2007, 15(3):333-347. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=bc6fae963c41af7497111d363e1965e8
    [10] 戴朝约, 葛鹏, 李奇, 等.基于双相位编码联合变换相关器的图像位移探测算法[J].光学学报, 2011, 31(7):127-133. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=gxxb201107021

    DAI Zhaoyue, GE Peng, LI Qi. Image displacement measurement using double phase-encoding joint transform correlator[J]. Acta Optica Sinica, 2011, 31(7):127-133. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=gxxb201107021
    [11] 樊超, 李英才, 靳婷, 等.联合变换相关法测量空间相机像移的抗噪性研究[J].宇航学报, 2011, 32(12):2635-2641. http://d.old.wanfangdata.com.cn/Periodical/yhxb201112025

    FAN C, LI Y C, JIN T, et al. Noise immunity research on the measurement method of image motion of the space camera based on optical correlator[J].Journal of Astronautics, 2011, 32(12):2635-2641. http://d.old.wanfangdata.com.cn/Periodical/yhxb201112025
    [12] 陶淑苹.航天CMOS相机数字域TDI技术研究[D].北京: 中国科学院大学, 2013: 1-2.

    TAO Shuping. Research on the TDI technology in the digital domain for CMOS space cameras[D]. Beijing: Chinese Academy of Sciences University, 2013: 1-2.
    [13]

    YU T, IWASAKI A. Correction of attitude fluctuation of terra spacecraft using ASTER/SWIR imagery with parallaxobservation[J]. IEEE Transactions on Geoscience & Remote Sensing, 2008, 46(1):222-227.
    [14]

    MATTSON S, BOYD A, KIRK R L, et al. HiJACK: Correcting spacecraft jitter in HiRISE images of mars[J]. Health Management Technology, 2009, 33(5):A162. http://d.old.wanfangdata.com.cn/Periodical/rjxb200004014
    [15]

    MATTSON S, BARTELS A, BOYD A, et al. Continuing analysis of spacecraft jitter in LROC-NAC[J]. American Naturalist, 2011, 152(3):321-327.
    [16]

    TONG X, YE Z, XU Y, et al. Framework of jitter detection and compensation for high resolution satellites[J]. Remote Sensing, 2014, 6(5):3944-3964. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=MDPI000000124009
    [17]

    TONG X, LI L, LIU S, et al. Detection and estimation of ZY-3 three-line array image distortions caused by attitude oscillation[J]. ISPRS J. Photogramm. Rem. Sens., 2015, 101(10):291-309. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=4a85c81d0bf079392ecb515248d65abb
    [18]

    TONG X, XU Y, YE Z, et al. Attitude oscillation detection of the ZY-3 satellite by using multispectral parallax images[J]. IEEE Trans. Geosci. Rem. Sens, 2015, 53(6), 3522-3534. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=769d7ab7d382437916e11382e6b5342b
    [19]

    LI Y C, DONG J H, et al.Detailed analysis of the HIRISE FPA[J]. Key Engineering Materials, 2013, 552:64-68. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=10.4028/www.scientific.net/KEM.552.64
    [20]

    HUANG L, SUN T, ZHANG T, et al. Application of DIROEF algorithm for noncollinear multiple CCD array stitching of the Chinese mapping satellite 1-02[J].IEEE Geosci. Remote Sens. Lett., 2017, 14(99):1-5. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=f05b4f9848075f1fffa46caa08934ff8
    [21]

    JIAO S, FU D.An overview of the remote sensors of Chinese ZY-1 satellite: CCD camera and multi-spectral scanner[C].USA: IEEE International Conferences on Info-Tech. and Info-Net, 2001: 6-11.
    [22]

    PRASHANT A R, MADHESWARAN M, KARTIK V, et al. System development for micro vibration measurements on spacecraft[C]. USA: IEEE International Conference on ICCICCT, 2016: 98-103.
    [23]

    PARK G, LEE D O, HAN J H. Development of multi-degree-of-freedom microvibration emulatorfor efficient jitter test of spacecraft[J]. Journal of Intelligent Material Systems & Structures, 2014, 25(9):1069-1081.
    [24]

    MCEWEN A, BANKS M, Baugh N, et al. The high resolution imaging science experiment (HiRISE)during MRO's primary science phase (PSP)[J]. Icarus, 2010, 205(1):2-37. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=be23cc0b68e61732f424f2c9b130f2fb
    [25]

    WANG J, YU P, YAN C, et al. Space optical remote sensor image motion velocity vector computational modeling, error budget and synthesis[J].Chinese Optics Letters, 2005, 3(7):414-417. http://d.old.wanfangdata.com.cn/Periodical/zgjg-e200507014
    • 相关文章
    • 施引文献(16)

  • 期刊类型引用(9)

    1. 张坤，李京宸，孙思，谌庆荣，杨帆. 基于单传感器的三波段共口径光学系统设计. 中国光学(中英文). 2024(02): 382-389 . 百度学术
    2. 贾永丹，孙建，聂云松. 高光学效率可见红外共口径/视场离轴系统设计. 航天返回与遥感. 2023(01): 126-134 . 百度学术
    3. 彭礼威，张明磊，陈宇，蒋露松，董大鹏. 共孔径多模遥感相机光学系统设计. 红外与激光工程. 2023(10): 266-275 . 百度学术
    4. 彭礼威，陈宇，董大鹏，谭勇. 多波段光谱接收与可见光成像共孔径光学系统设计. 红外与激光工程. 2022(07): 258-268 . 百度学术
    5. 党更明，高明，吕宏. 双波段共口径连续变焦光学系统设计. 西安工业大学学报. 2022(06): 578-587 . 百度学术
    6. 任兰旭，谭庆贵，张缓缓，呼新荣，李帅. 主三镜一体化离轴三反光学天线设计. 应用光学. 2021(01): 23-29 . 本站查看
    7. 马占鹏，薛要克，沈阳，赵春晖，周藏龙，林上民，王虎. 可见/红外双色共孔径光学系统设计及实现. 光子学报. 2021(05): 32-40 . 百度学术
    8. 刘尊辈，蔡毅，刘福平，马俊卉，张猛蛟，王岭雪. 分孔径紫外多波段成像光学系统设计. 中国光学. 2021(06): 1476-1485 . 百度学术
    9. 宋晓，高明，吕宏. 基于双波段共口径的弹着点位置检测光学系统设计. 西安工业大学学报. 2021(06): 649-659 . 百度学术

    其他类型引用(7)

    • 资源附件(0)
图(7)  /  表(1)
计量
  • 文章访问数:  831
  • HTML全文浏览量:  272
  • PDF下载量:  27
  • 被引次数: 16
出版历程
  • 收稿日期:  2019-05-15
  • 修回日期:  2019-05-30
  • 网络出版日期:  2020-03-30
  • 刊出日期:  2019-08-31

目录

摘要
HTML全文

  • 引言

  • 1   无相同景物期间的像移估计

  • 1.1   TDICCD拼接区的成像特点

  • 1.2   无相同景物期间的像移获取

  • 1.2.1   利用图像配准方法获取视差图像中位置偏移量
  • 1.2.2   采用对地探测坐标变换公式计算低频像移
  • 1.2.3   建立基于拼接区图像和低频分量的目标函数并求解最小值点

  • 2   有相同目标景物期间的像移计算

  • 3   实验及结果分析

  • 4   结论

参考文献(25)
相关文章
施引文献(16)
资源附件(0)

/

返回文章
返回

相关数据库

广告合作

友情链接

帮助中心

扫描关注本刊微信平台

您是第  位访问者，欢迎！

地址: 西安市电子三路西段9号 邮政编码: 710065 联系电话: 029-88288172

版权所有 © 《应用光学》编辑部

陕公网安备 61011302001501号       陕ICP备19002862号-1

北京仁和汇智信息技术有限公司 开发  技术支持: info@rhhz.net   百度统计