基于离焦图像复原的光学设备实时视频对焦方法

武拥军, 武鹏, 方俊彬, 陈哲

武拥军, 武鹏, 方俊彬, 陈哲. 基于离焦图像复原的光学设备实时视频对焦方法[J]. 应用光学, 2020, 41(1): 43-54. DOI: 10.5768/JAO202041.0101007
引用本文: 武拥军, 武鹏, 方俊彬, 陈哲. 基于离焦图像复原的光学设备实时视频对焦方法[J]. 应用光学, 2020, 41(1): 43-54. DOI: 10.5768/JAO202041.0101007
WU YongJun, WU Peng, FANG Junbin, CHEN Zhe. Real-time video focusing method for optical equipment based on defocus image restoration[J]. Journal of Applied Optics, 2020, 41(1): 43-54. DOI: 10.5768/JAO202041.0101007
Citation: WU YongJun, WU Peng, FANG Junbin, CHEN Zhe. Real-time video focusing method for optical equipment based on defocus image restoration[J]. Journal of Applied Optics, 2020, 41(1): 43-54. DOI: 10.5768/JAO202041.0101007

基于离焦图像复原的光学设备实时视频对焦方法

基金项目: 广州市产业领军人才聚集工程项目(CXLJTD-201607)
详细信息
    作者简介:

    武拥军(1969−),男,高级工程师,主要从事航天光学测量技术研究。E-mail:13363435734@163.com

  • 中图分类号: TN201

Real-time video focusing method for optical equipment based on defocus image restoration

  • 摘要: 针对大口径光学设备使用过程中因传感器靶面离焦导致的图像模糊问题,从图像复原方法入手,推导光学设备的离焦点扩散函数和离焦传递函数,提出图像离焦程度判断方法,运用爬山法、逆滤波方法,寻找最佳离焦量值和方向,复原模糊图像为清晰图像,给出了大口径光学设备的实时视频对焦方法,并进行实验验证。结果表明该方法在外场光学设备的自动调焦中具有重要的推广应用价值。
    Abstract: Aiming at the image blurring problem caused by defocusing of sensor target in the use of large-aperture optical equipment, from the image restoration method, the defocus diffusion function and defocus transfer function of optical equipment were deduced, the judgment method of image defocus degree was proposed, the mountain climbing and the inverse filtering method were used to find the best defocus value and direction and restore the blurred image into the clear image. The real-time video focusing method of large-aperture optical equipment was given and verified by experiments. The results show that this method has important promotion and application value in automatic focusing of the outfield optical equipment.
  • 大口径光学设备主要用于外场远距离目标的监视和测量,其口径大、焦深短、调焦量程大,精准对焦相对较难。在使用中,常常会遇到目标与光学设备之间的距离未知、传感器靶面偏离理想像面位置较大、图像因离焦而模糊不清问题。针对大口径光学设备的离焦问题,传统的手动对焦方法依靠人眼确定对焦限度,精度低,很难达到图像质量最佳;目前通用的计算机视觉调焦方法[1-2]需要在整个量程内来回调整调焦机构寻找最佳点,对于调焦量程大的大口径光学设备,调焦速度慢,调整过程中出现模糊图像,难以做到实时动态运行。随着一些图像复原方法的出现,建立光学设备的退化模型,利用传统图像复原方法[3-4]对图像进行逆卷积处理,可以将模糊图像还原为清晰图像。目前,国内外还没有成像设备自我实时测量离焦量大小和方向的方法[3]。外场大口径光学设备使用中,无法实时测量离焦量的大小和方向,因此,直接建立准确的离焦退化模型非常困难。

    本文从光学镜头的成像原理出发,按照焦点附近光场变化规律和焦深变化范围,以一定的周期间隔选择某些假想的离焦量值,推算相应的离焦点扩散函数、相干光传递函数和非相干光传递函数,提出图像离焦程度判断方法,运用爬山法[2]、逆滤波[3-7]和离焦程度判断法,寻找大口径光学设备拍摄目标时刻的最佳离焦量值和方向,对模糊图像给予复原。依据计算得到的离焦量大小和方向,不需要在整个量程内来回调整调焦机构寻找最佳点,能很快将调焦机构调整到最佳位置点,调整过程中设备一直显示清晰图像,可以实现大口径光学设备的实时精准对焦。

    无穷远距离目标的光源以发散光束经过光学设备镜头之后,入射到光学设备前,形成汇聚光波[2],在焦面上形成了点像。光波传播与成像过程见图1所示,从物到像经过了4个过程,物面$\Sigma 1 $产生的物光波,经自由空间传播到达光学系统前主面$\Sigma $2,光学系统的光瞳对光束限制,再经透镜传播之后到达后主面$\Sigma $3,再经自由传播到达实际像面$\Sigma $5,形成像面。

    图  1  物平面光波经透镜到像的传播过程方框图
    Figure  1.  Block diagram of light propagation from object to its image through the the lens

    光学镜头的离焦成像的光路图见图2所示,图中:$\Sigma $1为物平面;$\Sigma $2为透镜前主面;$\Sigma $3为透镜后主面;$\Sigma $4为理想高斯像平面;$\Sigma $5为实际像面;$u$为物距;$v$为理想像距(即高斯像距);${d_i}$为实际像距;$\delta $为平面$\Sigma $4与平面$\Sigma $5之间的距离,$\delta $定义为离焦量,一般$\delta $$\ll $$v$$f$为镜头组等效焦距;$D$为光学系统的入射光瞳口径。

    图  2  光传播与成像示意图
    Figure  2.  Schematic diagram of light propagation and imaging

    根据离焦量定义,有:

    $$ \delta ={d_i}-v $$ (1)

    于是,由(1)式得:

    $$\frac{1}{{{d_i}}} = \frac{1}{{v + \delta }} \approx \frac{1}{v} - \frac{\delta }{{{v^2}}}$$ (2)

    物面$ \Sigma $1的物体点分布光波用函数${u_o}(\xi ,\eta )$表示,ξ为横坐标,η为纵坐标;光学系统的光瞳可通光瞳函数$p(\xi ',\eta ')$表示,ξ′为横坐标,η′为纵坐标;实际像平面$ \Sigma$5上形成的像点分布函数为Ψi(x, y),x为横坐标,y为纵坐标。

    光学设备的离焦退化模型就是光学成像镜头的点扩散函数和传递函数,成像波段为可见光,光学系统等效为透镜。

    设物体的平均光波波长为λ,光波的坡印廷矢量k=$\dfrac{{2 {\text{π}} }}{\lambda }$,像平面空间坐标为(xy)。结合图2的成像过程,依据透镜的位相变换和夫琅禾费衍射理论公式[8]可得:

    $$ \begin{aligned} {\psi _i}\left( {x,y} \right) \approx & \frac{{k \cdot {A_0} \cdot {D^2} \cdot {t_0}}}{{4 \cdot {v^2}}}\exp \left[ {{\rm j}\frac{{\text{π}} }{{\lambda v}}\left( {{x^2} + {y^2}} \right)} \right] \cdot\\ & \int {\int\limits_{ - \infty }^{ + \infty } {\int {\int {{u_o}\left( {\xi ,\eta } \right)p\left( {\xi ',\eta '} \right)} } } }\cdot\\ & \exp \left\{ {{\rm j}\frac{{\text{π}} }{\lambda }\left[ {\left( {\frac{1}{u} + \frac{1}{{{d_i}}} - \frac{1}{f}} \right)\left( {{{\xi '}^2} + {{\eta '}^2}} \right) + \frac{1}{u}\left( {{\xi ^2} + {\eta ^2}} \right)} \right]} \right\}\cdot\\ & \exp \left\{ \!{{\rm j}\frac{{2{\text{π}} }}{\lambda }\left[ {\left( {\frac{\xi }{u} + \frac{x}{{{d_i}}}} \right)\xi ' \! + \! \left( {\frac{\eta }{u} + \frac{y}{{{d_i}}}} \right)\eta '} \right]} \right\} \!\! {\rm d}\xi {\rm d}{\eta} {\rm d}\xi '{\rm d}{\eta}' \end{aligned} $$ (3)

    式中j为虚宗量。

    根据高斯成像公式,理想像的垂直放大倍率为

    $$M = \frac{v}{u}$$ (4)

    像平面(xy)处的场只与物平面上对应点近旁一个小区域有关,这时exp因子的宗量变化不大于几分之一弧度,因而可采用(5)式近似:

    $${M^2}\left( {{\xi ^2} + {\eta ^2}} \right)\approx{x^2} + {y^2} $$ (5)

    将(1)、(2)、(4)、(5)式代入(3)式,变量置换M ξη0ξ0,整理后得:

    $$\begin{aligned} {\psi _i}(x,y)= & - \frac{{k \cdot {A_0} \cdot {D^2} \cdot {\tau _0}}}{{4 \cdot {\rm j} \cdot {v^2}{M^2}}}\exp ( - {\rm j}k\delta ) \cdot \\ & \iint\limits_{{\Sigma _1}} {{u_i}({\xi _0},{\eta _0}){\rm d}{\xi _0}{\rm d}{\eta _0}}\iint\limits_{{\Sigma _3}} {\exp \left[ { - {\rm j}\frac{{{\text{π}} \delta }}{{\lambda {v^2}}}\left( {{{\xi '}^2} + {{\eta '}^2}} \right)} \right]}\cdot \\ & \exp \left\{ { - {\rm j}\frac{{2{\text{π}} }}{{\lambda v}}\left[ {\left( {x - {\xi _0}} \right)\xi ' + \left( {y - {\eta _0}} \right)\eta '} \right]} \right\}{\rm d}\xi '{\rm d}\eta ' \end{aligned} $$ (6)

    其中:积分区域$\Sigma $3为直径为D的圆面;$\Sigma $1表示目标区域;$\Sigma $4表示理想像区域(高斯像面)。令

    $$ \begin{aligned} h(x - {\xi _0},y - {\eta _0},\delta ) = & - \frac{{k \cdot {A_0} \cdot {D^2} \cdot {\tau _0}}}{{4 \cdot {\rm j} \cdot {v^2}{M^2}}} \exp ( - {\rm j}k\delta ) \cdot \\ & \iint\limits_{{\Sigma _4}} {\exp \left[ { - {\rm j}\frac{{{\text{π}} \delta }}{{\lambda {v^2}}}\left( {{{\xi '}^2} + {{\eta '}^2}} \right)} \right]} \exp \left\{ { - {\rm j}\frac{{2{\text{π}} }}{{\lambda v}}}\right. \cdot \\ & \left. {\left[ {\left( {x - {\xi _0}} \right)\xi ' \! + \! \left( {y - {\eta _0}} \right)\eta '} \right]} \right\}{\rm d}\xi '{\rm d}\eta ' \end{aligned} $$ (7)

    作变量代换之后,(7)式可变形为

    $$ \!\!{\psi _i}(x,y,\delta ) =\iint\limits_{{\Sigma _4}} {{u_i}({\xi _0},{\eta _0})h(x - {\xi _0},y - {\eta _0},\delta ){\rm d}\xi {\rm d}\eta }\;\;\;\;\;\; $$ (8)

    式中$h({\xi _0} - x,{\eta _0} - y)$为光学设备的离焦退化模型的点扩散函数$h\left( {x,y} \right)$的卷积表示,是实际像函数${\psi _i}(x,y)$与理想像函数${u_i}(x,y)$之间关系,表示从高斯像面理想像函数到实际物平面像函数的点扩散函数。令E0为光波的幅度,E0取为

    $$ {E_0} = - \frac{{k \cdot {A_0} \cdot {D^2} \cdot {\tau _0}}}{{4{\rm j} \cdot {v^2} \cdot {M^2}}} \;\; \exp ( - {\rm j}k\delta ) $$

    则有:

    $$ \begin{split} h\left( {x,y,\delta } \right) = & {E_0} \iint\limits_{{\Sigma _4}} {\exp \left[ { - {\rm j}\frac{{{\text{π}} \delta }}{{\lambda {v^2}}}\left( {{{\xi '}^2} + {{\eta '}^2}} \right)} \right]} \cdot \\ & \exp \left\{ { - {\rm j}\frac{{2{\text{π}} }}{{\lambda v}}\left[ {x\xi ' + y\eta '} \right]} \right\}{\rm d}\xi '{\rm d}\eta ' \end{split} $$ (9)

    引入新坐标,令

    $$ \left\{ {\begin{array}{*{20}{c}} {x = r \cdot \cos \psi } \\ {y = r \cdot \sin \psi } \end{array}} \right. {\text{及}}\left\{ {\begin{array}{*{20}{c}} {\xi ' = \dfrac{D}{2}\tau \cos \theta } \\ {\eta ' = \dfrac{D}{2}\tau \sin \theta } \end{array}} \right. $$

    其中$r = \sqrt {{x^2} + {y^2}} $,表示像平面点到像面中心(光轴)的距离。代入(9)式并归一化得:

    $$\begin{aligned} \!\!h\left( {r,\delta } \right) = & {E_0} \cdot 2{\text{π}} \int\limits_0^1 {{J_0}\left( {{\text{π}} \frac{{D \cdot r}}{{v \cdot \lambda }}\tau } \right)}\cdot \exp \left( { - {\rm j}\frac{{{\text{π}} \cdot {D^2} \cdot \delta }}{{4{v^2} \cdot \lambda }}{\tau ^2}} \right)\tau {\rm d}\tau = \\ & {E_0} \cdot \left[ {c(r,\delta ) +{\rm j} \cdot s(r,\delta )} \right] \end{aligned} $$ (10)

    (10)式为推导得出的光学成像镜头离焦退化图像的点扩散函数形式,式中:D为光学设备入射孔径;v为理想像距;δ 为离焦量; λ为光的平均波长。对于物体上的点光源,在实际像面的光幅度分布函数为可以看出,其点像扩散函数具有圆对称性。(10)式中:

    $${J_0}\left( x \right) = \int\limits_0^{2{\text{π}} } {\exp \left[ { - {\rm j}x\cos \left( {\theta - \psi } \right)} \right]{\rm d}\theta } $$ (11)
    $$c(r,\delta ) = 2{\text{π}} \int\limits_0^1 {{J_0}\left( {\frac{D}{v} \cdot \frac{r}{\lambda }{\text{π}} \tau } \right)\cos \left( {\frac{1}{4}\frac{{{D^2}}}{{{v^2}}} \cdot \frac{\delta }{\lambda } \cdot {\text{π}} \cdot {\tau ^2}} \right)\tau \cdot {\rm d}\tau } $$ (12)
    $$s(r,\delta ) = 2{\text{π}} \int\limits_0^1 {{J_0}\left( {\frac{D}{v} \cdot \frac{r}{\lambda }{\text{π}} \tau } \right)\sin \left( {\frac{1}{4}\frac{{{D^2}}}{{{v^2}}} \cdot \frac{\delta }{\lambda } \cdot {\text{π}} \cdot {\tau ^2}} \right)\tau \cdot {\rm d}\tau } $$ (13)

    ${J_0}\left( x \right)$为0阶贝塞尔函数[9]x为自变量。令光轴向变量 ω1

    $${\omega _1} = \frac{{{\text{π}} \cdot {D^2} \cdot \delta }}{{2{v^2} \cdot \lambda }}$$ (14)

    ${I_0} = {\left| {{E_0}} \right|^2}$I0表示光的强度。当像面点与中心的距离r=0时,光轴上的光强为

    $$ I(0,\delta ) = {\left| {h\left( {0,\delta } \right)} \right|^2} = {I_0} {\left| {\frac{{\sin \left( {\dfrac{{{\omega _1}}}{4}} \right)}}{{\left( {\dfrac{{{\omega _1}}}{4}} \right)}}} \right|^2} $$ (15)

    (15)式中,当$ - 3.2 \leqslant {\omega _1} \leqslant 3.2$时,光强I/I0下降20%,于是焦深ε[2]有:

    $$\varepsilon = \pm 12.8\frac{\lambda }{{2{\text{π}} }}{\left( {\frac{v}{D}} \right)^2}$$ (16)

    离焦量不超过焦深(即$\delta \leqslant \varepsilon $)时,不影响像面清晰度;超出焦深(即$\delta \geqslant \varepsilon $)时就会影响像面的清晰度。由于点扩散函数具有圆对称性,因此我们取某一方向进行计算。设某一方向空间量化尺寸(即像元尺寸)为b,当前位置点的像元数为N

    $$r = N \cdot b$$ (17)

    令图像径向变量ω0

    $${\omega _0} = \left( {\frac{D}{v}} \right) \cdot \left( {\frac{b}{\lambda }} \right){\text{π}} $$ (18)

    则(12)式、(13)式变为

    $$c\left( {N,{\omega _1}} \right) = 2{\text{π}} \int\limits_0^1 {{J_0}\left( {N{\omega _0}\tau } \right)\cos \left( {\frac{{{\omega _1}}}{2}{\tau ^2}} \right) \cdot \tau {\rm d}\tau } $$ (19)
    $$s\left( {N,{\omega _1}} \right) = 2{\text{π}} \int\limits_0^1 {{J_0}\left( {N{\omega _0}\tau } \right)\sin \left( {\frac{{{\omega _1}}}{2}{\tau ^2}} \right) \cdot \tau {\rm d}\tau } $$ (20)

    当离焦量δ=0时,焦面上的点像衍射图像为

    $$ I\left( {r,0} \right) = {\left| {h\left( {r,0} \right)} \right|^2} = {I_0}{\left| {\frac{{{J_1}(N{\omega _0})}}{{N{\omega _0}}}} \right|^2} $$ (21)

    式中${J_1}\left( x \right)$为1阶贝塞尔函数[2]。物体上的点光源,在像面的点像幅度扩散函数为

    $$h(N,{\omega _1}) = {E_0} \cdot \left[ {c(N,{\omega _1}) + {\rm j} \cdot s(N,{\omega _1})} \right]$$ (22)

    物体上的点光源,在像面的点像强度扩散函数为

    $$I(r,\delta ) = {\left| {h(r,\delta )} \right|^2} = {I_0}\left[ {{c^2}\left(N,\frac{{{\omega _1}}}{2}\right) + {s^2}\left(N,\frac{{{\omega _1}}}{2}\right)} \right]$$ (23)

    取像面空间坐标$ x$$y$相对应的空间频谱为${F_x}$${F_{\rm{y}}}$,根据传递函数定义[10],传递函数为点扩散函数的傅里叶变换:

    $$ \tilde H({F_x},{F_y},\delta )=FT\left[ {h(x,y,\delta )} \right] $$ (24)

    $r = \sqrt {{x^2} + {y^2}} $$\rho = \sqrt {{F_x}^2 + {F_y}^2} $和(10)式代入(24)式得:

    $$ \begin{split} {H_c}(\rho ,\delta ) = &FT\left[ {h(r,\delta )} \right] =\\& FT\left[ {c(N,{\omega _1}) + {\rm j} \cdot s(N,{\omega _1})} \right]=\\ & {H_c}{(\rho ,\delta )_{\rm re}} +{\rm j} \cdot {H_c}{(\rho ,\delta )_{\rm im}} \end{split} $$ (25)

    式中:

    $$\begin{aligned} &{{H_c}{(\rho ,\delta )_{\rm{re}}} = FT{\left[ {c(N,{\omega _1})} \right]_{\rm re}} - FT{[s(N,{\omega _1})]_{\rm im}}}\\ &{{H_c}{(\rho ,\delta )_{\rm{im}}} = FT{\left[ {s(N,{\omega _1})} \right]_{\rm re}} + FT{\left[ {c(N,{\omega _1})} \right]_{\rm im}}} \end{aligned} $$

    下标re表示实部,下标im 表示虚部。

    存在波像差的非相干光照明下传递函数[10]

    $$ \tilde H\left( {{F_x},{F_y}} \right) = \frac{1}{{\displaystyle\iint\limits_{\alpha \left( {0,0} \right)} {{\rm d}x{\rm d}y}}} \iint\limits_{\alpha \left( {{f_x},{f_y}} \right)} {\exp \left[ {{\rm j}k\Delta \omega (x,y)} \right]{\rm d}x{\rm d}y} $$ (26)

    式中$\Delta \omega (x,y)$为光学成像系统的波像差,根据像差光学系统的频谱分析[5],离焦的波像差近似计算为[5]

    $$\Delta \omega (x,y) = \frac{1}{2}{\left( {\frac{D}{f}} \right)^2}\delta \frac{{x \cdot {F_x} + y \cdot {F_y}}}{{{\rho _0}}}$$ (27)

    式中:${\rho _0} = \dfrac{D}{{\lambda \cdot f}}$ρ0为离焦量δ为0的光学系统的截止频率;xy为积分变量;D为光学系统入射孔径;f 为光学镜头焦距。(27)式代入(26)式得:

    $$\tilde H\left( {{F_x},{F_y}} \right) = \frac{1}{{\text{π}} }\iint\limits_{\alpha \left( {{F_x},{F_y}} \right)} {\exp \left[ {{\rm j}k\frac{1}{2}{{\left( {\frac{D}{f}} \right)}^2}\delta \frac{{x \cdot {F_x} + y \cdot {F_y}}}{{{\rho _0}}}} \right]{\rm d}x{\rm d}y}$$ (28)

    式中$\alpha ({F_x},{F_y})$是两个错开$(\lambda {d_i}\rho )$的光学系统入射光瞳重合部分,图3中的阴影部分为积分区间。取${\rm tg}i = - {{{{F_y}} / F}_x}$后,将xy坐标系顺时针旋转i角度到坐标系ζη

    图  3  积分区间$\Sigma $示意图
    Figure  3.  Sketch map of integral interval $\Sigma $
    $$\left[ {\begin{array}{*{20}{c}} \xi \\ \eta \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {\cos i}&{ - \sin i} \\ {\sin i}&{\cos i} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} x \\ y \end{array}} \right]$$ (29)

    由(29)式得:

    $$\!\!\!\!\!\!\!{\rm d}x{\rm d}y = \frac{{\partial (x,y)}}{{\partial (\xi ,\eta )}}{\rm d}\xi {\rm d}\eta = \left| {\begin{array}{*{20}{c}} {\cos i}&{\sin i} \\ { - \sin i}&{\cos i} \end{array}} \right|{\rm d}\xi {\rm d}\eta = {\rm d}\xi {\rm d}\eta\;\;\;\;\;\;\;\;\;\; $$ (30)

    $\alpha ' = {\text{π}} {\left( {\dfrac{D}{f}} \right)^2}\left( {\dfrac{\delta }{\lambda }} \right)\dfrac{{{F_x}}}{{{\rho _0}}}$$\; \beta ' = {\text{π}} {\left( {\dfrac{D}{f}} \right)^2}\left( {\dfrac{\delta }{\lambda }} \right)\dfrac{{{F_y}}}{{{\rho _0}}}$$\; \rho = $$ \sqrt {F_x^2 + F_y^2} $$\gamma = \dfrac{\rho }{{{\rho _0}}}$$\alpha = \dfrac{1}{2}{\omega _1}\gamma $${\theta _0} = \arccos \left( {\dfrac{\rho }{{{\rho _0}}}} \right)$ω1为光轴向变量,${\omega _1} = \dfrac{{{\text{π}} \cdot {D^2} \cdot \delta }}{{2{f^2} \cdot \lambda }}$(对于无穷远目标像距vf),ρ为像面空间的频率,ρ<ρ0。于是有:$\alpha '\cos i + $$\alpha '\cos i + \beta '\sin i = 0,\; \alpha '\cos i - \beta '\sin i = {\text{π}} {\left( {\dfrac{D}{f}} \right)^2}\left( {\dfrac{\delta }{\lambda }} \right)\dfrac{\rho }{{{\rho _0}}}$

    将(30)式代入(29)式,推导得:

    $$ \tilde H\left( {{F_x},{F_y}} \right) = \frac{1}{{\text{π}} }\iint\limits_\sum {\exp \left\{ {{\rm j}\left[ {\left( {\alpha '\cos i - \beta '\sin i} \right)\xi + \left( {\alpha '\cos i + \beta '\sin i} \right)\eta } \right]} \right\}{\rm d}\xi {\rm d}\eta } =\frac{1}{{\text{π}} }\int\limits_{ - \sin {\theta _0}}^{\sin {\theta _0}} {{\rm d}\eta \int\limits_{\gamma - \sqrt {1 - {\eta ^2}} }^{\sqrt {1 - {\eta ^2}} - \gamma } {\exp ({\rm j}\alpha \xi ){\rm d}\xi } } $$ (31)

    推导(31)式,经过积分计算得光学系统的离焦退化模型的传递函数:

    $$ H(\gamma ,{\omega _1}) = \frac{8}{{{\text{π}} {\omega _1}\gamma }}\int\limits_0^\gamma {\frac{x}{{\sqrt {1 - {x^2}} }}\sin \left[ {\frac{{{\omega _1}}}{2}\gamma (\gamma - x)} \right]{\rm d}x} $$ (32)

    γ为0时,H(0,ω1)=1;当离焦量δ为0时,ω1=0,(32)式为

    $$H(\gamma ) = - \frac{4}{{\text{π}} }\int\limits_0^\gamma {\frac{{x - \gamma }}{{\sqrt {1 - {x^2}} }}x{\rm d}x} = \frac{2}{{\text{π}} }\left[\arccos (\gamma ) - \gamma \sqrt {1 - {\gamma ^2}} \right]$$ (33)

    光学系统成像要求H(γ)≥0,H(γ)=0空间频率成份的光将被截止。(32)式方程H(γ)=0存在多个γ解,第一个解(即最小值解)用γmax表示,截止时γmax相对应的空间频率ρmax为截止频率,用ρmax表示。H(γ)<0为传函反相,图像上表现为“黑白颠倒”。

    可以证明:ω1=0时,γmax=1;ω1越大,γmax越小;在γ<γmax情况下,(32)式中正弦函数中ω1·γ·(γx)<4。故(32)式中的正弦函数泰勒近似展开,积分得:

    $$ \begin{split} H(\gamma , &{\omega _1}) \approx \frac{4}{{\text{π}} }\left[ {{a_1} \cdot \arccos \left( \gamma \right) - {b_1} \cdot \gamma \sqrt {1 - {\gamma ^2}} } \right] - \\ & \frac{4}{{\text{π}} } \cdot \frac{{{\omega _1}^2{\gamma ^2}}}{{{2^2}3!}}\left[ {{a_3} \cdot \arccos \left( \gamma \right) - {b_3} \cdot \gamma \sqrt {1 - {\gamma ^2}} } \right]+\\ & \frac{4}{{\text{π}} } \cdot \frac{{{\omega _1}^4{\gamma ^4}}}{{{2^4}5!}} \left[ {{a_5} \cdot \arccos \left( \gamma \right) - {b_5} \cdot \gamma \sqrt {1 - {\gamma ^2}} } \right]-\\ & \frac{4}{{\text{π}} } \cdot \frac{{\omega _1^6{\gamma ^6}}}{{{2^6}7!}} \left[ {{a_7} \cdot \arccos \left( \gamma \right) - {b_7} \cdot \gamma \sqrt {1 - {\gamma ^2}} } \right] +\\ & \frac{4}{{\text{π}} } \cdot \frac{{\omega _1^8{\gamma ^8}}}{{{2^8}9!}} \left[ {{a_9} \cdot \arccos \left( \gamma \right) - {b_9} \cdot \gamma \sqrt {1 - {\gamma ^2}} } \right] - \\ & \frac{4}{{\text{π}} } \cdot \frac{{\omega _1^{10}{\gamma ^{10}}}}{{{2^{10}}11!}} \left[ {{a_{11}} \cdot \arccos \left( \gamma \right) - {b_{11}} \cdot \gamma \sqrt {1 - {\gamma ^2}} } \right] \end{split} $$ (34)

    其中:

    $$ \begin{aligned} & {a_1} = \frac{1}{2}, {b_1} = \frac{1}{2};\\ & {a_3} = \frac{3}{2}{\gamma ^2} + \frac{3}{8}, {b_3} = \frac{1}{4}{\gamma ^2} + \frac{{13}}{8};\\ & {a_5} = \frac{5}{2}{\gamma ^4} + \frac{{15}}{4}{\gamma ^2} + \frac{5}{{16}}, {b_5} = \frac{1}{6}{\gamma ^4} + \frac{7}{{24}}{\gamma ^2} + \frac{{113}}{{48}};\\ & {a_7} = \frac{7}{2}{\gamma ^6} + \frac{{105}}{8}{\gamma ^4} + \frac{{105}}{{16}}{\gamma ^2} + \frac{{35}}{{128}},\\ & {b_7} = \frac{1}{8}{\gamma ^6} + \frac{{551}}{{80}}{\gamma ^4} + \frac{{3\;367}}{{320}}{\gamma ^2} + \frac{{1\;873}}{{640}};\\ & {a_9} = \frac{9}{2}{\gamma ^8} + \frac{{63}}{4}{\gamma ^6} + \frac{{315}}{8}{\gamma ^4} + \frac{{315}}{{32}}{\gamma ^2} + \frac{{63}}{{256}},\\ & {b_9} = \frac{1}{{10}}{\gamma ^8} + \frac{{5\;617}}{{560}}{\gamma ^6} + \frac{{45\;427}}{{1\;120}}{\gamma ^4} + \frac{{135\;389}}{{4\;480}}{\gamma ^2} + \frac{{30\;563}}{{8\;960}};\\ & {a_{11}} = \frac{{11}}{2}{\gamma ^{10}} + \frac{{495}}{8}{\gamma ^8} + \frac{{1\;155}}{8}{\gamma ^6} + \frac{{5\;775}}{{64}}{\gamma ^4} +\\ & \quad\quad \frac{{3\;465}}{{256}}{\gamma ^2} + \frac{{231}}{{1\;024}},\\ & {b_{11}} = \frac{1}{{12}}{\gamma ^{10}} + \frac{{67\;541}}{{5\;040}}{\gamma ^8} + \frac{{1\;938\;577}}{{20\;160}}{\gamma ^6} + \frac{{2\;960\;249}}{{20\;160}}{\gamma ^4} + \\ & \quad\quad \frac{{1\;786\;783}}{{32\;256}}{\gamma ^2} + \frac{{247\;591}}{{64\;512}} \end{aligned} $$

    计算图像清晰度,以此作为评判图像的依据,找到图像清晰度的极大值点,把模糊图像复原。对于给定焦距和入射孔径的摄影物镜,采用迭代逼近法寻找离焦衍射模糊图像的离焦量。

    光学设备成像过程中,因为存在离焦导致图像退化,图像退化过程[11-16]可用下式表示:

    $$ g(x,y,\delta ) = f(x,y) \times {\left| {h(x,y,\delta )} \right|^2}+n(x,y) $$ (35)

    (35)式中,g(x,y,δ)为模糊图象,f(x,y)为理想图像,h(x,y,δ)为点扩散函数,n(x,y)为噪声图像。对(35)式两边取傅里叶变化得:

    $$ G\left( {{F_x},{F_y},\delta } \right)=H({F_x},{F_y},\delta ) U({F_x},{F_y}) + N({F_x},{F_y}) $$ (36)

    (36)式中,$H({F_x},{F_y},\delta )$为传递函数,$G\left( {{F_x},{F_y}} \right)$为模糊图像的傅里叶频谱,$N({F_x},{F_y})$为噪声的傅里叶频谱,$U({F_x},{F_y})$为理想图像的傅里叶频谱,FxFy为空间频率。将(36)式转换为矩阵形式为

    $$\left[ G \right] = \left[ H \right] \;\left[ U \right] + \left[ N \right] $$ (37)

    (37)式中[N]、[G]、[F]、[H]为$N({F_x},{F_y})$$G\left( {{F_x},{F_y}} \right)$$U({F_x},{F_y})$$H({F_x},{F_y})$的矩阵形式。利用最小二乘法[5],求得[$U$]的最小二乘估计[14-17][$\hat U$]为

    $$ [\hat U]={({\left[ H \right]^{\rm T}}[H])^{ - 1}}{[H]^{\rm T}}[G] $$ (38)

    取傅里叶逆变换得复原后的理想图像矩阵为

    $$ \left[ u \right]=FT{^{ - 1}}(\left[ {\hat U} \right]) $$ (39)

    已知光学设备成像时刻的离焦量,建立离焦传递函数,由(39)式,可以得到复原后的原始理想图像。然而,光学设备拍摄时刻的离焦量无法实时测得,我们假想一系列离焦量值,用这些值估计真实离焦量,进行图像复原,会取得一系列复原图像,计算这些复原图像的清晰度值,清晰度值反映了假想离焦量与真实离焦量的逼近程度,也就是离焦程度。将一系列复原图像中,清晰度值最大的图相对应的估计离焦量值,我们称之为“最佳离焦量值”。

    1) 清晰度定义

    点像的强度分布曲线越陡,光学系统对于一般的目标物体所成的像边缘越清晰,依据光学系统锐度的定义[14-16],具有离焦量δ的实际像面点像的清晰度表示为

    $${A_c}(\delta ) = \int\limits_0^a {{{\left[ {\frac{{\partial h(r,\delta )}}{{\partial r}}} \right]}^2}{\rm d}r = 2{\text{π}} \int\limits_0^{{\rho _{\max }}} {{\rho ^2}{{[\tilde H(\rho ,\delta )]}^2}{\rm d}\rho } } $$ (40)

    式中:a为传感器靶面的最大尺寸;r为空间水平或垂直方向的坐标变量;ρ为水平或垂直方向的空间频率;ρmax为截止频率。

    2) 离焦量的估计值与真实值之差越小,复原图像清晰度越大

    根据(36)式和(40)式估计复原图像的清晰度:

    $$\!\!{\hat A_c}(\delta ') = \int\limits_0^a {{{\left[ {\frac{{\partial \hat u(r,\delta ')}}{{\partial r}}} \right]}^2}{\rm d}r} = 2{\text{π}} \int\limits_0^{{\rho _{\max }}} {{\rho ^2}{U^2}(\rho ){{\left[ {\frac{{H(\rho ,\delta )}}{{H(\rho ,\delta ')}}} \right]}^2}{\rm d}\rho } \;\;\;\; $$ (41)

    ρmax对应xy方向的最大截止空间频率为${F_{x0}}$${F_{y0}}$,代入(41)式,离散化为

    $$ \begin{aligned} {\hat A_c}(\delta ') = & 2{\text{π}} {\left[ {\sum\limits_{{F_x} = 0}^{{F_{x0}}} {{F_x} \cdot U({F_x}) \cdot \frac{{H({F_x},\delta ) \cdot {H_c}^ * ({F_x},\delta ')}}{{\left| {H({F_x},\delta )} \right| \cdot \left| {{H_c}({F_x},\delta ')} \right|}}} } \right]^2}+\\ & 2{\text{π}} {\left[ {\sum\limits_{{F_y} = 0}^{{F_{y0}}} {{F_y} \cdot U({F_y}) \cdot \frac{{H({F_y},\delta ) \cdot {H_c}^ * ({F_y},\delta ')}}{{\left| {H({F_y},\delta )} \right| \cdot \left| {{H_c}({F_y},\delta ')} \right|}}} } \right]^2} \end{aligned} $$ (42)

    空间频率高的部分反映图像的细节,选择高频Fx_highFy_high成份分析清晰度。考虑x方向,取实部

    $$ \begin{split} {A_c}({F_{x\_\rm high}},\delta ') = & 2{\text{π}} {F_{x\_\rm high}}^2{K^2}({F_{x\_\rm high}}) \cdot\\ & {U^2}{(F_{x\_\rm high}}) {\left| {\frac{{\sin \left[ {{\mu _x} \cdot (\delta - \delta ')} \right]}}{{{\mu _x} \cdot (\delta - \delta ')}}} \right|^2} \end{split} $$ (43)

    同理,考虑y方向,取实部

    $$ \begin{split} {A_c}({F_{y\_\rm high}},\delta ') =& 2{\text{π}} {F_{y\_\rm high}}^2{K^2}({F_{y\_\rm high}}) \cdot\\ & {U^2}{(F_{y\_\rm high}}) {\left| {\frac{{\sin \left[ {{\mu _y} \cdot (\delta - \delta ')} \right]}}{{{\mu _y} \cdot (\delta - \delta ')}}} \right|^2} \end{split} $$ (44)

    式中:${u_x}$${u_y}$为常数;${K^2}({F_{y\_\rm high}})$${F_{y\_\rm high}}$的多项式;${K^2}({F_{x\_\rm high}})$${F_{x\_\rm high}}$的多项式;${U^2}({F_{x\_\rm high}})$${U^2}({F_{y\_\rm high}})$为理想图像的高频强度值,计算可得:当$\delta - \delta ' = 0$时,(44)式中${A_c}({F_{x\_\rm high}},\delta ')$取最大值,表示复原图像的清晰度为最大值。

    外场光学设备用于观测遥远的物体,在满足焦深条件下,当物体物距u从无穷远u到一定距离u+内变化时,焦面的焦深范围内就为不离焦像面,不需要调整。${u_\infty } \leftrightarrow {u_ + }$视为无穷远成像景深距离,此时,像距v=焦距f

    图4所示,当目标离开无穷远,在近距离u+u变化时,即u+u之间,像面离开传感器靶面位置,超出焦深,需要调整传感器像面位置,使此接近理想相面位置v,像面位置变化为:$f + \varepsilon \leftrightarrow $$ (1 + \dfrac{f}{{u - f}})f - \varepsilon $ε为焦深,f 为焦距,$\Delta z$为调焦量程。

    图  4  外场光学设备调焦范围示意图
    Figure  4.  Diagram of optical equipment focusing field range

    于是,像面调整量程$\Delta z$

    $$\Delta z = \frac{{{f^2}}}{{u - f}} - 2\varepsilon $$ (45)

    大口径光学设备外场使用时,物距远大于焦距,即u>>f,取u=N·fN为一个大整数,对于大口径光学设备N>>600。于是有:

    $$\Delta z = \frac{{{f^2}}}{{u - f}} - 2\varepsilon \approx \frac{f}{N} - 2\varepsilon $$ (46)

    从式(46)可以看出:大口径设备的焦距长而焦深短,调焦步进电机的调整量程大。

    一幅图像是否存在离焦,需要通过图像处理判断,应用爬山法[2-5]判断图像离焦程度。

    以2倍的焦深为步长,寻找最大可能离焦量值,也就是清晰度值最大时对应的假设离焦量,即概略离焦量值,过程如下:

    1) 取一些假想离焦量值${\omega _1}[{i}] = \left\{ {0,2{\text{π}} ,{\rm{4}}{\text{π}} ,{\rm{6}}{\text{π}} , \cdots , }\right.$$ \left. {2i{\text{π}} , \cdots ,{\rm{20}}{\text{π}} } \right\}$,找到这幅图像的像元尺寸a。结合给定的设备的光学D、焦距f参数,对照这幅图像的像元尺寸a,代入相干传递函数计算式(25),分别得出11个不同离焦量的相干传递函数Hc(ρ),ρ为空间频率,并保存于计算机系统内存中。

    2) 取实时图像u(i,j),作傅立叶变换变换,得到傅立叶谱U(Fx,Fy)。

    3) 将Hc(ρ)和U(ρ)代入式(42)、(43)、(44),计算得出11个A(ω1(i))。找出11个A(ω1(i))值中的最大值Amax(ω1(i)),对应的2iπ定义为2i0π,由2i0π计算出离焦量δ0。如图5所示。

    图  5  图像离焦程度的自动判断方框图
    Figure  5.  Block diagram of automatic judgement for image defocus degree

    以小于1倍的焦深为步长,寻找最大可能离焦量值。此时,找到的清晰度值最大时对应的假想离焦量,即精细离焦量值。

    1) 计算邻域离焦量清晰度值

    以2i0π±π分别为假想离焦量值,代入(43)和(44)式,分别计算$A(2{i_0}{\text{π}} + {\text{π}} )$$A(2{i_0}{\text{π}} - {\text{π}} )$两个清晰度值。

    2) 比较邻域离焦量清晰度值

    比较$A(2{i_0}{\text{π}} + {\text{π}} )$$A(2{i_0}{\text{π}} - {\text{π}} )$的大小。若$A(2{i_0}{\text{π}} + $$ {\text{π}} )$>$A(2{i_0}{\text{π}} - {\text{π}} )$,则在2i0π~2i0π+π之间选择7个点,计算$A(2{i_0}{\text{π}} + {\text{π}} /8)$$A(2{i_0}{\text{π}} + {\text{π}} /4)$$A(2{i_0}{\text{π}} + 3{\text{π}} /8)$$A(2{i_0}{\text{π}} + $$ {\text{π}} /2)$$A(2{i_0}{\text{π}} + 5{\text{π}} /8)$$A(2{i_0}{\text{π}} + 3{\text{π}} /4)$$A(2{i_0}{\text{π}} + $$7{\text{π}} /8) $中的最大值,找到对应的离焦量值;若$A(2{i_0}{\text{π}} + {\text{π}} )$<$A(2{i_0}{\text{π}} - {\text{π}} )$,则在2i0π~2i0π−π之间选择7个点,计算$A(2{i_0}{\text{π}} - {\text{π}} /8)$$A(2{i_0}{\text{π}} - {\text{π}} /4)$$A(2{i_0}{\text{π}} - 3{\text{π}} /8)$$A(2{i_0}{\text{π}} - $${\text{π}} /2) $$A(2{i_0}{\text{π}} - {\text{π}} /8)$$A(2{i_0}{\text{π}} - 3{\text{π}} /4)$$A(2{i_0}{\text{π}} - $$7{\text{π}} /8) $中的最大值,找出对应的离焦量值。

    3) 若清晰度最大值对应的离焦量δ0≤Δz(焦深),则图像不存在离焦问题。

    从光轴上光场分布(12)式可以得出,随着离焦量ω1的变化,存在多个极大值点,ω1=0处为0级极大点,ω1=±6π处为1级极大点,级数越大,峰值越小。因此,在当前的像面位置的邻域寻找到的极大值点,不一定是最清晰位置。

    为了兼顾实时性、调焦精度,我们利用图像复原信息判断图像离焦的方向,如图6所示,针对具有一定尺度的目标离焦模糊图像,依据图像复原处理前后的散斑面积大小变化来分析,复原后,目标区域面积变大,说明为负离焦,向远离镜头的方向运动;复原后,目标区域面积变小,说明为正离焦,向靠近镜头的方向运动。

    以某光学成像设备的外场实验图片复原为例进行实验,说明复原过程成像效果。

    选择光学摄像机的镜头口径D=27.5 mm,焦距为f=143 mm,感光波段为可见光(平均波长为λ=0.55 μm),单像元尺度b=10 μm,像距vf=143 mm。将已知参数代入(18)式,得ω0=3.5π;代入(16)式,得焦深ε=±55λ=±30.29 μm;代入(27)式,得衍射极限频率ρ0=349 lp/mm。

    光学摄像机在离焦状态下拍摄的图片,如图7(a)所示,取像元数为400×400,作傅里叶变换,得到傅里叶频谱图见图7(b)所示。

    图  7  原图与傅里叶频谱图
    Figure  7.  Original image and its Fourier spectrum image

    选择不同的假想离焦量,代入(10)式,计算光学系统不同离焦量的点扩散函数曲线。如图8所示:(a)为离焦量δ=0时的焦面上的点像衍射图像的径向分布曲线;(b)为离焦量δ=ε(1倍焦深),ω1=π时的焦面上的点像衍射图像的径向分布曲线;(c)为离焦量δ=2ε(2倍焦深),当ω1=2π时的焦面上的点像衍射图像的径向分布曲线;(d)为离焦量δ=4ε(4倍焦深),ω1=4π时的焦面上的点像衍射图像的径向分布曲线。可以看出,离焦量越大,点像弥散越大。离焦量接近4倍焦深时,图像中心点光强接近0,图像反相分布。

    图  8  不同离焦量的点扩散函数曲线
    Figure  8.  Point-spread function curves of varied defocus distance

    以相对孔径为D/f=0.2选择不同离焦量δ,代入(33)式,计算传递函数函数曲线,图9为不同离焦量的传递函数图:(a)为离焦量为0时的传递函数图;(b)为离焦量为400个波长时的传递函数;(c)为离焦量为1 600个波长时的传递函数;(d)为离焦量为4 000个波长时的传递函数。可以看出,离焦量越大,曲线越抖,截止频率越低。

    图  6  离焦方向的判断示意图
    Figure  6.  Diagram of judgement for defocus direction

    依据4.2节的爬山法,选择在1.8π~2.2π之间每隔0.02π变化假想离焦量值,得出相干传递函数的实部与虚部,代入(43)式,对图像相干复原处理得到的x方向清晰度Ac值见图10(a)曲线,发现在1.86π~1.94π之间Ac值比较大。

    为了进一步得到精确离焦量值,在1.86π~1.94π之间每隔0.02π变化假想离焦量值,得出相干传递函数的实部与虚部,代入(43)式,对图像复原处理得到的x方向清晰度Ac值见图10(b)曲线,可以看出,离焦量在1.87π~1.88π之间,清晰度取得最大值。

    取假想离焦量ω1=1.875π,代入(33)式建立离焦传递函数,依据(38)式、(39)式,对离焦模糊图像图11(a)进行复原,得到复原图见图11(b)所示。

    分别计算复原前后的图11(a)图11(b)的清晰度值、最大灰度等级、最小灰度等级,并进行比较。将图11(a)图11(b)的傅里叶变化图代入(40)式中计算,图像的清晰度值结果见表1所示。

    表1中可以看出,以离焦量ω1=1.875π建立点扩散函数和传递函数,对模糊图像进行复原,复原前后图像统计结果为:复原前图像的清晰度计算结果为221,复原后图像的清晰度计算结果为598;复原前图像的最大灰度等级结果为111,复原后图像的最大灰度等级结果为181;复原前图像的最小灰度等级结果为13,复原后图像的最小灰度等级结果为5;由此可得出以下结论:

    1) 离焦图像复原之后,清晰度得到提升;

    2) 离焦图像复原之后,调制对比度得到提升。

    图  9  不同离焦量的传递函数曲线
    Figure  9.  Optical transfer function curves of varied defocus distance
    图  10  不同离焦量的清晰度值曲线
    Figure  10.  Definition value curves of varied defocus distance

    ω1=1.875π代入(14)式得到离焦量δ=55.7 μm。从图11可以得出,图像复原后,目标区域面积减小了,说明原图像为正离焦。故系统对焦时,传感器靶面应该向靠近镜头的方向运动55.7 μm。

    大口径光学设备的调焦全量程(≥12 mm)步进码不低于40 000个。若采用手动全量程调整对焦,每手动改变几个码,需要留出时间以便人眼观察比较几幅图像,手动单向调整至少需要240 s,来回调整至少需要480 s。若采用计算机视觉调焦方法全量程调整对焦,步进电机每调整几个码,需要留出时间给计算机来比较几幅图像清晰度值,全量程单向调整至少需要60 s,来回调整至少需要120 s。

    图  11  原图与复原图
    Figure  11.  Original image and its restore image
    表  1  图像复原前后的清晰度值
    Table  1.  Definition values of original image and its restore image
    项目复原前复原后
    图11(a)图11(b)
    清晰度值AC221598
    最大灰度等级Hmax111181
    最小灰度等级Hmin135
    调制对比度M=(Hmax−Hmin)/(Hmax+Hmin)0.790.96
    下载: 导出CSV 
    | 显示表格

    本文的基于离焦图像复原的光学设备实时视频对焦方法,在主频2.8 GHz的调焦系统工控机上试验,40多个不同假设离焦量的点扩散函数线阵、相干光传递函数线阵、相干光传递函数线阵事前预先计算并存处于计算机内存中,计算实时调用用时不到100 μs;取图像目标区域的线阵(1×100)进行离散傅立叶变换,不到300 μs时间;采用爬山法计算全量程的40多个不同假设离焦量对目标区域的线阵的复原清晰度值,不到900 μs时间;找出清晰度最大值对应的离焦量值需要200 μs;采用维纳逆滤波对原图像复原处理,提取原图像和复原图像的目标,分别计算目标面积并比较,得到离焦方向,需要4 ms;利用计算得到的离焦量大小和符号,驱动调焦机构直接到位,最多需要9 ms,如表2所示。从表2可以看出,实验总计耗时不超过15 ms。

    表  2  基于离焦图像复原的光学设备实时视频对焦方法的上机试验时间
    Table  2.  Time-consuming of real-time video focusing method based on defocus image restoration
    过程调用不同假设的离焦模型线阵子图傅里叶变换爬山法判断离焦程度找出离焦量值逆滤波找方向机械对焦总计
    耗时100 μs300 μs900 μs200 μs4 ms9 ms14.5 ms
    下载: 导出CSV 
    | 显示表格

    成像系统实时采集图像和输出图像频率为25 fps,留给计算机图像处理和实时调焦时间为20 ms。比较手动对焦法、计算机视觉调焦法、基于离焦图像复原的光学设备实时视频对焦法3种方法的实时性结果,如表3所示。可以看出:大口径光学设备若采用手动对焦法、计算机视觉调焦法,调焦过程中,图像会出现模糊现象,不能满足实时性要求。采用基于离焦图像复原的光学设备实时视频对焦法,调焦机构一步到位,调焦过程中图像一直保持清晰,能够满足实时性精准对焦要求。

    表  3  不同调焦方法的实时性结果比较
    Table  3.  Comparison of real-time results of different focusing methods
    不同方法成像系统允许的图像
    实时调焦时间
    全量程调整
    所用时间
    成像效果结果
    手动对焦方法20 ms480 s调整过程中,显示模糊图像不实时,不精准
    计算机视觉调焦方法20 ms120 s调整过程中,显示模糊图像不实时,不精准
    基于离焦图像复原的光学设备实时视频对焦方法20 ms14.5 ms调整过程中,显示清晰图像实时且精准
    下载: 导出CSV 
    | 显示表格

    从光学镜头的成像原理出发,按照焦点附近光场变化规律和焦深变化范围,以一定的周期间隔选择某些离焦量值,推算离焦点扩散函数、相干光传递函数和非相干光传递函数,利用爬山法、逆滤波和离焦程度判断法,给出了寻找大口径光学设备拍摄目标时刻的最佳离焦量值和方向的方法,并对模糊图像给予了复原,图像的清晰度和调制对比度得到了提升。依据离焦量大小和方向,通过机械结构调整光学镜头焦面位置,实现大口径光学设备的实时精准对焦。最后,运用离焦模糊图像复原实验结果验证了方法的可行性,为解决大口径光学设备的外场使用中遇到的离焦模糊图像问题提供技术方法。在光学成像、计算机视觉及航天光学图像精密测量技术领域中具有重要的推广应用价值。

  • 图  1   物平面光波经透镜到像的传播过程方框图

    Figure  1.   Block diagram of light propagation from object to its image through the the lens

    图  2   光传播与成像示意图

    Figure  2.   Schematic diagram of light propagation and imaging

    图  3   积分区间$\Sigma $示意图

    Figure  3.   Sketch map of integral interval $\Sigma $

    图  4   外场光学设备调焦范围示意图

    Figure  4.   Diagram of optical equipment focusing field range

    图  5   图像离焦程度的自动判断方框图

    Figure  5.   Block diagram of automatic judgement for image defocus degree

    图  7   原图与傅里叶频谱图

    Figure  7.   Original image and its Fourier spectrum image

    图  8   不同离焦量的点扩散函数曲线

    Figure  8.   Point-spread function curves of varied defocus distance

    图  6   离焦方向的判断示意图

    Figure  6.   Diagram of judgement for defocus direction

    图  9   不同离焦量的传递函数曲线

    Figure  9.   Optical transfer function curves of varied defocus distance

    图  10   不同离焦量的清晰度值曲线

    Figure  10.   Definition value curves of varied defocus distance

    图  11   原图与复原图

    Figure  11.   Original image and its restore image

    表  1   图像复原前后的清晰度值

    Table  1   Definition values of original image and its restore image

    项目复原前复原后
    图11(a)图11(b)
    清晰度值AC221598
    最大灰度等级Hmax111181
    最小灰度等级Hmin135
    调制对比度M=(Hmax−Hmin)/(Hmax+Hmin)0.790.96
    下载: 导出CSV

    表  2   基于离焦图像复原的光学设备实时视频对焦方法的上机试验时间

    Table  2   Time-consuming of real-time video focusing method based on defocus image restoration

    过程调用不同假设的离焦模型线阵子图傅里叶变换爬山法判断离焦程度找出离焦量值逆滤波找方向机械对焦总计
    耗时100 μs300 μs900 μs200 μs4 ms9 ms14.5 ms
    下载: 导出CSV

    表  3   不同调焦方法的实时性结果比较

    Table  3   Comparison of real-time results of different focusing methods

    不同方法成像系统允许的图像
    实时调焦时间
    全量程调整
    所用时间
    成像效果结果
    手动对焦方法20 ms480 s调整过程中,显示模糊图像不实时,不精准
    计算机视觉调焦方法20 ms120 s调整过程中,显示模糊图像不实时,不精准
    基于离焦图像复原的光学设备实时视频对焦方法20 ms14.5 ms调整过程中,显示清晰图像实时且精准
    下载: 导出CSV
  • [1] 朱明峰, 王命延. 基于彩色离焦模糊图像清晰度评价的启发式调焦算法[J]. 南昌大学学报(理科版),2004,28(3):297-300.

    ZHU Mingfeng, WANG Mingyan. An heuristic focusing algorithm based on definition evaluation of out-of-focus blurred color images[J]. Journal of Nanchang University(Natural Science),2004,28(3):297-300.

    [2] 尤玉虎, 刘通, 刘佳文. 基于图像处理的自动对焦技术综述[J]. 激光与红外,2013,43(2):132-136. doi: 10.3969/j.issn.1001-5078.2013.02.003

    YOU Yuhu, LIU Tong, LIU Jiawen. Survey of the auto-focus methods based on image processing[J]. Laser & Infrared,2013,43(2):132-136. doi: 10.3969/j.issn.1001-5078.2013.02.003

    [3] 李征, 苏理云, 杨舰, 等. 用二元树复小波变换法实现离焦图像的半盲复原[J]. 四川大学学报(自然科学版),2007,44(2):316-320.

    LI Zheng, SU Liyun, YANG Jian, et al. Semi-blind defocused image restoration with dual-tree complex wavelet transform[J]. Journal of Sichuan University(Natural Science Edition),2007,44(2):316-320.

    [4] 胡小平, 尹喜云, 陈国良, 等. 离焦模糊图像的自适应滤波及逆滤波器复原[J]. 光电工程,2007,34(4):105-108. doi: 10.3969/j.issn.1003-501X.2007.04.023

    HU Xiaoping, YIN Xiyun, CHEN Guoliang, et al. Adaptive filtering and counter filter restoration for defocus blurred image[J]. Opto-Electronic Engineering,2007,34(4):105-108. doi: 10.3969/j.issn.1003-501X.2007.04.023

    [5] 徐演, 章毓晋. 图像处理与分析[M]. 北京: 清华大学出版社, 2001: 107.

    XU Yan, ZHANG Yujin. Image processing and analysis[M]. Beijing: Tsinghua University Press, 2001: 107.

    [6] 郑楚君, 李榕, 常鸿森. 离焦模糊数字图像的Wiener滤波频域复原[J]. 激光杂志,2004,25(5):57-58. doi: 10.3969/j.issn.0253-2743.2004.05.022

    ZHENG Chujun, LI Rong, CHANG Hongsen. Restoration of defocus blurred digital image using wiener filter in frequency domain[J]. Laser Journal,2004,25(5):57-58. doi: 10.3969/j.issn.0253-2743.2004.05.022

    [7] 胡小平, 陈国良, 毛征宇, 等. 离焦模糊图像的维纳滤波复原研究[J]. 仪器仪表学报,2007,28(3):479-482. doi: 10.3321/j.issn:0254-3087.2007.03.018

    HU Xiaoping, CHEN Guoliang, MAO Zhengyu, et al. Study on Wiener filtering for restoration of defocus blur image[J]. Chinese Journal of Scientific Instrument,2007,28(3):479-482. doi: 10.3321/j.issn:0254-3087.2007.03.018

    [8] 母国光, 宋菲君, 等. 高等物理光学[M]. 合肥: 中国科技大学出版, 1991: 170.

    MU Guoguang, Song Feijun, et al. Advanced physical optics[M]. Hefei: University of Science and Technology of China, 1991: 170.

    [9]

    ANDRESEN K, YU Q F. Calculation of the geometric parameters of an ellipse in space by its edges in the images[J]. ISPRS Journal of Photogrammetry and Remote Sensing,1994,49(2):33-37. doi: 10.1016/0924-2716(94)90064-7

    [10] 母国光, 宋菲君, 等. 高等物理光学[M]. 合肥: 中国科技大学出版, 1991: 174.

    MU Guoguang, SONG Feijun, et al. Advanced Physical Optics[M]. Hefei: University of Science and Technology of China, 1991: 174.

    [11] 黄隆华, 陈志辉, 彭小宁, 等. 基于梯度及HVS特性的离焦模糊图像质量评价[J]. 计算机应用研究,2010,27(2):781-783. doi: 10.3969/j.issn.1001-3695.2010.02.107

    HUANG Longhua, CHEN Zhihui, PENG Xiaoning, et al. Defocused image quality assessment based on gradient and HVS[J]. Application Research of Computers,2010,27(2):781-783. doi: 10.3969/j.issn.1001-3695.2010.02.107

    [12] 武彬. 一种离焦模糊图像的复原方法[J]. 计算机技术与发展,2008,18(1):74-76. doi: 10.3969/j.issn.1673-629X.2008.01.020

    WU Bin. A method of defocus blurred image restoration[J]. Computer Technology and Development,2008,18(1):74-76. doi: 10.3969/j.issn.1673-629X.2008.01.020

    [13] 韩小芳, 胡家升. 运动与离焦模糊图像的复原[J]. 光子学报,2012,41(1):87-93.

    HAN Xiaofang, HU Jiasheng. Restoration of motion blur image and defocus blur image[J]. Acta Photonica Sinica,2012,41(1):87-93.

    [14] 曹茂永, 孙农亮 , 郁道银, 等. 离焦模糊图像清晰度评价函数的研究[J] .仪器仪表学报, 2001, 22(3/增刊): 259-260, 268

    CAO Chengmao, SUN Nongliang, YU Daoyin, et al. Study on Clarity-evaluation-function[J]. Chinese Journal of Scientific Instrument, 2001, 22(3/Sup): 259-260,268.

    [15] 冯云芝, 张俊娜, 冯乃勤. 基于参数校正的离焦图像高斯核估计[J]. 河南师范大学学报(自然科学版),2013,41(4):149-152. doi: 10.16366/j.cnki.1000-2367.2013.04.026

    FENG Yunzhi, ZHANG Junna, FENG Naiqin. Estimating Gaussian kernel of defocused image based on parameter correction method[J]. Journal of Henan Normal University(Natural Science Edition),2013,41(4):149-152. doi: 10.16366/j.cnki.1000-2367.2013.04.026

    [16]

    FINSTERWALDER R. Zur verwendung von pablinien bei photogrammetrischen[J]. Z. Vermessungswes,1991,2:60-66.

    [17] 赵琳, 金伟其, 黄有为, 等. 离焦模糊图像超分辨力盲复原算法分析[J]. 光学技术,2010,36(1):75-78.

    ZHAO Lin, JIN Weiqi, HUANG Youwei, et al. Analysis on super-resolution blind restoration algorithm of defocus blurred image[J]. Optical Technique,2010,36(1):75-78.

  • 期刊类型引用(6)

    1. 陈起超,张伟超,白仕光,杜亮,赵洪. 非本征光纤法-珀传感器局部放电检测研究进展. 电工技术学报. 2022(05): 1305-1320 . 百度学术
    2. 黄将. 数据中心光纤通信网络传输非平稳数据无损检测技术研究. 激光杂志. 2019(04): 131-135 . 百度学术
    3. 王桂霞,徐艳华. 一种高精度的激光传感器功耗智能检测系统. 激光杂志. 2019(11): 62-66 . 百度学术
    4. 郝媛媛,李玉星. 基于光纤传感器的大型设备力学特性监测方法. 激光杂志. 2018(05): 79-82 . 百度学术
    5. 司文荣,傅晨钊,黄华,郭森,沈晓峰,高勤践,陆忠心. 局部放电非本征法珀光纤传感检测技术述评. 高压电器. 2018(11): 20-32 . 百度学术
    6. 杨红平,张翰林. 变压器套管故障的在线监测技术. 变压器. 2017(12): 62-64 . 百度学术

    其他类型引用(5)

图(11)  /  表(3)
计量
  • 文章访问数:  586
  • HTML全文浏览量:  217
  • PDF下载量:  30
  • 被引次数: 11
出版历程
  • 收稿日期:  2019-09-03
  • 修回日期:  2019-09-22
  • 网络出版日期:  2020-03-30
  • 刊出日期:  2019-12-31

目录

/

返回文章
返回