基于单次曝光光场成像的全焦图像重建技术

于淼, 刘诚

于淼, 刘诚. 基于单次曝光光场成像的全焦图像重建技术[J]. 应用光学, 2021, 42(1): 71-78. DOI: 10.5768/JAO202142.0102004
引用本文: 于淼, 刘诚. 基于单次曝光光场成像的全焦图像重建技术[J]. 应用光学, 2021, 42(1): 71-78. DOI: 10.5768/JAO202142.0102004
YU Miao, LIU Cheng. Single exposure light field imaging based all-in-focus image reconstruction technology[J]. Journal of Applied Optics, 2021, 42(1): 71-78. DOI: 10.5768/JAO202142.0102004
Citation: YU Miao, LIU Cheng. Single exposure light field imaging based all-in-focus image reconstruction technology[J]. Journal of Applied Optics, 2021, 42(1): 71-78. DOI: 10.5768/JAO202142.0102004

基于单次曝光光场成像的全焦图像重建技术

基金项目: 国家自然科学基金面上项目(U1730132)
详细信息
    作者简介:

    于淼(1995−),女,硕士研究生,主要从事光学成像以及数字图像处理方面的研究。E-mail:6181201002@stu.jiangnan.edu.cn

    通讯作者:

    刘诚(1971−),男,教授,主要从事相位成像及应用方面的研究。E-mail:cheng.liu@hotmail.co.uk

  • 中图分类号: TN201

Single exposure light field imaging based all-in-focus image reconstruction technology

  • 摘要: 为了实现大景深信息全焦面高质量成像,提出了基于单次曝光光场成像的导向滤波全焦图像重建技术:结合光场成像采集视场信息,并采用光场重建的方式获取多聚焦图像源集,利用导向滤波的方法确定各级图像融合权重,进行图像融合得到大景深的全焦图像。实验证明,提出的基于单次曝光光场成像的导向滤波全焦图像重建技术不仅有效保证了多聚焦图像背景的一致性,同时还具有更好的边缘保持效果,从而获得了清晰度更高、综合成像质量更好的全焦图像,因此该技术有望用于现场监控、地理勘探、军事侦察以及无人驾驶等众多领域中。
    Abstract: In order to obtain the high quality all-in-focus imaging in large depth of view, an all-in-focus image reconstruction technology based on single exposure light field imaging and guided filter was proposed. First, the field of view information was collected by the optical field imaging, and the multi-focus image source set was obtained by the optical field reconstruction. Then the guided filter method was used to determine the weight of image fusion at all levels, and finally the image fusion was performed to obtain the all-in-focus image with extremely large depth of field. The experimental results show that the proposed method not only effectively ensures the background consistency, but also keeps the edge retention to reconstruct the all-in-focus image with high quality. Therefore, the proposed technology can be potentially adopted in many applications such as on-site monitoring, geographical exploration, military reconnaissance and unmanned technologies, etc.
  • 光纤光栅具有体积小、质量轻、成本较低等特点,常用于测量环境温度及应力变化[1-2]。目前,光纤光栅传感在航空航天、化工石油、民用工程等领域已经有了广泛的应用[3-7]。例如,在航空航天方面,将光纤光栅传感器形成温度传感网络,监测飞行器在飞行过程中机身各部位的温度状况[8],既可以实现实时检测,又减轻了加装传统传感器给机体带来的重量负担;在化工石油方面,光纤光栅适用于井下传感,可以测量钻井过程中绞盘头的幅度变化,也可以用来测试索链棒的强度疲劳状态[9];而民用工程中经常利用光纤光栅传感器进行结构监测,通过将光纤光栅传感器贴附于现存结构表面或埋入结构内部的方法,可以对建筑物的结构进行实时测量,监视结构缺陷的形成及生长[10]

    然而,传统的光纤光栅传感器具有对温度应力交叉敏感的问题,因此无法将温度与应力的改变加以区分,这使得多参数同时测量变得困难。因此,若使用传统光纤光栅传感器测量温度变化,则必须控制光栅所受应力不变,测量应力时亦然。为了克服这一问题,人们提出了多种解决方案。例如,将一个额外的、对应力不敏感的布拉格(FBG)光栅作为温度传感器来测量应力传感器附近的温度变化[11],从而实现应力测量中的温度补偿,但是这种方法存在一定的误差,并且需要在测量点放置多根光栅,具有一定的繁琐性;Cavaleiro PM等于1999年提出了一种将2段相同的锗硅光栅熔接在一起,并将其中一段光栅掺入硼的方法,这2个相同反射波长的光栅具有相似的温度灵敏度和不同的应力灵敏度,因此可以区分应力与温度[12],但是这种方法对于掺杂浓度的控制要求较高,具有一定的难度;赵洪霞等于2016年提出了一种结合锥形光纤技术与光纤光栅技术形成的双锥形光纤光栅传感器,该传感器可形成多个谐振峰,通过多个差分可实现多参量的区分测量[13],这种方法改善了需要使用多个光栅的繁复性,但是测量范围较小,不适用于某些领域。此外,还有学者用飞秒激光透过相位掩模板的方法在2段光纤的熔点上制备出了相移光栅[14-15],这种光栅具有2个谐振峰,利用其对温度和应变量灵敏度都不相同的特性来进行双参数同时测量,这种方法可以将多个光栅集成到一根光纤上,其制备效率更高,一次刻写即能够形成多个谐振峰,但是此种方法需要使用昂贵的飞秒激光器。

    针对以上方法存在的问题,本文提出了一种利用紫外刻写制备相移光栅的方法,该方法与上文提及的飞秒制备方法类似,其制备过程简单,重复性好,不需要大型仪器设备。此外,本文还分析了相移光栅的形成机理,并结合理论和仿真对其进行了系统的论述。

    光纤布拉格光栅的基本结构如图1所示。其光学特性主要表现为正反向基模之间的耦合,实验室通常用相位掩模法来制备光纤布拉格光栅,这种方法制备的光栅其折射率呈现周期性正弦调制。光栅区域的有效折射率变化可以表示为

    $$\delta {n_{{\rm{eff}}}}({\textit{z}}) = \overline \delta {n_{{\rm{eff}}}}({\textit{z}})\left\{ {1 + v\cos \left( {\frac{{2{\rm{{\text{π}} }}}}{\Lambda }{\textit{z}} + \phi ({\textit{z}})} \right)} \right\}*f({\textit{z}})$$ (1)

    式中:$\overline \delta {n_{{\rm{eff}}}}$为一个周期内光栅折射率改变的平均值;$v$为折射率变化函数的幅值;$f({\textit{z}})$为切趾函数。整个光栅区域的折射率分布为

    $$n({\textit{z}}) = {n_0} + \delta {n_{{\rm{eff}}}}({\textit{z}})$$ (2)
    图  1  光纤布拉格光栅的基本结构
    Figure  1.  Basic structure of fiber Bragg grating

    对于均匀的光纤布拉格光栅,其耦合模方程组为

    $$\begin{array}{l} \dfrac{{{\rm{d}}{A^ + }}}{{{\rm{d}}{\textit{z}}}} = {\rm{i}}\zeta {A^ + }({\textit{z}}) + {\rm{i}}\kappa {B^ + }({\textit{z}}) \\ \dfrac{{{\rm{d}}{B^ + }}}{{{\rm{d}}{\textit{z}}}} = - {\rm{i}}\zeta {A^ + }({\textit{z}}) - {\rm{i}}{\kappa ^ * }{B^ + }({\textit{z}}) \end{array} $$ (3)

    其中:

    $$\begin{array}{l} {A^ + }({\textit{z}}) = A({\textit{z}})\exp \Bigg({\rm{i}}\Bigg(\beta - \dfrac{{\text{π}} }{\Lambda }\Bigg){\textit{z}} - \dfrac{\phi }{2}\Bigg) \\ {B^ + }({\textit{z}}) = B({\textit{z}})\exp \Bigg({\rm{i}}\Bigg(\beta - \dfrac{{\text{π}} }{\Lambda }\Bigg){\textit{z}} - \dfrac{\phi }{2}\Bigg) \end{array} $$ (4)

    式中:$A({\textit{z}})$$B({\textit{z}})$分别为沿着光纤正向和反向传输基模的慢变幅度;${A^ + }({\textit{z}})$${B^ + }({\textit{z}})$分别对应正向传输波的幅度和反向传输波的幅度。对单模光纤而言有:

    $$\zeta = \delta + \dfrac{{2{\rm{{\text{π}} }}}}{\lambda }\overline \delta {n_{{\rm{eff}}}} - \dfrac{1}{2}\dfrac{{{\rm{d}}\phi }}{{{\rm{d}}{\textit{z}}}}$$ (5)
    $$\delta = \beta - \frac{{\text{π}} }{\Lambda } = 2{\rm{{\text{π}} }}{n_{{\rm{eff}}}}\left[ {\frac{1}{\lambda } - \frac{1}{{{\lambda _B}}}} \right]$$ (6)
    $$\kappa = {\kappa ^ * } = \frac{{\rm{{\textit{z}} }}}{\lambda }v\overline \delta {n_{{\rm{eff}}}}$$ (7)

    式中:$\zeta $为光纤光栅的直流自耦合系数;$\delta $表示光纤光栅的波数失谐;${\lambda _B} = 2{n_{{\rm{eff}}}}\Lambda$为理想光栅的情况,即$\overline \delta {n_{{\rm{eff}}}} = 0$时的中心波长;$\kappa $为光纤光栅的交流耦合系数。假设光栅从${\textit{z}} = - \infty $开始传导,在光栅的起始区域前向波未与后向波发生耦合,且在光栅长度外无向后传输的光,则边界条件如下:

    $$\left\{ \begin{array}{l} {A^ + }( - {L / 2}) = 1 \\ {B^ + }({L / 2}) = 0 \end{array} \right.$$ (8)

    $D = \dfrac{d}{{{\rm{d}}\textit{z}}}$,则(8)式可以化简为

    $$\left\{ \begin{array}{l} (D - {\rm{i}}\zeta ){A^ + } = {\rm{i}}\kappa {B^ + } \\ (D + {\rm{i}}\zeta ){B^ + } = {\rm{i}}\kappa {A^ + } \end{array} \right.$$ (9)

    (9)式通过化简有:$({D^2} + {\zeta ^2} - {\kappa ^2}){A^ + } = 0$。令$g = \sqrt {{\kappa ^2} - {\zeta ^2}} $,则有:

    $$\begin{array}{l} {A^ + }({\textit{z}}) = {c_1}\exp (g{\textit{z}}) + {c_2}\exp ( - g{\textit{z}}) \\ {B^ + }({\textit{z}}) = \dfrac{{\sqrt {{\kappa ^2} - {\zeta ^2}} - {\rm{i}}{\zeta ^2}}}{{i\kappa }}{c_1}\exp (g{\textit{z}}) -\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\dfrac{{\sqrt {{\kappa ^2} - {\zeta ^2}} + {\rm{i}}{\zeta ^2}}}{{i\kappa }}{c_2}\exp ( - g{\textit{z}}) \end{array} $$ (10)

    将边界条件代入(10)式可得:

    $$ {A^ + } = \dfrac{{g\cosh \left[ {g({\textit{z}} - L/2)} \right] - {\rm{i}}\zeta \sinh \left[ {g({\textit{z}} - L/2)} \right]}}{{g\cosh (gL) + {\rm{i}}\zeta \sinh (gL)}} $$
    $$\begin{array}{l} {A^ + } = \dfrac{{g\cosh \left[ {g({\textit{z}} - L/2)} \right] - {\rm{i}}\zeta \sinh \left[ {g({\textit{z}} - L/2)} \right]}}{{g\cosh (gL) + {\rm{i}}\zeta \sinh (gL)}} \\ {B^ + } = \dfrac{{ - {\rm{i}}\kappa \sinh \left[ {g({\textit{z}} - L/2)} \right]}}{{g\cosh (gL) + {\rm{i}}\zeta \sinh (gL)}} \end{array} $$ (11)
    $$R = \frac{{{P_{{B^ + }( - L/2)}}}}{{{P_{{A^ + }( - L/2)}}}} = \frac{{\left| {{B^ + }( - L/2)} \right|}}{{\left| {{A^ + }( - L/2)} \right|}} = \frac{{{{\sinh }^2}(\sqrt {{\kappa ^2} - {\zeta ^2}} L)}}{{{{\cosh }^2}(\sqrt {{\kappa ^2} - {\zeta ^2}} L) - \dfrac{{{\zeta ^2}}}{{{\kappa ^2}}}}}$$ (12)

    π相移布拉格光栅为非均匀光栅,因此可以将光栅分为N段,每一段光栅相当于一个子光栅,这个子光栅可以用一个传输矩阵表示。设第i个矩阵为${F_i}$,则在第i段内正向传输和反向传输经过第i段后的场幅可以表示为

    $$\left[ \begin{array}{l} {A^ + }_i \\ {B^ + }_i \end{array} \right] = {F_i}\left[ \begin{array}{l} {A^ + }_{i - 1} \\ {B^ + }_{i - 1} \end{array} \right]$$ (13)

    整段光栅可以表示为

    $$\left[ \begin{array}{l} {A^ + }_N \\ {B^ + }_N \end{array} \right] = F\left[ \begin{array}{l} {A^ + }_0 \\ {B^ + }_0 \end{array} \right]$$ (14)

    式中$F = {F_N}{F_{N - 1}}{F_{N - 2}} \cdot \cdot \cdot {F_3}{F_2}{F_1}$。结合光栅的边界条件有:

    $${F_i} = \left[ {\begin{array}{*{20}{c}} {\cosh (g\Delta {\textit{z}}) - {\rm{i}}\dfrac{\zeta }{g}\sinh (g\Delta {\textit{z}})}&{ - {\rm{i}}\dfrac{\kappa }{g}\sinh (g\Delta {\textit{z}})} \\ {{\rm{i}}\dfrac{\kappa }{g}\sinh (g\Delta {\textit{z}})}&{\cosh (g\Delta {\textit{z}}) + {\rm{i}}\dfrac{\zeta }{g}\sinh (g\Delta {\textit{z}})} \end{array}} \right]$$ (15)

    对于π相移光栅,相当于在F中引入了一个相移矩阵:

    $$\left[ {\begin{array}{*{20}{c}} {{{\rm e}^{ - {\rm{i}}\varphi }}}&0 \\ 0&{{{\rm e}^{{\rm{i}}\varphi }}} \end{array}} \right]$$ (16)

    加入相移矩阵之后整个相移光栅的传输矩阵可以表示为

    $$F = {F_N}{F_{N - 1}}{F_{N - 2}} \cdot \cdot \cdot \left[ {\begin{array}{*{20}{c}} {{{\rm e}^{ - {\rm{i}}\varphi }}}&0 \\ 0&{{{\rm e}^{{\rm{i}}\varphi }}} \end{array}} \right] \cdot \cdot \cdot {F_3}{F_2}{F_1}$$ (17)

    由于相移矩阵的出现,在谐振峰范围内将出现一个极窄的通道,通道的位置由相位差$\varphi $决定。图2为π相移光栅的透射谱仿真图。从图2中可以看出,当相位差$\varphi $不同时极窄通道所处的位置也不同。

    图  2  不同相位差情况下的π相移布拉格光栅透射谱仿真图
    Figure  2.  Simulation diagram of π phase-shifted Bragg grating transmission spectrum under different phase differences

    图2可知,相比于传统均匀光纤布拉格光栅,π相移布拉格光栅的透射光谱具有2个或以上的谐振峰,这就为我们进行温度和应变的同时测量提供了条件。针对π相移布拉格光纤光栅,其多峰波长漂移关系式为

    $$\begin{array}{l} \Delta {\lambda _A} = k_A^T\Delta T + k_A^\varepsilon \Delta \varepsilon \\ \Delta {\lambda _B} = k_B^T\Delta T + k_B^\varepsilon \Delta \varepsilon \end{array} $$ (18)

    式中:$\vartriangle {\lambda _A}$$\vartriangle {\lambda _B}$表示2个不同谐振峰的漂移量;$\Delta T$$\Delta \varepsilon $代表温度和应变量的增量。当温度和应变量同时施加到相移布拉格光栅上时,对应的矩阵可以表示为[16]

    $$\left[ {\begin{array}{*{20}{c}} {\Delta {\lambda _{\rm{A}}}} \\ {\Delta {\lambda _{\rm{B}}}} \end{array}} \right]{\rm{ = }}\left[ {\begin{array}{*{20}{c}} {{K_{T{\rm{A}}}}}&{{K_{\varepsilon {\rm{A}}}}} \\ {{K_{T{\rm{B}}}}}&{{K_{\varepsilon {\rm{B}}}}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {\Delta T} \\ {\Delta \varepsilon } \end{array}} \right]$$ (19)

    式中:KTAKTB代表2个谐振峰的温度灵敏度;${K_{\varepsilon A}}$${K_{\varepsilon B}}$为应变量灵敏度。则解调矩阵为

    $$\left[ {\begin{array}{*{20}{c}} {\Delta T} \\ {\Delta \varepsilon } \end{array}} \right]{\rm{ = }}\frac{1}{D}\left[ {\begin{array}{*{20}{c}} {{K_{\varepsilon {\rm{B}}}}}&{ - {K_{\varepsilon {\rm{A}}}}} \\ { - {K_{T{\rm{B}}}}}&{{K_{T{\rm{A}}}}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {\Delta {\lambda _{\rm{A}}}} \\ {\Delta {\lambda _{\rm{B}}}} \end{array}} \right]$$ (20)

    式中,$D = {K_{TA}}{K_{\varepsilon B}} - {K_{\varepsilon A}}{K_{TB}}$

    普通光纤布拉格光栅的制备是将紫外光通过相位掩模板周期性曝光在载氢光纤上,而制备相移光栅需要通过特殊定制的相移相位掩模板来制备。这种相位模板可以通过调整周期分布形成缺级,紫外光投过该相位掩模板后条纹也会形成缺级,因此能够在普通光纤布拉格光栅上存在一个相位跳变形成相移光纤。本文所采用的方法是在刻写光栅前用电极放电的方法去除掉极小一段光纤的光敏性,使光纤原有的均匀周期分布状态被破坏,因此整段光纤中有一小部分无法形成折射率的调制导致折射率产生部分跳变,通过此种方法制成的相移光栅的透射光谱如图3所示。从图3可以看出,此种方法制成的相移光栅具有2个较为明显的谐振峰,并且2个峰的中心波长位置差异较大,这就给同时测量温度与应力提供了可能性。我们将中心波长较小的谐振峰命名为dip A,中心波长较大的谐振峰命名为dip B,并在下一章给出2个谐振峰对于温度与应力变化的详细分析。

    图  3  紫外刻写相移光纤光栅的透射光谱
    Figure  3.  Transmission spectrum of UV lithography phase-shifted fiber grating

    应用相移布拉格光栅进行温度及应力影响在线监测实验装置如图4所示。将光纤光栅放置在恒温控制箱内,同时使用智能控制的应力位移装置来控制加在光栅上的应力,超连续光源产生的光直接注入到光纤纤芯中,经由布拉格光栅后接入光谱仪,对光谱进行实时监测。

    图  4  实验装置图
    Figure  4.  Diagram of experimental device

    为了验证具有此种结构相移光栅在相同应力,不同温度情况下的响应,我们保持光栅所受应力为0 με,分别给光栅加温至30 ℃、45 ℃、55 ℃、65 ℃、75 ℃、85 ℃及95 ℃,所得到的透射光谱曲线如图5所示。

    图  5  相同应力不同温度条件下相移光栅的透射光谱曲线
    Figure  5.  Transmission spectrum curve of phase-shifted grating under same stress and different temperature

    图5可知,在相同应力条件下,相移光栅的谐振峰波长会随着温度的升高产生红移。2个峰值的波长漂移随温度变化的关系曲线如图6所示。可以看出,波长漂移量与温度变化量之间存在着良好的线性关系,线性度分别为0.993 63和0.994 02。因此可以说明,该结构的相移布拉格光栅可以用来实现温度传感,并且2个峰值在相同应力下对于波长变化的漂移系数差异较大,说明2个峰值波长的漂移可以用于多参量的测量解调。

    图  6  相移光栅2个峰值随温度变化的关系曲线
    Figure  6.  Relation curve of two peaks of phase-shifted grating with temperature change

    在温度相同(30 ℃)的情况下,将制作好的相移光栅给定不同的应力,应力范围为0~2 000 με,间隔为400 με。其透射光谱如图7所示。

    图7可知,在相同温度的情况下,相移光纤光栅的谐振峰值会随着应力的增加而产生红移。2个峰值的波长漂移随应力变化的关系曲线如图8所示。由图8可见,波长漂移量与应力变化量之间存在着良好的线性关系,线性度分别为0.999 83和0.999 84。因此,该结构的相移布拉格光栅可用于进行应力的传感,2个峰值在相同温度下对波长变化的漂移系数差异较小。

    图  7  相同温度不同应力条件下相移光栅的透射光谱曲线
    Figure  7.  Transmission spectrum curve of phase-shifted grating under same temperature and different stress
    图  8  相移光栅2个峰值随应力变化的关系曲线
    Figure  8.  Relation curve of two peaks of phase-shifted grating with stress change

    从2.1及2.2中我们可以得知,具有同种单模光纤熔接结构的相移布拉格光栅在测量温度以及应变时均具有良好的线性关系。根据上面2.2节提到的相移布拉格光纤光栅同时测量温度与应变的公式,可以得出在实际解调过程中dip A的温度灵敏度为9.43 pm/℃,应变量灵敏度为0.761 pm/με;dip B的温度灵敏度为9.51 pm/℃,应变量灵敏度为0.767 pm/με,代入(20)式可得到如下解调关系式:

    $$\left[ {\begin{array}{*{20}{c}} {\Delta T} \\ {\Delta \varepsilon } \end{array}} \right]{\rm{ = }}\frac{1}{{ - 0.043}}\left[ {\begin{array}{*{20}{c}} {0.767}&{ - 0.761} \\ { - 9.51}&{9.43} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {\Delta {\lambda _{\rm{A}}}} \\ {\Delta {\lambda _{\rm{B}}}} \end{array}} \right]$$

    因此,利用上述关系式即可实现相移光纤光栅的温度、应力同时测量。

    表1给出了光纤光栅传感器在不同温度下测量应变的灵敏度。分析可得dip A及dip B在应力相同的情况下,测量温度的灵敏度的方差分别为1.773×10−7及2.125×10−7

    表2给出了光纤光栅传感器在不同应力下测量温度的灵敏度,分析可得dip A及dip B测量应力的灵敏度的方差分别为1.786×10−10及2.156×10−10

    表  1  相同应力条件下相移光栅温度测量灵敏度
    Table  1.  Temperature measurement sensitivity of phase-shifted grating under same stress
    温度/℃30455565758595
    灵敏度(dip A) 0.000 767 0.000 769 0.000 768 0.000 755 0.000 748 0.000 747 0.000 734
    灵敏度(dip B) 0.000 767 0.000 774 0.000 768 0.000 754 0.000 748 0.000 745 0.000 734
    下载: 导出CSV 
    | 显示表格
    表  2  相同温度条件下相移光栅应力测量灵敏度
    Table  2.  Stress measurement sensitivity of phase-shifted grating under same temperature
    应力/με04008001 2001 6002 000
    灵敏度(dip A) 0.009 534 0.009 177 0.009 087 0.008 683 0.008 543 0.008 454
    灵敏度(dip B) 0.009 62 0.009 086 0.009 07 0.008 773 0.008 446 0.008 392
    下载: 导出CSV 
    | 显示表格

    可见,所制光纤光栅传感器温度及应变测量灵敏度方差较小,具有较强的测量一致性。

    本文提出了一种新型的利用紫外光刻写相移光栅的方法。该方法是在刻写光栅前用电极放电的方法去除掉极小一段光纤的光敏性,导致光纤原有的均匀周期分布状态被破坏,从而使整段光纤中有一小部分无法形成折射率的调制,产生部分跳变形成相移光栅。并且结合理论与仿真分析了这种相移光栅的形成机理。比起传统的制备相移光栅的方法,这种方法更加简单高效,同时制备成本更低,不需要大型昂贵仪器设备。此外,本文将这种相移光栅作为光纤传感器进行了温度与应力同时测量实验,实验结果表明,具有该结构的相移光纤光栅具有2个不同的谐振峰,2个峰对于温度和应力的灵敏度不同,因此可以进行温度与应力的同时测量。所制作的传感器温度灵敏度最高可达9.51 pm/℃,灵敏度方差低于2.125×10−7,应变灵敏度最高可达0.767 pm/με,灵敏度方差低于2.156×10−10

  • 图  1   本文提出的基于单次曝光光场成像的导向滤波全焦图像重建技术流程图

    Figure  1.   Flow chart of guided filter all-in-focus image reconstruction technology based on single exposure light field imaging

    图  2   基于单次曝光光场成像的多聚焦图像源集的获取原理

    Figure  2.   Principle of obtaining multi-focus image source set based on single exposure light field imaging

    图  3   基于单次曝光光场成像的导向滤波全焦图像重建技术的实验系统

    Figure  3.   Experimental system of guided filter all-in-focus image reconstruction technology based on single exposure light field imaging

    图  4   基于单次曝光光场成像的多聚焦图像源集的获取结果

    Figure  4.   Results of multi-focus image source set based on single exposure light field imaging

    图  5   基于导向滤波的全焦图像的重建效果

    Figure  5.   Reconstruction results of all-in-focus image based on guided filtering

    图  6   全焦图像的重建效果比较

    Figure  6.   Comparison of different reconstruction results of all-in-focus images

    表  1   全焦图像重建技术伪代码

    Table  1   Pseudocode for all-in-focus image reconstruction technology

    Algorithm All-in-focus Image Reconstruction
    Input:Multi-focus images(I1I2,……,IN
    Output:All-in-focus image Ifusion
    1: for N=1 to N do
    2:  Low frequency map LNfaverageIN
    3:  Obtain the low frequency map HN by Eq.(3)
    4:  edge information ENflaplacianIN
    5:  if Eiij)=max{E1ij),E2ij),……,ENij)} then
    6:  PNij)=1.
    7: else
    8:  PNij)=0.
    9: end
    10:  weight mapsfguideINPN)by Eq.(6)and Eq.(7).
    11:  Normalize weight maps by Eq.(8).
    12: end
    13: All-in-focus image is reconstructed by Eq.(9)
    下载: 导出CSV
  • [1]

    WANG Z, MA Y, GU J. Multi-focus image fusion using PCNN[J]. Pattern Recognition,2010,43(6):2003-2016. doi: 10.1016/j.patcog.2010.01.011

    [2]

    CHEN C Y, HWANG R C, CHEN Y J. A passive auto-focus camera control system[J]. Applied Soft Computing,2010,10(1):296-303. doi: 10.1016/j.asoc.2009.07.007

    [3]

    TURKAR M, AMBATKAR N S. Wavelet based multi-focus image fusion[J]. IInternational Journal of Scientific Progress and Research,2016,24(3):2349-4689.

    [4]

    MEHDI N, MOHAMMAD A, MEHDI K. Multi-focus image fusion for visual sensor networks in wavelet domain[C]//International Symposium on Artificial Intelligence and Signal Processing. Cham: Springer International Publishing, 2014: 23-31.

    [5]

    TIAN J, CHEN L. Adaptive multi-focus image fusion using a wavelet-based statistical sharpness measure[J]. Signal Processing,2012,92(9):2137-2146. doi: 10.1016/j.sigpro.2012.01.027

    [6]

    YANG B, ZHONG J, LI Y, et al. Multi-focus image fusion and super-resolution with convolutional neural network[J]. International Journal of Wavelets, Multiresolution and Information Processing,2017,15(4):1750037. doi: 10.1142/S0219691317500370

    [7]

    AMIN-NAJI M, AGHAGOLZADEH A, EZOJI M. CNNs hard voting for multi-focus image fusion[J]. Journal of Ambient Intelligence and Humanized Computing,2020,11(4):1749-21.

    [8]

    CHEN N, REN Z, LAM E Y. High-resolution Fourier hologram synthesis from photographic images through computing the light field[J]. Applied Optics,2016,55(7):1751-1756. doi: 10.1364/AO.55.001751

    [9]

    LEVOY M, HANRAHAN P. Light field rendering[C]//Proceedings of the 23rd annual conference on Computer graphics and interactive techniques - SIGGRAPH '96. USA: ACM Press, 1996.

    [10]

    ZHANG B, WANG C, LIU Y, et al. Reconstruction of 3D temperature profile of radiative participatory flame based on digital refocusing technique of light field camera[J]. International Journal of Photoenergy,2019,6342808:1-13.

    [11] 王宇, 张旭, 屠大维. 基于频域的像素光场图像重聚焦算法[J]. 光学仪器, 2016, 38(2): 121-127.

    WANG Yu, ZHANG Xu, TU Dawei . Refocus of the pixel light field image in the frequency domain[J]. Optical Instruments , 38(2): 121-127.

    [12]

    ZHU H, ZHANG Q, WANG Q, et al. 4D light field superpixel and segmentation[J]. IEEE Transactions on Image Processing,2020,29:85-99. doi: 10.1109/TIP.2019.2927330

    [13]

    KOO J I, PARK S B. Speckle reduction with edge preservation in medical ultrasonic images using a homogeneous region growing mean filter (HRGMF)[J]. Ultrason Imaging,1991,13(3):211-237. doi: 10.1177/016173469101300301

    [14]

    HAO S J, WANG M, HONG R C, et al. Spatially guided local Laplacian filter for nature image detail enhancement[J]. Multimedia Tools & Applications,2016,75(3):1529-1542.

    [15]

    LAVANYA D N, BALAKRISHNA P, BABU S K, et al. Guided image filter using multi-exposure image fusion: a patch-wise approach[J]. International Journal of Research,2017,4(1):591-596.

    [16]

    ITO K, XIONG K. Gaussian filters for nonlinear filtering problems[J]. IEEE Transactions on Automatic Control,2000,45(5):910-927. doi: 10.1109/9.855552

    [17]

    MONSON J, WIRTHLIN M, HUTCHINGS B L. Optimization techniques for a high level synthesis implementation of the Sobel filter[C]//2013 International Conference on Reconfigurable Computing and FPGAs (ReConFig).USA: IEEE, 2013.

    [18]

    JAMEEL A, GHAFOOR A, RIAZ M M. All in focus fusion using guided filter[J]. Multidimensional Systems and Signal Processing,2015,26(3):879-889. doi: 10.1007/s11045-014-0302-7

    [19]

    LUGT A V. Signal detection by complex spatial filtering[J]. IEEE Transactions on Information Theory,1964,10(2):139-145. doi: 10.1109/TIT.1964.1053650

    [20]

    RANGAPPA S, MATHARU R, PETZING J, et al. Establishing the performance of low-cost Lytro cameras for 3D coordinate geometry measurements[J]. Machine Vision and Applications, 2019(30):615–627.

    [21] 朱锡芳, 吴峰. 基于小波阈值法和维纳滤波的稀疏孔径光学系统成像的恢复[J]. 应用光学,2007,28(5):526-530.

    ZHU Xifang , WU Feng. Imaging restoration for sparse aperture optical systems based on wavelet threshold and Wiener filtering[J]. Journal of Applied Optics,2007,28(5):526-530.

    [22] 陈清江, 石小涵, 柴昱洲. 基于小波变换与卷积神经网络的图像去噪算法[J]. 应用光学,2020,41(2):288-295.

    CHEN Qingjiang, SHI Xiaohan, CHAI Yuzhou. Image denoising algorithm based on wavelet transform and convolutional neural network[J]. Journal of Applied Optics,2020,41(2):288-295.

    [23]

    PEREZ NAVA F, LUKE J P. Simultaneous estimation of super-resolved depth and all-in-focus images from a plenoptic camera[C]//3DTV Conference on the True Vision-Capture, Transmission and Display of 3D Video. USA:IEEE, 2009.

    [24] 那彦, 殷廷瑞, 杨万海. 基于成像原理的小波包变换多聚焦图像融合[J]. 应用光学,2004,25(2):51-54.

    NA Yan, YIN Tingrui, YANG Wanhai. Multifocus image fusion based on imaging mechanism[J]. Journal of Applied Optics,2004,25(2):51-54.

    [25] 王健, 陈洪斌, 周国钟,等. 改进的Brenner图像清晰度评价算法[J]. 光子学报,2012,41(7):855-858. doi: 10.3788/gzxb20124107.855

    WANG Jian, CHEN Hongbin, ZHOU Guozhong, et al. An improved Brenner algorithm for image definition criterion[J]. Acta Photonica Sinica,2012,41(7):855-858. doi: 10.3788/gzxb20124107.855

  • 期刊类型引用(2)

    1. 李博,李凯,江山. 基于全同超弱反射光纤光栅阵列的实用解调系统研究. 电子设计工程. 2023(07): 146-150+155 . 百度学术
    2. 简丹,刘诚. 可用于现场快速检测的小型化多通道光谱测量系统. 应用光学. 2021(02): 310-316 . 本站查看

    其他类型引用(3)

图(6)  /  表(1)
计量
  • 文章访问数:  3780
  • HTML全文浏览量:  2514
  • PDF下载量:  90
  • 被引次数: 5
出版历程
  • 收稿日期:  2020-05-18
  • 修回日期:  2020-06-12
  • 网络出版日期:  2020-10-19
  • 刊出日期:  2021-01-14

目录

/

返回文章
返回