保留边界特征的深度图像增强算法研究

周自顾, 曹杰, 郝群, 高泽东, 肖宇晴

周自顾, 曹杰, 郝群, 高泽东, 肖宇晴. 保留边界特征的深度图像增强算法研究[J]. 应用光学, 2018, 39(2): 200-206. DOI: 10.5768/JAO201839.0202001
引用本文: 周自顾, 曹杰, 郝群, 高泽东, 肖宇晴. 保留边界特征的深度图像增强算法研究[J]. 应用光学, 2018, 39(2): 200-206. DOI: 10.5768/JAO201839.0202001
shu
Zhou Zigu, Cao Jie, Hao Qun, Gao Zedong, Xiao Yuqing. Depth image enhancement algorithm for preserving boundary[J]. Journal of Applied Optics, 2018, 39(2): 200-206. DOI: 10.5768/JAO201839.0202001
Citation: Zhou Zigu, Cao Jie, Hao Qun, Gao Zedong, Xiao Yuqing. Depth image enhancement algorithm for preserving boundary[J]. Journal of Applied Optics, 2018, 39(2): 200-206. DOI: 10.5768/JAO201839.0202001
shu

保留边界特征的深度图像增强算法研究

  • 1.

    北京理工大学 光电学院，机器人与系统教育部重点实验室 北京 100081

  • 2.

    清华大学 深圳研究生院，深圳 518055

  • 3.

    西安应用光学研究所，陕西 西安 710065

基金项目: 

国家自然科学基金 61275003

国家自然科学基金 91420203

国家自然科学基金 61605008

国家重大科学仪器设备开发专项项目 2014YQ350461

深圳市基础研究(学科布局)项目 JCYJ20170412171011187

详细信息
    作者简介:

    周自顾(1991-), 男，安徽阜阳人，硕士，主要从事图像处理方面的研究工作。E-mail:ahuzhouzigu@163.com

    通讯作者:

    郝群(1968-), 女，山东淄博人，博士生导师，教授，主要从事精密光学测量、光电信息获取与处理工作。E-mail: qhao@bit.edu.cn

  • 中图分类号: TN29

Depth image enhancement algorithm for preserving boundary

  • 1.

    School of Optoelectronics, Beijing Institute of Technology, Key Laboratory of Biomimetic Robots and Systems(Ministry of Education), Beijing 100081, China

  • 2.

    Graduate School at Shenzhen, Tsinghua University, Shenzhen 518055, China

  • 3.

    Xi'an Institute of Applied Optics, Xi'an 710065, China

摘要

    摘要
  • 摘要: 针对现有深度图像增强算法存在边界保留特性差的问题，提出梯度掩模导向联合滤波(gradient mask guided joint filter, GMGJF)算法。利用深度图像进行Sobel梯度变换获取边界方向信息，利用深度图像空洞区域生成空洞掩模，再以边界方向和空洞掩模为导向联合彩色图像对深度图像进行迭代高斯滤波和空洞填充。实验结果表明，GMGJF算法的PSNR(peak signal to noise ratio)、SSIM(structural similarity index measure)比IMF(iterative median filter)、GF(guided filter)、JBF(joint bilateral filter)算法的PSNR、SSIM至少提高了3.50%和1.07%，不仅去噪能力、空洞填充能力最强，而且边界特征保持最好，有利于深度图像的特征提取与目标识别。
    Abstract: The drawback of current depth image enhancement algorithms is poor performance of edge preserving. To solve this drawback, the gradient mask guided joint filtering(GMGJF)algorithm is proposed. The Sobel gradient transform is used to obtain the boundary direction information, and the hole region of the depth images was utilized to generate the hole mask.Furthermore, taking the boundary direction and the cavity mask as the guidance, the color image was jointed to perform iterative Gaussian filtering and hole filling on the depth image. Experimental results show that the peak signal to noise ratio(PSNR)and the structural similarity index measure(SSIM) of GMGJF algorithm are improved by at least 3.50% and 1.07% respectively, compared with the iterative median filter(IMF), guided filter (GF) and joint bilateral filter(JBF) algorithms, it has both the strongest ability of denoising and hole filling, and can remain the boundary features best, which is good for feature extraction and target recognition of depth image.
    • HTML全文

  • 引言

    近年来，立体成像技术得到快速发展，其中包含场景深度信息的深度图像作为环境感知、场景理解的重要线索，在计算机视觉领域得到广泛应用，如机器人导航[1-2]、人机交互[3]、三维场景重建[4-5]等。但利用深度传感器(如Kinect，ToF相机)获取的深度图像通常含有噪声和空洞[6]，降低了深度图像中深度值可靠性，因此，增强深度图像质量很有必要。

    目前，深度图像增强算法主要是实现噪声滤除和空洞填充功能。现有方法主要有以下4类：第一类是基于联合双边滤波(joint bilateral filter, JBF)算法[7-8]，该类算法主要利用校准的彩色图像和深度图像对深度图像进行去噪和空洞填充。此类算法能够有效去除深度图像中的噪声，并且填充空洞。但该类算法在细节保留特性方面比较差，当边界两边强度值相近时，将会导致边界模糊，降低图像中物体边界清晰度。第二类是基于联合三边滤波算法[9-10]，该类算法利用像素之间的空间距离、像素强度值相近性以及像素深度值相近性决定像素权重。相比于第一类算法，该类算法添加像素深度值相近性限制条件，解决了由于边界两边强度值相近时导致的边界模糊问题。但是，该算法增加了算法复杂度，耗时长，且处理后的深度图像中存在伪影。第三类是基于迭代中值滤波(iterative median filter, IMF)算法[11], 该类算法主要存在几何失真问题[12]。第四类是导向高斯滤波(guided filter, GF)算法[13]，该类算法主要存在画质模糊和边界出现锯齿问题。

    针对上述算法共同存在的细节模糊和边界保留特性差问题，本文提出一种梯度掩模导向联合滤波(gradient mask guided joint filter, GMGJF)算法。利用深度图像进行Sobel梯度变换获得边界方向信息，利用深度图像空洞区域生成空洞掩模，同时，以边界方向和空洞掩模为导向，联合彩色图像对深度图像进行迭代高斯滤波和空洞填充，获得增强的深度图像。

    1   算法设计

    1.1   空洞区域提取

    本文以深度传感器Kinect为例，Kinect采用结构光测量空间物体和传感器之间距离。该种方法基于光编码技术，利用红外投影机把已知红外模式投射到空间物体上，通过Kinect红外摄像机捕获投射到物体上该模式的变形，经过特殊算法解析拍摄的变形模式，计算出前方空间中某个物体和Kinect之间的距离。Kinect用16位的短整型数组存储测量得到的距离值，当红外摄像机无法捕获红外投影机所投射到空间中的点时，这些区域的位置无法正确解析，因此，Kinect传回距离为0的信息，在深度图像中呈现为黑色空洞部分。Kinect采集到的彩色图像和深度图像如图 1所示，深度图像普遍存在噪声(图 1(b)中物体边缘毛刺部分)和空洞(图 1(b)中黑色空洞部分)问题。影响深度图像质量的因素主要有两方面：一方面是由传感器自身噪声干扰造成；另一方面是由于光照条件、物体表面特性、遮挡以及空间深度不连续性造成的无效深度值。利用深度图像中距离值是否为0进行空洞区域提取，结果如图 1(c)所示。

    图  1  Kinect采集图像
    Figure  1.  Images collected by Kinect
    下载: 全尺寸图片 幻灯片

    1.2   联合双边滤波器原理

    JBF是双边滤波器的一种改进算法，双边滤波器的权值都是由一幅待处理图像得到，而JBF则利用另一幅图像为待处理图像提供权值。用于深度图像增强的传统JBF定义如下：

    $$ \begin{align} & ~D'\left( p \right)=\frac{1}{{{w}_{p}}}~\sum\limits_{q\in {{\mathit{\Phi }}_{p}}}{D\left( q \right)f_{s}^{d}\left( {{q}_{x}}-{{p}_{x}}, {{q}_{y}}-{{p}_{y}} \right)}\cdot \text{ } \\ & \ \ \ \ \ \ \ \ \ \ \ \ f_{r}^{c}\left( {{I}^{q}}-{{I}^{p}} \right)~ \\ \end{align} $$ (1)

    式中：p，q为像素；D(q)是原深度图像；D′(p)是增强后深度图像；Φp是以p点像素为中心，半径为r的滤波窗口，即

    $$ \begin{align} & {{\mathit{\Phi }}_{p}}=\left\{ q=\left( {{q}_{x}}, {{q}_{y}} \right)|{{p}_{x}}-r\le {{q}_{x}}\le {{p}_{x}}+r, {{p}_{y}}- \right. \\ & \left. \text{ }r\le {{q}_{y}}\le {{p}_{x}}+r| \right\}~ \\ \end{align} $$ (2)

    wp为滤波模板权值和，如(3)式所示：

    $$ {{w}_{p}}=\sum\limits_{q\in {{\mathit{\Phi }}_{p}}~}{f_{s}^{d}\left( {{q}_{x}}-{{p}_{x}}, {{q}_{y}}-{{p}_{y}} \right)f_{r}^{c}\left( {{I}^{q}}-{{I}^{p}} \right)}\text{ } $$ (3)

    式中fsd为空间高斯内核，定义如下：

    $$ f_{s}^{d}\left( {{q}_{x}}-{{p}_{x}}, {{q}_{y}}-{{p}_{y}} \right)={{\text{e}}^{-\frac{1}{2}\left( \frac{{{\left( {{q}_{x}}-{{p}_{x}} \right)}^{2}}+{{\left( {{q}_{y}}-{{p}_{y}} \right)}^{2}}~}{\sigma _{s}^{2}} \right)}} $$ (4)

    内核frc测量彩色图像相邻像素之间强度值的差异，定义如下:

    $$ f_{r}^{c}\left( {{I}_{q}}-{{I}_{p}} \right)={{\text{e}}^{-\frac{1}{2}\text{ }\left( \frac{{{I}^{q}}-{{I}^{p}}}{{{\sigma }_{r}}} \right)~{{~}^{2}}}} $$ (5)

    式中：σs，σr均为高斯标准差；Ip，Iq分别为p点像素和q点像素的强度值。

    传统的JBF算法包括：1)空间高斯内核fsd，其作用主要为平滑图像；2)测量彩色图像相邻像素之间强度值差异的frc，其作用主要为深度图像空洞填充。但由于高斯滤波根据相邻像素之间的距离确定权重，在滤除噪声的同时，容易导致图像细节丢失、边界特征模糊。frc算子部分通过彩色信息进行空洞盲填充，而盲填充容易造成丢失深度图像内部细节信息的过填充，或造成填充不完整的欠填充。

    1.3   梯度掩模导向联合滤波算法

    针对JBF存在的高斯内核容易丢失边界特征及空洞盲填充导致深度图像空洞过填充或欠填充的问题，提出GMGJF算法，主要由梯度掩模导向联合滤波器迭代运算实现。GMGJF包括：1)具有Sobel梯度导向的高斯滤波核fsdd代替高斯滤波内核，既实现了噪声滤除，又为后续彩色信息填充空洞提供边界导向；2)增加空洞掩模滤波核，为彩色信息进行空洞填充时提供空洞信息标识，防止过填充或欠填充。GMGJF定义如下：

    $$ \begin{align} & D'\left( p \right)=\frac{1}{{{w}_{p}}}\sum\limits_{q\in {{\mathit{\Phi }}_{p}}}{D\left( q \right)f_{ds}^{d}\left( {{q}_{x}}-{{p}_{x}}, {{q}_{y}}-{{p}_{y}} \right)\cdot } \\ & \ \ \ \ \ \ \ \ \ \text{ }~\text{ }{{D}_{\text{mask}}}f_{r}^{c}\left( {{I}^{q}}-{{I}^{p}} \right) \\ \end{align} $$ (6)

    式中：D′(p)为增强后深度图像；D(p)为原深度图像；fdsd为有Sobel梯度导向的高斯滤波核；Dmask为空洞掩模滤波核；frc为测量彩色图像相邻像素之间强度值差异的滤波核；wp为滤波模板权值和，即

    $$ {{w}_{p}}=\sum\limits_{q\in {{\mathit{\Phi }}_{p}}}{f_{ds}^{d}\left( {{q}_{x}}-{{p}_{x}}, {{q}_{y}}-{{p}_{y}} \right){{D}_{\text{mask}}}f_{r}^{c}\left( {{I}^{q}}-{{I}^{p}} \right)}\text{ }~~ $$ (7)

    具有Sobel梯度导向的高斯滤波核fsdd如下式所示：

    $$ ~f_{ds}^{d}\left( {{q}_{x}}-{{p}_{x}}, {{q}_{y}}-{{p}_{y}} \right)={{\text{e}}^{-\frac{1}{2}\left( \frac{x_{\theta }^{^{2}}}{\sigma _{x}^{^{2}}}~~+\text{ }\frac{y_{\theta }^{^{2}}}{\sigma _{y}^{2}}~ \right)~}} $$ (8)

    其中

    $$ \left\{ \begin{align} & {{x}_{\theta }}=\left({{q}_{x}}-{{p}_{x}} \right)\text{cos}\theta -\left({{q}_{y}}-{{p}_{y}} \right)\text{sin}\theta \\ & {{y}_{\theta }}=\left({{q}_{x}}-{{p}_{x}} \right)\text{sin}\theta +\left({{q}_{y}}-{{p}_{y}} \right)\text{cos}\theta \\ \end{align} \right.\text{ }~ $$ (9)

    式中σx，σy分别为水平方向和垂直方向标准差，控制水平方向和垂直方向的平滑程度。梯度导向高斯滤波核可以根据深度图像的边界方向θ进行旋转，避免物体边界被模糊，图 2所示不同边界方向的梯度导向高斯滤波核。边界方向θ的计算公式如下式所示：

    图  2  σx=3, σy=1, 9×9像素窗口大小，不同边界方向的梯度导向高斯滤波
    Figure  2.  Example of 9×9 DGF kernels with σx=3, σy=1 in different angles
    下载: 全尺寸图片 幻灯片
    $$ \theta =\text{ta}{{\text{n}}^{-1}}({{g}_{x}}/{{g}_{y}})~ $$ (10)

    式中(gx/gy)是通过3×3 Sobel变换得到的空间梯度。

    Dmask为深度图像掩模，用作空洞区域标识，由空洞区域提取得到：

    {{D}_{\text{mask}}}=\left\{ \begin{align} & 1\text{ 非空洞区域} \\ & 0\text{ 空洞区域} \\ \end{align} \right.\text{ } $ (11)

    此外，深度图像中空洞区域大小不一，相比于小空洞填充，大空洞填充难度更大。为得到更好的空洞填充效果，本文采用迭代滤波方法。如(12)式所示迭代滤波公式，其中，D(t)(q)表示第t次GMGJF处理结果，D(t+1)(p)表示第t+1次GMGJF处理结果：

    $$ \begin{align} & ~{{D}^{(t+1)}}\left( p \right)=\frac{1}{{{w}_{p}}}\sum\limits_{q\in {{\mathit{\Phi }}_{p}}}{~{{D}^{(t)}}f_{ds}^{d}\left( {{q}_{x}}-{{p}_{x}}, {{q}_{y}}-{{p}_{y}} \right)\cdot }\text{ } \\ & \ \ \ \ \ \ \ \ \ \text{ }{{D}_{\text{mask}}}f_{r}^{c}\left( {{I}^{q}}-{{I}^{p}} \right) \\ \end{align} $$ (12)

    迭代滤波次数T的设定如(13)式所示：

    $$ ~T=~\frac{\text{Are}{{\text{a}}_{\text{max}}}}{{{\sigma }_{x}}*{{\sigma }_{y}}}~~ $$ (13)

    其中Areamax是空洞最大面积，可以通过对空洞区域进行轮廓检测获得轮廓最大面积。σx* 表示水平方向标准差和垂直方向标准差乘积。

    1.4   算法实现

    本文提出以梯度掩模导向联合滤波器为核心的深度图像增强算法，流程图如图 3所示。

    图  3  算法流程图
    Figure  3.  Flow chart of algorithm
    下载: 全尺寸图片 幻灯片

    首先，原始深度图D进行中值滤波(median filter, MF)，滤除深度图像噪点得到$\overline{D}$；接着，对滤波后深度图像$\overline{D}$分别进行Sobel梯度变换和空洞区域提取，得到边界方向Dθ和空洞掩模Dmask；最后，利用彩色图像I和深度图像D以边界方向Dθ和深度图像掩模Dmask为导向进行空洞填充，即进行GMGJF处理，得到初步增强结果D′。计数器Count从1开始计数，每经过一次GMGJF处理，计数器加1，然后与设定的迭代阈值T比较，若Count与T相等，表明已达到设定滤波次数，停止迭代滤波，空洞填充结束，输出最终处理结果，否则，用D′代替$\overline{D}$继续进行GMGJF处理，直到Count与T相等。

    2   实验结果分析

    为验证本文所提算法的可行性和有效性，将本文所提GMGJF算法分别与IMF、GF以及JBF算法进行对比实验。实验在Intel Core i5-5200U CPU 2.2 GHz, 内存为8 GB的Windows 8.1计算机上进行。

    2.1   算法参数分析

    本文所提GMGJF算法共有4个参数：控制深度图像水平方向平滑程度参数σx、控制深度图像垂直方向平滑程度参数σy、保持物体边界清晰参数σr以及滤波窗口半径大小r。合理的参数设置可以得到更好的处理结果。为得到各参数对深度图像处理结果的影响，利用Middlebury数据库中的Reindeer[14]进行实验分析，实验结果如图 4所示。

    图  4  Reindeer处理结果
    Figure  4.  Reindeer processing results
    下载: 全尺寸图片 幻灯片

    第一组实验为测定参数σx和σy对处理结果的影响，设定σr=15，r=11为常量, 由于不知道哪个方向需要更多的平滑，所以预先设定σx=σy，图 4中第一行为σx和σy从1到9的部分实验结果，分析实验结果可得，σx和σy设定太小，则迭代次数较多，耗时较长，而且图像平滑过度，损坏原图像；σx和σy设定太大，则迭代次数较少，空洞填充效果差。

    第二组实验为测定滤波半径对处理结果的影响，设定σx=σy=3，σr=15为常量，图 4中第二行为r从3到15的部分实验结果，分析实验结果可得，r设定太小，则滤波模板太小，空洞像素周围少数像素被用于空洞填充，填充效果差；r设定太大，则滤波模板太大，用于空洞填充的周围像素太多，破坏物体边界清晰度。

    第三组实验为测定参数σr对处理结果的影响，设定σx=σy=10，r=25为常量，图 4中第三行为σr从3到25的部分实验结果，分析实验结果可得，σr主要影响图像中物体边界的清晰度，σr设定越大，则边界越模糊。

    2.2   数据库实验结果分析

    为定量分析算法处理结果好坏，利用Middlebury数据库提供的Dolls[15]和teddy[16]数据进行实验，本文将数据库提供的深度图作为真实图，为测定处理后的结果在噪声去除方面和边界保留特性方面的效果，文中采用峰值信噪比(peak signal to noise ratio, PSNR)和结构相似指数测量(structural similarity index measure, SSIM)2个评价指标对比以上3种算法与本文算法的结果。为保证公平，所有算法均取最好的处理结果进行比较。如图 5所示Dolls处理结果, 算法各参数设置为σx=σy=7，σr=19，r=14，表 1为4种算法的PSNR测量值和SSIM测量值。图 6所示为teddy处理结果，算法各参数设置为σx=σy=10，σr=27，r=20，表 2为4种算法的PSNR测量值和SSIM测量值。

    图  5  Dolls处理结果
    Figure  5.  Dolls processing results
    下载: 全尺寸图片 幻灯片
    图  6  teddy处理结果
    Figure  6.  Teddy processing results
    下载: 全尺寸图片 幻灯片
    表  1  Dolls数据增强结果定量评价
    Table  1.  Quantities evaluation of Dolls data enhancement results
    评价指标 算法
    IMF GF JBF GMGJF
    PSNR 28.4929 27.7966 28.6369 29.6396
    SSIM 0.974959 0.969965 0.975612 0.986029
    下载: 导出CSV 
    | 显示表格
    表  2  teddy数据增强图像定量评价
    Table  2.  Quantities evaluation of teddy data enhancement results
    评价指标 算法
    IMF GF JBF GMGJF
    PSNR 21.9818 22.6901 22.7526 24.1477
    SSIM 0.853616 0.865491 0.867782 0.901682
    下载: 导出CSV 
    | 显示表格

    PSNR表征了算法对图像的去噪能力，其值越大说明图像增强的滤波效果越好，表 1和表 2中PSNR测量数据表明，本文提出GMGJF算法去噪能力最强。表 1针对Dolls数据，PSNR由JBF的28.636 9提高到29.639 6，提高了3.50%，表 2针对teddy数据，PSNR由JBF的22.752 6提高到24.147 7，提高了6.13%。SSIM表征了算法对图像中物体边界特征的保持能力，其值越大说明处理结果与原图像越近似，即深度信息、边界特征保留得越好。表 1和表 2中SSIM测量数据表明，GMGJF算法边界保留特性最好。表 1针对Dolls数据，SSIM由JBF的0.975 612提高到0.986 029，提高了1.07%，表 2针对teddy数据，SSIM由JBF的0.867 782提高到0.901 682，提高了3.91%。

    观察图 5和图 6各算法处理结果可得，4种算法都实现噪声滤除和空洞填充功能，但IMF算法增强深度图像时，导致物体边界出现严重的几何失真。如图 6(a)、6(b)中屋顶烟囱尖锐边界特征及小熊轮廓，在图 6(d)中表现为圆润的特征，同时，表 2定量评价数据中IMF的SSIM值最低，与原图像之间的相似性最差。GF算法能保留物体边界清晰和完整，但结果中引入过多彩色图像纹理细节，如图 5(a)中娃娃眼睛以及图 6(a)中玩偶背上的斑点不应出现在增强图像中，而图 5(e)、图 6(e)中却存在，破坏了原始深度图像，影响深度信息准确性，因此表 1和表 2定量评价数据中SSIM值均较低；JBF算法虽然能抑制纹理细节，但处理结果模糊，如图 5(f)、图 6(f)在图像细节上比图 5(b)和图 6(b)明显模糊；GMGJF算法在实现了噪声滤除、空洞填充功能外，还保留物体边界清晰和完整，如图 6(c)保留了烟囱尖锐边界特征以及小熊完整轮廓，且没有引入玩偶背上斑点信息，画质清晰。表 1和表 2定量评价数据表明：表征图像去燥能力的PSNR值最大，表征边界保持特征的SSIM值最大，与人眼主管评价结果基本一致。因此，本文所提GMGJF算法在边界保留特性方面效果更好。

    2.3   Kinect采集图像实验结果分析

    为验证本文所提算法在实际场景应用中的可行性和有效性，利用Kinect对室内场景进行图像采集，得到如图 1所示大小为640×480像素的彩色图像和深度图像。运用本文提出算法对图 1(b)深度图像进行处理，得到如图 7所示实验结果，其中各参数设置为σx=19，σy=15，σr=30，r=21。

    图  7  Kinect采集图像实验结果
    Figure  7.  Experiment results of image collected by Kinect
    下载: 全尺寸图片 幻灯片

    观察图 7处理结果可得，对于实际场景采集的深度图像，GMGJF算法也能在滤除噪声和填充空洞的同时，保持物体边界清晰和完整，如图 7(c)中放置的椅子以及桌子轮廓。为进一步说明算法在边界保留方面的特性，对图 7(b)中的细节部分(矩形框住的储物柜边缘)进行放大显示(图 7(b)右下角子矩形所示)。IMF算法处理结果中物体边缘发生严重的几何失真，如图 7(b)中桌子尖锐的轮廓线，而在图 7(d)中变得圆滑，且局部放大部分储物柜边缘扭曲严重，GF算法和JBF算法无法完全填充空洞，如图 7(e)和图 7(f)中椅子背边缘部分和椅子腿部分，空洞依然存在，且JBF算法使物体边界模糊，如图 7(f)中椅子腿部分所示。

    3   结论

    GMGJF算法利用深度图像Sobel梯度变换获取边界方向信息，利用深度图像空洞区域生成空洞掩模，再以边界方向和空洞掩模为导向联合彩色图像对深度图像进行迭代高斯滤波和空洞填充。边界方向信息解决高斯滤波的边界特征模糊问题，空洞掩模解决空洞过填充和欠填充的问题。利用彩色图像信息填充深度图像空洞，同时，结合迭代滤波方法，解决空洞填充效果差的问题，提高了空洞填充质量。通过Middlebury数据仿真和Kinect实际场景数据实验，对比研究了IMF、GF、JBF和GMGJF算法的去噪与边界保持性能。实验结果表明: GMGJF算法的PSNR值和SSIM值均为最大，分别为29.639 6 dB和0.986 029(针对Dolls图像)，24.147 7 dB和0.901 682(针对teddy图像)。不仅能有效去除噪声、填充空洞，而且能保留物体边界清晰和完整。该算法能应用于深度图像的特征提取与目标识别领域的预处理，具有广泛的应用前景。

  • 图  1   Kinect采集图像

    Figure  1.   Images collected by Kinect

    下载: 全尺寸图片 幻灯片

    图  2   σx=3, σy=1, 9×9像素窗口大小，不同边界方向的梯度导向高斯滤波

    Figure  2.   Example of 9×9 DGF kernels with σx=3, σy=1 in different angles

    下载: 全尺寸图片 幻灯片

    图  3   算法流程图

    Figure  3.   Flow chart of algorithm

    下载: 全尺寸图片 幻灯片

    图  4   Reindeer处理结果

    Figure  4.   Reindeer processing results

    下载: 全尺寸图片 幻灯片

    图  5   Dolls处理结果

    Figure  5.   Dolls processing results

    下载: 全尺寸图片 幻灯片

    图  6   teddy处理结果

    Figure  6.   Teddy processing results

    下载: 全尺寸图片 幻灯片

    图  7   Kinect采集图像实验结果

    Figure  7.   Experiment results of image collected by Kinect

    下载: 全尺寸图片 幻灯片

    表  1   Dolls数据增强结果定量评价

    Table  1   Quantities evaluation of Dolls data enhancement results

    评价指标 算法
    IMF GF JBF GMGJF
    PSNR 28.4929 27.7966 28.6369 29.6396
    SSIM 0.974959 0.969965 0.975612 0.986029
    下载: 导出CSV

    表  2   teddy数据增强图像定量评价

    Table  2   Quantities evaluation of teddy data enhancement results

    评价指标 算法
    IMF GF JBF GMGJF
    PSNR 21.9818 22.6901 22.7526 24.1477
    SSIM 0.853616 0.865491 0.867782 0.901682
    下载: 导出CSV
    • 参考文献(16)
  • [1]

    BUDZAN S, KASPRZYK J. Fusion of 3D laser scanner and depth images for obstacle recognition in mobile applications[J]. Optics and Lasers in Engineering, 2016, 77(7): 230-240. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=168c9dadd79e338918c6b07d92a731b3
    [2] 杨鸿, 钱堃, 戴先中, 等.基于Kinect传感器的移动机器人室内环境三维地图创建[J].东南大学学报:(自然科学版), 2013, 43(s1): 183-187. http://d.old.wanfangdata.com.cn/Periodical/dndxxb2013z1038

    YANG Hong, QIAN Kun, DAI Xianzhong, et al. Kinect-based 3D indoor environment map building for mobile robot[J]. Journal of Southeast University: Natural Science Edition, 2013, 43(s1): 183-187. http://d.old.wanfangdata.com.cn/Periodical/dndxxb2013z1038
    [3] 秦超龙, 宋爱国, 吴常铖, 等.基于Unity 3D与Kinect的康复训练机器人情景交互系统[J].仪器仪表学报, 2017, 38(3): 530-536. doi: 10.3969/j.issn.0254-3087.2017.03.003

    QIN Chaolong, SONG Aiguo, WU Changcheng, et al. Scenario interaction system of rehabilitation training robot based on Unity 3D and Kinect[J]. Chinese Journal of Scientific Instrument, 2017, 38(3): 530-536. doi: 10.3969/j.issn.0254-3087.2017.03.003
    [4]

    TANG S, ZHU Q, CHEN W, et al. Enhanced RGB-D mapping method for detailed 3D indoor and outdoor modeling[J]. Sensors, 2016, 16(10): 1589. doi: 10.3390/s16101589
    [5] 郭连朋, 陈向宁, 刘彬, 等.基于Kinect传感器多深度图像融合的物体三维重建[J].应用光学, 2014(5):811-816. http://d.old.wanfangdata.com.cn/Periodical/yygx201405016

    GUO Lianpeng, CHEN Xiangning, LIU Bin, et al. 3D-object reconstruction based on depth images by Kinect sensor[J]. Journal of Applied Optics, 2014, 35(5):811-816. http://d.old.wanfangdata.com.cn/Periodical/yygx201405016
    [6]

    MALLICK T, DAS P P, MAJUMDAR A K. Characterizations of noise in kinect depth images: A review[J]. Sensors Journal IEEE, 2014, 14(6): 1731-1740. doi: 10.1109/JSEN.2014.2309987
    [7]

    LIU R, LI B, HUANG Z, et al. Hole filling using joint bilateral filtering for moving object segmentation[J]. Journal of Electronic Imaging, 2014, 23(6): 063021. doi: 10.1117/1.JEI.23.6.063021
    [8] 李知菲, 陈源.基于联合双边滤波器的Kinect深度图像滤波算法[J].计算机应用, 2014, 34(8): 2231-2234. http://d.old.wanfangdata.com.cn/Periodical/jsjyy201408019

    LI Zhifei, CHEN Yuan. Kinect depth image filtering algorithm based on joint bilateral filter[J]. Journal of Computer Applications, 2014, 34(8): 2231-2234. http://d.old.wanfangdata.com.cn/Periodical/jsjyy201408019
    [9]

    JUNG S W. Enhancement of image and depth map using adaptive joint trilateral filter[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2013, 23(2): 258-269. doi: 10.1109/TCSVT.2012.2203734
    [10]

    XIAGN X, YAN Z, NAN C, et al. A modified joint trilateral filter based depth map refinement method[C].US: IEEE, 2016.
    [11]

    BAPAT A, RAVI A, RAMAN S. An iterative, non-local approach for restoring depth maps in RGB-D images[C]. US: IEEE, 2015.
    [12]

    YANG Q, AHUJA N, YANG R, et al. Fusion of median and bilateral filtering for range image upsampling[J]. IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society, 2013, 22(12):4841-4852. doi: 10.1109/TIP.2013.2278917
    [13]

    HORNG Y R, TSENG Y C, CHANG T S. Stereoscopic images generation with directional Gaussian filter[C]. US: IEEE, 2010.
    [14]

    SCHARSTEIN D, PAL C. Learning conditional random fields for stereo[C].US: IEEE, 2007.
    [15]

    HIRSCHMULLER H, SCHARSTEIN D. Evaluation of cost functions for stereo matching[C].US: IEEE, 2007.
    [16] 钱钧, 李良福, 周锋飞, 等.基于结构特征引导滤波的深度图像增强算法研究[J].应用光学, 2016, 37(2):203-208. http://d.old.wanfangdata.com.cn/Periodical/yygx201602010

    QIAN Jun, LI Liangfu, ZHOU Fengfei, et al. Depth image enhancement algorithm based on structure feature guidance filter[J]. Journal of Applied Optics, 2016, 37(2):203-208. http://d.old.wanfangdata.com.cn/Periodical/yygx201602010
    • 相关文章
    • 施引文献(13)

  • 期刊类型引用(9)

    1. 刘伟，刘子恩，梁颂冰，严进，朱正宜，张引. 基于NDIR技术的微量环保绝缘气体C_4F_7N检测. 高压电器. 2024(09): 135-140+162 . 百度学术
    2. 张胥，徐雷钧，白雪，肖晖. 基于物联网平台的三组分气体检测装置设计. 仪表技术与传感器. 2022(04): 37-41 . 百度学术
    3. 何满棠，周斌，吴树平. SF_6气体在线净化处理技术研究. 机械与电子. 2021(05): 34-39 . 百度学术
    4. 何虎，许晴，张杰，于海洋. 六氟化硫气体探测用10.56μm窄带滤光片的研制. 光学仪器. 2021(06): 46-51 . 百度学术
    5. 吴焱. 基于NDIR和PID传感器的气体检测系统设计. 安徽电气工程职业技术学院学报. 2020(01): 111-119 . 百度学术
    6. 唐峰，刘顺桂，吕启深，李新田，赫树开，曾晓哲，岳运奇. GIS中HF气体检测用TDLAS传感器的设计及吸附实验. 激光与红外. 2020(05): 543-550 . 百度学术
    7. 张施令，姚强. 联合NDIR技术与灰色系统OBGM(1, N)模型的高压组合电器SF_6分解产物时间序列测量与预测. 电网技术. 2020(07): 2770-2777 . 百度学术
    8. 张施令，李京伟. 基于NDIR技术的高压组合电器中CF_4气体检测方法研究. 高压电器. 2019(07): 158-164 . 百度学术
    9. 唐峰，刘顺桂，吕启深，李新田，赫树开，曾晓哲，徐歌，岳运奇. 基于量子级联激光的大区域SF_6泄露实时检测. 光子学报. 2019(10): 193-202 . 百度学术

    其他类型引用(4)

    • 资源附件(0)
图(7)  /  表(2)
计量
  • 文章访问数:  697
  • HTML全文浏览量:  278
  • PDF下载量:  94
  • 被引次数: 13
出版历程
  • 收稿日期:  2017-10-18
  • 修回日期:  2017-11-19
  • 刊出日期:  2018-02-28

目录

摘要
HTML全文

  • 引言

  • 1   算法设计

  • 1.1   空洞区域提取

  • 1.2   联合双边滤波器原理

  • 1.3   梯度掩模导向联合滤波算法

  • 1.4   算法实现

  • 2   实验结果分析

  • 2.1   算法参数分析

  • 2.2   数据库实验结果分析

  • 2.3   Kinect采集图像实验结果分析

  • 3   结论

参考文献(16)
相关文章
施引文献(13)
资源附件(0)

/

返回文章
返回

相关数据库

广告合作

友情链接

帮助中心

扫描关注本刊微信平台

您是第  位访问者，欢迎！

地址: 西安市电子三路西段9号 邮政编码: 710065 联系电话: 029-88288172

版权所有 © 《应用光学》编辑部

陕公网安备 61011302001501号       陕ICP备19002862号-1

北京仁和汇智信息技术有限公司 开发  技术支持: info@rhhz.net   百度统计