单目视觉融合激光投射的无人机障碍探测方法

刘峰, 汪瓒, 王向军

刘峰, 汪瓒, 王向军. 单目视觉融合激光投射的无人机障碍探测方法[J]. 应用光学, 2023, 44(1): 202-210. DOI: 10.5768/JAO202344.0107002
引用本文: 刘峰, 汪瓒, 王向军. 单目视觉融合激光投射的无人机障碍探测方法[J]. 应用光学, 2023, 44(1): 202-210. DOI: 10.5768/JAO202344.0107002
shu
LIU Feng, WANG Zan, WANG Xiangjun. Obstacles detection method for UAV based on monocular vision and laser projection[J]. Journal of Applied Optics, 2023, 44(1): 202-210. DOI: 10.5768/JAO202344.0107002
Citation: LIU Feng, WANG Zan, WANG Xiangjun. Obstacles detection method for UAV based on monocular vision and laser projection[J]. Journal of Applied Optics, 2023, 44(1): 202-210. DOI: 10.5768/JAO202344.0107002
shu

单目视觉融合激光投射的无人机障碍探测方法

  • 1.

    天津大学 精密测试技术及仪器国家重点实验室，天津 300072

  • 2.

    天津大学 微光机电系统技术教育部重点实验室，天津 300072

基金项目: 国家自然科学基金面上项目（51575388）
详细信息
    作者简介:

    刘峰（1978—），男，博士，主要从事图像分析与计算机视觉、光电传感与探测方面的研究。E-mail：tjuliufeng@tju.edu.cn

    通讯作者:

    汪瓒（1997—），男，硕士研究生，主要从事无人机避障、视觉测量方面的研究。E-mail：sang_wang@foxmail.com

  • 中图分类号: TN206

Obstacles detection method for UAV based on monocular vision and laser projection

  • 1.

    State Key Laboratory of Precision Measuring Technology and Instruments, Tianjin University, Tianjin 300072, China

  • 2.

    Key Laboratory of Micro Optical Electro Mechanical System Technology (Ministry of Education), Tianjin University, Tianjin 300072, China

HTML全文

    摘要
  • 摘要:

    针对微小型无人机在飞行作业任务中的主动避障需求，提出一种用于微小型无人机避障的、基于单目视觉与主动激光点阵投射的障碍探测方法。使用单目相机采集投射的激光点阵图案，经过图像分割、聚类、质心提取等处理过程，通过像面激光线方程约束快速排除特征一致激光点的歧义，使用激光点探测出无人机前方空间中障碍的方位信息。实验验证装置在基线距离为65 mm，工作距离为7 m的条件下，障碍探测的相对误差在1.5%以内。该方法精度高、时间复杂度低，可满足低算力的微小型无人机对障碍探测方法的需求，为进一步避障策略的生成提供数据支撑。

    Abstract:

    In order to meet the requirement of active obstacle avoidance of microminiature unmanned aerial vehicle (UAV) in flight mission, an obstacles detection method based on monocular vision and active laser lattice projection of microminiature UAV for obstacles avoidance was proposed. The projected laser lattice patterns were collected by a monocular camera, and through the processes of image segmentation, clustering and centroid extraction, the ambiguity of the characteristic consistent laser point was quickly eliminated by the constraint of the laser line equation of the image plane. The laser points were used to detect the distribution of obstacles in the front space of the UAV. The experimental results show that the relative error of obstacles detection is within 1.5% when the baseline distance is 65 mm and the working distance is 7 m. The proposed method has high accuracy and low time complexity, and can meet the requirements for obstacles detection methods of microminiature UAV with low computing power, which provides the data support for the generation of further obstacles avoidance strategies.

    • HTML全文

  • 引言

    随着机器视觉与人工智能的推进，车辆检测与识别技术逐渐成为智能交通系统(ITS)的研究热点[1]，基于视觉的车辆行人辅助检测与识别得到了广泛的关注[2]。目前，车辆检测算法是用来对道路汽车进行识别，现有方法主要分为以下4类：第1类是基于车辆特征的方法[3-4], 该类算法利用车辆对称性、颜色、阴影和角点等显著特征对车辆进行检测，然而算法易受光照强度、图像噪声和行驶环境影响，检测效果难以稳定，因此，在车辆检测初期应用较多。第2类是基于模板匹配的方法[5]，将视频流与大量的车辆模板进行帧匹配，相关性最大区域即为车辆区域。虽然该类方法比基于特征的方法准确度高，但是实时性和扩展性差，同时也会受到光照等影响。第3类是基于光流场的方法[6]，通过采集运动物体移动过程的影像即可提取出这些物体。相比前两类方法，准确性得到了提升，然而，同样存在计算量大和实时性差的问题。第4类是机器学习方法[7-8]，对车辆样本进行训练得到模型参数，然后对图像进行识别。随着并行GPU发展，算法实时性和扩展性得到增强，机器学习逐渐成为车辆检测等领域的主流方法。

    为了避免车辆行驶过程发生碰撞，需要对车距进行测量。目前主流的测距方法有超声波、激光、红外线、毫米波雷达等主动型传感器和基于视觉的被动型传感器等[9]。双目视觉以其成本低、简单易用并且可以确定三维信息而受到了国内外研究者的青睐。

    因此，本文采用机器学习方法，通过改进Fast-RCNN对不同空间尺度道路车辆进行检测与识别，提高车辆检测准确率；通过双目相机采集检测车辆的质心，对车辆进行距离测量，可以加速双目视觉发展，提高车辆的智能化水平。

    1   车辆检测方法

    为提高车辆检测的精度，提出了一种改进的Fast-RCNN的车辆检测方法。首先通过训练提取输入图像的整体特征图，以整体特征图和目标位置作为输入，两层子网络为每个目标提供不同类别的置信度得分和边框回归，然后利用尺度感知加权层预测的两个尺度感知权重将每个网络的置信度得分和边框回归结合来生成最终车辆检测结果，如图 1所示。

    图  1  车辆检测方法流程图
    Figure  1.  Flow chart of vehicle detection method
    下载: 全尺寸图片 幻灯片

    1.1   车辆特征提取

    ACF检测器是一种快速有效的基于滑动窗口的检测器，在刚性目标检测上表现良好。与其他通用对象检测方法不同，ACF检测器可以被训练来检测特定类别的对象，从而可用于提取和挖掘高质量目标特征[10]。因此，本文利用ACF检测器来提取车辆特征。根据车辆运行特点，将前方车辆的垂直边缘特征加入到ACF原有的10通道特征，形成新的11通道特征，在PASCAL VOC的车辆检测数据集训练ACF车辆检测器，然后应用训练的ACF检测器测试车辆目标图像，生成目标特征图。

    1.2   改进Fast-RCNN

    本文算法首先通过若干卷积层与最大池化层提取出输入图像的特征图，然后将网络分为检测大尺寸图像和小尺寸图像的2个专用子网络，将前面产生图像的特征图输入到2个子网络中，再次通过卷积层提取图像特征以产生专门用于特定范围输入尺度的特征图，最后经过ROI(感兴趣区域)池化层将图像特征转化为特征向量并输送到全连接层。由于2个子网络最终都会输出图像特征向量，因此，利用尺度感知加权层对2个子网络的输出进行自适应加权组合，最终得到输入图像的最终结果，如图 2所示。

    图  2  车辆检测方法具体实现过程
    Figure  2.  Concrete realization process of vehicle detection method
    下载: 全尺寸图片 幻灯片

    对于跟摄像头距离恒定的汽车，尽管空间尺度不同，它的边界框高度变化很小，宽度可能随着停放姿态不同变化较大，因此，利用汽车边界框的高度来确定每个子网络的权重。令ωl和ωs分别为尺度感知加权层大尺寸子网络和小尺寸子网络的计算权重，h为边界框高度，则ωl通过(1)式计算如下：

    $$ {w_l} = \frac{1}{{1 + \alpha {{\exp }^{ - \frac{{h - \overline h }}{\beta }}}}} $$ (1)

    其中：$ \overline h $表示训练集中车辆的平均高度；α和β是可学习的能通过反向传播优化的比例系数。

    利用尺度感知加权层的向后函数计算损失函数L对α和β的偏导数如(2)式所示：

    $$ \left\{ \begin{array}{l} \frac{{\partial L}}{{\partial \alpha }} = - \frac{{{{\exp }^{ - \frac{{h - \overline h }}{\beta }}}}}{{{{\left( {1 + \alpha {{\exp }^{ - \frac{{h - \overline h }}{\beta }}}} \right)}^2}}}\frac{{\partial L}}{{\partial {w_l}}}\\ \frac{{\partial L}}{{\partial \beta }} = - \frac{{\alpha \left( {h - \overline h } \right){{\exp }^{ - \frac{{h - \overline h }}{\beta }}}}}{{{\beta ^2}{{\left( {1 + \alpha {{\exp }^{ - \frac{{h - \overline h }}{\beta }}}} \right)}^2}}}\frac{{\partial L}}{{\partial {w_l}}} \end{array} \right. $$ (2)

    定义2个子网络的权重之和为1，计算出大尺寸子网络权重ωl，则小尺寸子网络权重如(3)式所示：

    $$ {w_s} = 1 - {w_l} $$ (3)

    因此，给定一幅图像进行大尺寸车辆检测，则ωs≈0，ωl≈1，最终的检测结果主要取决于大尺寸子网络；相反，给定一个小尺寸车辆检测，则ωl≈0，ωs≈1，最终的检测结果主要取决于小尺寸子网络。

    2   双目视觉测距

    结合改进的Fast-RCNN车辆检测算法结果和双目立体视觉的优势，可以实现车辆与双目相机之间的距离测量，如图 3所示。基于SURF，对提前定标的双目相机拍摄的左右图像进行立体匹配，根据视差信息进行三维场景重建，然后对检测到的汽车进一步检测质心，进而确定质心的三维坐标，实现对检测车辆的距离测量。

    图  3  双目立体视觉测距流程图
    Figure  3.  Flow chart of binocular stereo vision ranging
    下载: 全尺寸图片 幻灯片

    2.1   立体匹配与三维重建

    双目相机平台搭建调试时，周围环境的亮度和背景会发生变化，使得双目立体相机采集的图像不可避免地出现旋转、亮暗和缩放。相较SIFT(尺度不变特征变换)，SURF(加速稳健特征)不仅对出现的旋转、亮暗和缩放这些变化具有更好的鲁棒性，而且运算速度更快，匹配效率更高[11]。SURF是由Herbert Bay提出的改进SIFT算法[12]，使用更高效的方式完成对特征的提取和描述。首先定义尺度为σ的Hessian矩阵为

    $$ H\left( {x, \sigma } \right) = \left[ {\begin{array}{*{20}{c}} {{L_{xx}}\left( {x, \sigma } \right)}&{{L_{xy}}\left( {x, \sigma } \right)}\\ {{L_{xy}}\left( {x, \sigma } \right)}&{{L_{yy}}\left( {x, \sigma } \right)} \end{array}} \right] $$ (4)

    其中Lxx(x, σ)、Lxy(x, σ)和Lyy(x, σ)分别为二阶高斯滤波$\frac{{{\partial ^2}f}}{{\partial {x^2}}} $、$ \frac{{{\partial ^2}f}}{{\partial x\partial y}}$和$\frac{{{\partial ^2}f}}{{\partial {y^2}}} $与图像点x的卷积，通过Hessian矩阵来计算出图像中每一像素点的特征值。为了提高计算效率，Bay等人提出将高斯模板与图像卷积简化为盒式滤波，使得积分图像可以在恒定的时间内计算出来，如图 4所示。因此，(11)式可以简化为

    图  4  高斯滤波器(上)和盒式滤波器(下)
    Figure  4.  Gauss filters (upper) and cartridge filters (lower)
    下载: 全尺寸图片 幻灯片
    $$ Det\left( H \right) = {D_{xx}}{D_{yy}} - 0.9{D_{xy}} $$ (5)

    其中Dxx、Dyy、Dxy和Det分别是Lxx、Lyy、Lxy和Hessian的近似。(5)式表示在点(x, y)周围区域盒式滤波响应值。若Det(H)值为负，且特征值异号，那么该点不是局部极值；反之则该点为局部极值。使用其他模板尺寸，就可以生成多尺度的矩阵行列式响应图像，然后在响应图像上利用非极大值抑制方法比较这些极值点及其周围点的近似值，如果最大，则标记为特征点。

    完成SURF特征提取后，选定左相机图像上面特征点，在右相机图像上面进行匹配搜索，并以(6)式作为特征点相似性度量函数，进而对所有检测到的特征点进行匹配，获得匹配点对集合。但是通过这种方式得到的匹配点对会出现左图像多个特征点匹配右图像一个特征点的情况，因此，选定右图像上面特征点，在左相机图像上面进行匹配搜索，这样会重新得到另一对匹配点对集合，将这两个匹配点对集合求交集。为了消除假匹配和误匹配，采用RANSAC[13]对匹配到的特征点对进行提纯，最终完成SURF立体匹配，如图 4所示为一组SURF立体匹配结果。立体匹配后，结合视差信息和立体相机标定参数就可以计算出拍摄场景的三维坐标，实现三维场景重建。

    $$ \zeta = \sqrt {\sum\limits_{1 \le i \le 64} {{{\left[ {{S_p}\left( i \right) - {S_q}\left( i \right)} \right]}^2}} } $$ (6)

    其中：ζ为欧氏距离；Sp为左图像点p的特征向量；Sq为右图像点q的特征向量。

    2.2   确定质心的三维坐标

    经过立体匹配，就可以得到三维场景每个点的坐标，实现三维重建。然而，本文所述的车辆检测方法检测到的车辆是一块区域。因此，如何在检测的车辆区域确定代表车辆的点就显得尤其重要。

    为了将所检测到的车辆区域缩小为一个点，可以利用质心，且Opencv和Matlab都能够识别出不同图形的质心参数。首先将左图像检测到的车辆设为感兴趣区域(ROI)，并从图像中提取出来，然后得到其质心参数。同时在右图像中找出质心的匹配点，进而确定质心的三维坐标。最后通过双目视觉测距就可以对检测出来的车辆进行距离测量，如图 5所示。

    图  5  确定车辆质心过程
    Figure  5.  Determination process of vehicle centroid
    下载: 全尺寸图片 幻灯片

    双目立体视觉测距原理如图 6所示。则车辆质心点P与相机之间的距离Z表示为

    图  6  双目立体视觉测距原理
    Figure  6.  Principle of binocular stereo vision measurement
    下载: 全尺寸图片 幻灯片
    $$ \frac{{T - \left( {{x_l} - {x_r}} \right)}}{{Z - f}} = \frac{T}{Z} $$ (7)

    其中：T为两相机之间的基线；f为相机焦距；xl和xr是质心点对横坐标。令左右车辆的视差d=xl-xr，那么(7)式可以简化为

    $$ Z = \frac{{Tf}}{d} $$ (8)

    这样就可以检测出车辆与相机之间的距离Z。

    3   实验结果分析

    为了对所提出的方法进行验证，在实际道路场景中搭建了基于双目立体视觉的传感器实验平台，并且进行了车辆检测实验。实验平台主要由一台HNY-CV可变基线USB3.0双目相机和英伟达公司的JETSON TX-1构成，双目相机用来采集图像，JETSON TX-1对采集图像进行处理，具体参数如表 1所示。双目相机固定于双目支架上，由测试人员进行拍摄采集图像。为了满足精度要求，可以使用焦距更大的镜头来提高车辆距离检测的精度。整套实验仪器如图 7所示。

    表  1  实验仪器参数
    Table  1.  Experimental instrument parameters
    实验仪器 参数 参数值
    HNY-CV双目相机 基线 20.5 cm
    焦距 3.1 mm
    像素 180万
    分辨率 2 560×720
    系统 Ubuntu14.04
    JETSON TX-1 内存 4 GB
    CPU 64-bit Quad-Core ARM Cortex-A57 CPUs
    GPU 1 TeraFLOPs 256核心Maxwell架构
    下载: 导出CSV 
    | 显示表格
    图  7  实验仪器与系统搭建
    Figure  7.  Experimental apparatus and system construction
    下载: 全尺寸图片 幻灯片

    3.1   车辆检测结果

    为了对所提出的车辆检测算法的有效性与合理性进行验证，采用现阶段广泛使用的KITTI数据集和面向自动驾驶的实际路况下的车辆检测数据集TME Motorway Dataset进行试验，并将实验结果与传统算法进行对比，如表 2所示。利用双目立体相机采集道路图像视频进行车辆检测，并与传统算法进行对比，结果如图 8所示。

    表  2  车辆检测结果
    Table  2.  Vehicle detection results
    数据集 基于特征方法[3] 模板匹配方法[5] 光流法[6] Fast-RCNN 本文算法
    时间/ms 准确率/% 时间/ms 准确率/% 时间/ms 准确率/% 时间/ms 准确率/% 时间/ms 准确率/%
    KITTI 841 59.4 729 73.9 401 68.6 275 85.8 233 90.2
    TME Motorway Dataset 796 5703 658 75.3 384 70.5 266 87.1 215 91.1
    下载: 导出CSV 
    | 显示表格
    图  8  车辆检测结果对比
    Figure  8.  Comparison of vehicle detection results
    下载: 全尺寸图片 幻灯片

    由表 2车辆检测结果可知，基于特征方法、模板匹配方法和光流法检测用时长，实时性差，尤其是基于特征方法和模板匹配方法；光流法对车辆进行检测用时短，实时性相对较好，但是检测准确率低；基于机器学习方法Fast-RCNN算法检测时间短，实时性好，准确率高；本文算法在Fast-RCNN基础上进行改进，检测用时缩短了42 ms，准确率提高了4.4%，提高了车辆检测准确率，缩短了检测时间，因此，算法可以应用在双目视觉进行车辆测距。

    由图 8车辆检测结果可知，基于特征方法虽然可以用来检测车辆，但是检测效果不佳，目标框选不够精确，并且易受光照影响，出现错检，如图 8(b)所示；模板匹配方法目标车辆框选也不够精确，同时将与车辆相似的空调也识别出了，出现错检，如图 8(c)所示；光流法检测结果相对理想，但是较远目标出现漏检，如图 8(d)所示；Fast-RCNN与本文算法检测结果准确，目标框选精细，不易受光照影响，不会错检，并且本文算法对于小尺寸目标检测结果更佳，将树后汽车也检测出来，如图 8(e)和(f)所示，对于Fast-RCNN精度得到了提升，可以应用于双目车辆测距。

    3.2   双目测距结果

    为了验证所提出的立体测距算法的可行性，采用如图 7所示的实验平台进行双目立体视觉车辆测距，测距结果如图 9所示。在双目立体相机固定基线为20.5 cm、镜头焦距为3.1 mm情况下，确定图 9宝马车与双目相机距离为5 m，检测结果为5.12 m，测距误差为0.12 m，误差百分比为2.4%。然而，双目立体相机的基线和镜头焦距限制了其测量范围，本文针对该问题做了远距离测量的探究。确定相机基线为20.5 cm，变换镜头焦距为25 mm，对18 m距离的车辆进行检测与测距，结果显示在测量18m车辆时误差为6.7%，说明可以应用在车辆检测领域。

    图  9  双目视觉测距结果
    Figure  9.  Binocular vision measurement results
    下载: 全尺寸图片 幻灯片

    4   结论

    针对城市道路车辆检测存在的问题，提出了改进Fast-RCNN的双目视觉车辆检测方法。首先，引入多层子网络并根据权重进行自适应组合来改进Fast-RCNN算法，实验结果表明，本文所述方法能快速准确地检测出车辆，具有较大应用价值。然后，利用双目立体视觉优势，对检测到的车辆进行SURF立体匹配，质心坐标提取并测距。实验结果表明，本文方法能够快速准确地识别出车辆与双目相机之间的距离。因此，本文所提出的车辆检测方法是合理可靠的，测距方法是可行的，可以应用在智能汽车上，有效推动自动驾驶发展。

  • 图  1   9点激光图案

    Figure  1.   Laser pattern of nine points

    下载: 全尺寸图片 幻灯片

    图  2   原始采集图像与基于L*a*b*色彩空间的图像分割结果

    Figure  2.   Original acquired image and image segmentation results based on L*a*b* color space

    下载: 全尺寸图片 幻灯片

    图  3   激光光斑聚类和质心提取结果

    Figure  3.   Results of spot clustering and centroid extraction

    下载: 全尺寸图片 幻灯片

    图  4   受到影响的激光图案

    Figure  4.   Affected laser patterns

    下载: 全尺寸图片 幻灯片

    图  5   像面激光线约束

    Figure  5.   Constraint of laser line on image plane

    下载: 全尺寸图片 幻灯片

    图  6   实验装置场景图

    Figure  6.   Scene graph of experimental device

    下载: 全尺寸图片 幻灯片

    图  7   深度测量的相对误差折线图

    Figure  7.   Line charts of relative error of depth measurement

    下载: 全尺寸图片 幻灯片

    表  1   相机标定参数

    Table  1   Camera calibration parameters

    [fx , fy]/ pixel[u0 , v0]/ pixelkc
    相机标定参数[4 191.52, 4 195.61][862.89, 480.09][−0.506, 0.710, 0.000, 0.000]
    下载: 导出CSV

    表  2   激光图案的空间结构参数

    Table  2   Spatial structure parameters of laser patterns

    激光点编号结构参数
    k1b1k2b2
    00.023 5−68.557 40.036 84.240 4
    10.015 9−66.646 9−0.009 9−1.919 5
    20.053 9−71.004 8−0.001 11.396 4
    30.072 2−64.665 60.031 40.289 7
    40.063 7−67.777 30.069 0−0.513 9
    50.030 9−66.933 50.091 3−9.387 0
    6−0.005 8−70.393 90.079 7−0.097 7
    7−0.025 4−69.783 30.044 35.823 9
    8−0.016 0−68.509 80.009 7−1.490 3
    下载: 导出CSV

    表  3   “1号”激光点的测量数据

    Table  3   Measured data of the No.1 laser point mm

    组数坐标真值坐标测量值绝对误差
    XcalibYcalibZcalibXcalYcalZcalΔXΔYΔZ
    1−47.46−15.611 257.85−55.96−15.591 244.45−8.500.01−13.39
    2−44.33−16.801 363.58−55.24−17.181 346.42−10.91−0.38−17.17
    3−37.84−19.811 832.42−51.86−21.961 820.15−14.03−2.15−12.28
    4−31.59−24.082 137.75−49.70−25.642 124.71−18.11−1.56−13.04
    5−22.51−25.962 739.65−45.42−32.262 725.98−22.91−6.30−13.67
    6−14.63−32.793 216.23−41.83−37.483 230.34−27.21−4.6914.11
    7−0.04−45.004 306.69−33.99−50.274 332.54−33.94−5.2725.86
    814.09−51.175 034.92−28.99−58.425 035.40−43.07−7.250.47
    923.30−56.395 628.52−24.64−65.515 646.03−47.94−9.1217.51
    1044.40−72.856 972.79−14.46−82.107 076.21−58.87−9.25103.43
    1181.90−104.4810 044.83−5.44−98.758 344.44−87.345.73−1 700.39
    12127.28−164.3315 144.3019.85−146.3411 898.66−107.4317.99−3 245.64
    下载: 导出CSV
    • 参考文献(15)
  • [1]

    HU Tianyu, SUN Xiliang, SU Yanjun, et al. Development and performance evaluation of a very low-cost UAV-lidar system for forestry applications[J]. Remote Sensing,2020,13(1):77. doi: 10.3390/rs13010077
    [2]

    FAN Xuanmei, XU Qiang, ALONSO-RODRIGUEZ A, et al. Successive landsliding and damming of the Jinsha River in eastern Tibet, China: prime investigation, early warning, and emergency response[J]. Landslides,2019,16(5):1003-1020. doi: 10.1007/s10346-019-01159-x
    [3]

    MAES W H, STEPPE K. Perspectives for remote sensing with unmanned aerial vehicles in precision agriculture[J]. Trends in Plant Science,2019,24(2):152-164. doi: 10.1016/j.tplants.2018.11.007
    [4]

    MENÉNDEZ O, PÉREZ M, AUAT CHEEIN F. Visual-based positioning of aerial maintenance platforms on overhead transmission lines[J]. Applied Sciences,2019,9(1):165. doi: 10.3390/app9010165
    [5]

    WANG Jingjing, JIANG Chunxiao, HAN Zhu, et al. Taking drones to the next level: cooperative distributed unmanned-aerial-vehicular networks for small and mini drones[J]. IEEE Vehicular Technology Magazine,2017,12(3):73-82. doi: 10.1109/MVT.2016.2645481
    [6]

    ZHANG Xuejun, DU Yanshuang, GU Bo, et al. Survey of safety management approaches to unmanned aerial vehicles and enabling technologies[J]. Journal of Communications and Information Networks,2018,3(4):1-14. doi: 10.1007/s41650-018-0038-x
    [7] 王海群, 王水满, 张怡. 基于激光雷达信息的无人机避障控制研究[J]. 激光杂志,2019,40(12):76-79. doi: 10.14016/j.cnki.jgzz.2019.12.076

    WANG Haiqun, WANG Shuiman, ZHANG Yi. Control of UAV barrier avoidance based on lidar information[J]. Laser Journal,2019,40(12):76-79. doi: 10.14016/j.cnki.jgzz.2019.12.076
    [8] 吴开华, 王文杰. 植保无人机结构光视觉的障碍物检测方法[J]. 光电工程,2018,45(4):32-40.

    WU Kaihua, WANG Wenjie. Detection method of obstacle for plant protection UAV based on structured light vision[J]. Opto-Electronic Engineering,2018,45(4):32-40.
    [9] 高天禹, 马雨婷, 韩成哲, 等. 基于激光测距与单目视觉的微型无人机室内目标人物搜索方法研究[J]. 中国科学:技术科学,2020,50(7):971-982. doi: 10.1360/SST-2020-0130

    GAO Tianyu, MA Yuting, HAN Chengzhe, et al. Applying a micro-UAV for searching an indoor target person using laser ranging and monocular vision[J]. Scientia Sinica (Technologica),2020,50(7):971-982. doi: 10.1360/SST-2020-0130
    [10] 寇展, 吴健发, 王宏伦, 等. 基于深度学习的低空小型无人机障碍物视觉感知[J]. 中国科学:信息科学,2020,50(5):692-703. doi: 10.1360/N112019-00034

    KOU Zhan, WU Jianfa, WANG Honglun, et al. Obstacle visual sensing based on deep learning for low-altitude small unmanned aerial vehicles[J]. Scientia Sinica (Informationis),2020,50(5):692-703. doi: 10.1360/N112019-00034
    [11]

    KESELMAN L, WOODFILL J I, GRUNNET-JEPSEN A, et al. Intel(R) RealSense(TM) stereoscopic depth cameras[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Honolulu, HI, USA: IEEE, 2017: 1267-1276.
    [12]

    AZETSU T, SUETAKE N. Hue-preserving image enhancement in CIELAB color space considering color gamut[J]. Optical Review,2019,26(2):283-294. doi: 10.1007/s10043-019-00499-2
    [13]

    ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334. doi: 10.1109/34.888718
    [14] 包建强, 张献州, 李圆, 等. 多种空间直线拟合方法应用分析[J]. 测绘科学,2020,45(5):132-139. doi: 10.16251/j.cnki.1009-2307.2020.05.020

    BAO Jianqiang, ZHANG Xianzhou, LI Yuan, et al. Applied analysis of various space linear fitting methods[J]. Science of Surveying and Mapping,2020,45(5):132-139. doi: 10.16251/j.cnki.1009-2307.2020.05.020
    [15]

    LI Qianwen, WEI Zhihua, ZHAO Cairong. Optimized automatic seeded region growing algorithm with application to ROI extraction[J]. International Journal of Image and Graphics,2017,17(4):1750024. doi: 10.1142/S0219467817500243
    • 相关文章
    • 施引文献(82)

  • 期刊类型引用(27)

    1. 张长勇，郭聪，李玉洲，张朋武. 基于改进YOLOv5的飞机舱门识别与定位方法研究. 计算机测量与控制. 2024(01): 142-149 . 百度学术
    2. 陈冬冬，任晓明，李登攀，陈坚. 基于改进的YOLOv5s的双目视觉车辆检测与测距方法研究. 光电子·激光. 2024(03): 311-319 . 百度学术
    3. 张显，吴青盟，王龙，王成军，崔东辉，张萌. 基于改进YOLOv5算法的水淹电厂检测算法研究. 电子器件. 2024(01): 221-226 . 百度学术
    4. 贾冕茜. 基于改进SSD算法的双目立体视觉人车距离检测方法. 河南工程学院学报(自然科学版). 2023(01): 49-54 . 百度学术
    5. 解丹，陈立潮，曹玲玲，张艳丽. 基于卷积神经网络的车辆分类与检测技术研究. 软件工程. 2023(04): 10-13 . 百度学术
    6. 翟永杰，胡哲东，白云山，孙圆圆. 融合迁移学习的绝缘子缺陷分级检测方法. 电子测量技术. 2023(06): 23-30 . 百度学术
    7. 康轶譞，刘宇，王亚伟，周立君，郭城，王怡恬. 基于DETR的道路环境下双目测量系统. 应用光学. 2023(04): 786-791 . 本站查看
    8. 霍永龙，白鸿一，吴晓威，王钰. 基于CBAM-YOLOv3的指针式仪表检测识别方法. 黑龙江大学自然科学学报. 2023(05): 621-630 . 百度学术
    9. 田桂丰，单志龙，廖祝华，王煜林. 基于Faster R-CNN深度学习的网络入侵检测模型. 南京理工大学学报. 2021(01): 56-62 . 百度学术
    10. 王辉，于立君，刘朝达，高天禹. 基于NMS及帧间差分的深度学习目标识别实验仿真. 实验室科学. 2021(01): 52-56 . 百度学术
    11. 王卓，黄民，马飞，黄小龙. 基于多阶段CNN的双目行人检测测距算法. 重庆理工大学学报(自然科学). 2021(04): 123-134 . 百度学术
    12. 黄孝慈，舒方林，曹文冠. 基于双目视觉的前方车辆测距方法研究. 汽车技术. 2021(12): 16-21 . 百度学术
    13. 刘志颖，缪希仁，陈静，江灏. 电力架空线路巡检可见光图像智能处理研究综述. 电网技术. 2020(03): 1057-1069 . 百度学术
    14. 周喆，沈建新，韩鹏，江俊佳. 基于Census变换和引导滤波的立体匹配算法. 应用光学. 2020(01): 79-85 . 本站查看
    15. 李珣，时斌斌，刘洋，张蕾，王晓华. 基于改进YOLOv2模型的多目标识别方法. 激光与光电子学进展. 2020(10): 113-122 . 百度学术
    16. 厍向阳，韩伊娜. 基于残差网络的小型车辆目标检测算法. 计算机应用研究. 2020(08): 2556-2560 . 百度学术
    17. 戴文君，常天庆，张雷，杨国振，郭理彬. 图像目标检测技术在坦克火控系统中的应用. 火力与指挥控制. 2020(07): 147-152 . 百度学术
    18. 赵陈磊，王宇，肖遥，赵强. 基于Faster RCNN的双目视觉焊缝匹配研究. 焊管. 2020(07): 21-24+29 . 百度学术
    19. 王楷元，韩晓红. 基于You Only Look Once v2优化算法的车辆实时检测. 济南大学学报(自然科学版). 2020(05): 443-449 . 百度学术
    20. 王小芳，方登杰，何海瑞，邹倩颖. 基于多尺度细节优化的MSRCR图像去雾算法. 实验技术与管理. 2020(09): 92-97 . 百度学术
    21. 桑振，周永华. 基于视频的移动车辆实时测距研究. 北京交通大学学报. 2020(05): 133-140 . 百度学术
    22. 颜佳桂，李宏胜，任飞. 基于SSD和改进双目测距模型的车辆测距方法研究. 激光杂志. 2020(11): 42-47 . 百度学术
    23. 李峰. 基于立体相机和GPS的实时移动机器人混合导航研究. 机械设计与研究. 2020(05): 18-23 . 百度学术
    24. 曹宇，张庆鹏. 基于深度学习的汽车保险片识别插接研究. 制造技术与机床. 2020(12): 138-141 . 百度学术
    25. 陈苏婷，郭子烨，张艳艳. 基于局部哈希学习的大面阵CCD航拍图像匹配方法. 应用光学. 2019(02): 259-264 . 本站查看
    26. 王思元，王俊杰. 基于改进YOLOv3算法的高密度人群目标实时检测方法研究. 安全与环境工程. 2019(05): 194-200 . 百度学术
    27. 闫建伟，赵源，张乐伟，苏小东，刘红芸，张富贵，樊卫国，何林. 改进Faster-RCNN自然环境下识别刺梨果实. 农业工程学报. 2019(18): 143-150 . 百度学术

    其他类型引用(55)

    • 资源附件(0)
图(7)  /  表(3)
计量
  • 文章访问数:  231
  • HTML全文浏览量:  91
  • PDF下载量:  45
  • 被引次数: 82
出版历程
  • 收稿日期:  2022-05-09
  • 修回日期:  2022-06-12
  • 网络出版日期:  2022-11-22
  • 刊出日期:  2023-01-14

目录

摘要
HTML全文

  • 引言

  • 1   车辆检测方法

  • 1.1   车辆特征提取

  • 1.2   改进Fast-RCNN

  • 2   双目视觉测距

  • 2.1   立体匹配与三维重建

  • 2.2   确定质心的三维坐标

  • 3   实验结果分析

  • 3.1   车辆检测结果

  • 3.2   双目测距结果

  • 4   结论

参考文献(15)
相关文章
施引文献
资源附件(0)

/

返回文章
返回

相关数据库

广告合作

友情链接

帮助中心

扫描关注本刊微信平台

您是第  2926579位访问者，欢迎！

地址: 西安市电子三路西段9号 邮政编码: 710065 联系电话: 029-88288172

版权所有 © 《应用光学》编辑部

陕公网安备 61011302001501号       陕ICP备19002862号-1

北京仁和汇智信息技术有限公司 开发  技术支持: info@rhhz.net   百度统计