引言

随着机器视觉与人工智能的推进，车辆检测与识别技术逐渐成为智能交通系统(ITS)的研究热点^[1]，基于视觉的车辆行人辅助检测与识别得到了广泛的关注^[2]。目前，车辆检测算法是用来对道路汽车进行识别，现有方法主要分为以下4类：第1类是基于车辆特征的方法^[3-4], 该类算法利用车辆对称性、颜色、阴影和角点等显著特征对车辆进行检测，然而算法易受光照强度、图像噪声和行驶环境影响，检测效果难以稳定，因此，在车辆检测初期应用较多。第2类是基于模板匹配的方法^[5]，将视频流与大量的车辆模板进行帧匹配，相关性最大区域即为车辆区域。虽然该类方法比基于特征的方法准确度高，但是实时性和扩展性差，同时也会受到光照等影响。第3类是基于光流场的方法^[6]，通过采集运动物体移动过程的影像即可提取出这些物体。相比前两类方法，准确性得到了提升，然而，同样存在计算量大和实时性差的问题。第4类是机器学习方法^[7-8]，对车辆样本进行训练得到模型参数，然后对图像进行识别。随着并行GPU发展，算法实时性和扩展性得到增强，机器学习逐渐成为车辆检测等领域的主流方法。

为了避免车辆行驶过程发生碰撞，需要对车距进行测量。目前主流的测距方法有超声波、激光、红外线、毫米波雷达等主动型传感器和基于视觉的被动型传感器等^[9]。双目视觉以其成本低、简单易用并且可以确定三维信息而受到了国内外研究者的青睐。

因此，本文采用机器学习方法，通过改进Fast-RCNN对不同空间尺度道路车辆进行检测与识别，提高车辆检测准确率；通过双目相机采集检测车辆的质心，对车辆进行距离测量，可以加速双目视觉发展，提高车辆的智能化水平。

1   车辆检测方法

为提高车辆检测的精度，提出了一种改进的Fast-RCNN的车辆检测方法。首先通过训练提取输入图像的整体特征图，以整体特征图和目标位置作为输入，两层子网络为每个目标提供不同类别的置信度得分和边框回归，然后利用尺度感知加权层预测的两个尺度感知权重将每个网络的置信度得分和边框回归结合来生成最终车辆检测结果，如图 1所示。

图  1  车辆检测方法流程图

Figure  1.  Flow chart of vehicle detection method

下载: 全尺寸图片 幻灯片

1.1   车辆特征提取

ACF检测器是一种快速有效的基于滑动窗口的检测器，在刚性目标检测上表现良好。与其他通用对象检测方法不同，ACF检测器可以被训练来检测特定类别的对象，从而可用于提取和挖掘高质量目标特征^[10]。因此，本文利用ACF检测器来提取车辆特征。根据车辆运行特点，将前方车辆的垂直边缘特征加入到ACF原有的10通道特征，形成新的11通道特征，在PASCAL VOC的车辆检测数据集训练ACF车辆检测器，然后应用训练的ACF检测器测试车辆目标图像，生成目标特征图。

1.2   改进Fast-RCNN

本文算法首先通过若干卷积层与最大池化层提取出输入图像的特征图，然后将网络分为检测大尺寸图像和小尺寸图像的2个专用子网络，将前面产生图像的特征图输入到2个子网络中，再次通过卷积层提取图像特征以产生专门用于特定范围输入尺度的特征图，最后经过ROI(感兴趣区域)池化层将图像特征转化为特征向量并输送到全连接层。由于2个子网络最终都会输出图像特征向量，因此，利用尺度感知加权层对2个子网络的输出进行自适应加权组合，最终得到输入图像的最终结果，如图 2所示。

图  2  车辆检测方法具体实现过程

Figure  2.  Concrete realization process of vehicle detection method

下载: 全尺寸图片 幻灯片

对于跟摄像头距离恒定的汽车，尽管空间尺度不同，它的边界框高度变化很小，宽度可能随着停放姿态不同变化较大，因此，利用汽车边界框的高度来确定每个子网络的权重。令ω_l和ω_s分别为尺度感知加权层大尺寸子网络和小尺寸子网络的计算权重，h为边界框高度，则ω_l通过(1)式计算如下：

其中：$ \overline h $表示训练集中车辆的平均高度；α和β是可学习的能通过反向传播优化的比例系数。

利用尺度感知加权层的向后函数计算损失函数L对α和β的偏导数如(2)式所示：

定义2个子网络的权重之和为1，计算出大尺寸子网络权重ω_l，则小尺寸子网络权重如(3)式所示：

因此，给定一幅图像进行大尺寸车辆检测，则ω_s≈0，ω_l≈1，最终的检测结果主要取决于大尺寸子网络；相反，给定一个小尺寸车辆检测，则ω_l≈0，ω_s≈1，最终的检测结果主要取决于小尺寸子网络。

2   双目视觉测距

结合改进的Fast-RCNN车辆检测算法结果和双目立体视觉的优势，可以实现车辆与双目相机之间的距离测量，如图 3所示。基于SURF，对提前定标的双目相机拍摄的左右图像进行立体匹配，根据视差信息进行三维场景重建，然后对检测到的汽车进一步检测质心，进而确定质心的三维坐标，实现对检测车辆的距离测量。

图  3  双目立体视觉测距流程图

Figure  3.  Flow chart of binocular stereo vision ranging

下载: 全尺寸图片 幻灯片

2.1   立体匹配与三维重建

双目相机平台搭建调试时，周围环境的亮度和背景会发生变化，使得双目立体相机采集的图像不可避免地出现旋转、亮暗和缩放。相较SIFT(尺度不变特征变换)，SURF(加速稳健特征)不仅对出现的旋转、亮暗和缩放这些变化具有更好的鲁棒性，而且运算速度更快，匹配效率更高^[11]。SURF是由Herbert Bay提出的改进SIFT算法^[12]，使用更高效的方式完成对特征的提取和描述。首先定义尺度为σ的Hessian矩阵为

其中L_xx(x, σ)、L_xy(x, σ)和L_yy(x, σ)分别为二阶高斯滤波$\frac{{{\partial ^2}f}}{{\partial {x^2}}} $、$ \frac{{{\partial ^2}f}}{{\partial x\partial y}}$和$\frac{{{\partial ^2}f}}{{\partial {y^2}}} $与图像点x的卷积，通过Hessian矩阵来计算出图像中每一像素点的特征值。为了提高计算效率，Bay等人提出将高斯模板与图像卷积简化为盒式滤波，使得积分图像可以在恒定的时间内计算出来，如图 4所示。因此，(11)式可以简化为

图  4  高斯滤波器(上)和盒式滤波器(下)

Figure  4.  Gauss filters (upper) and cartridge filters (lower)

下载: 全尺寸图片 幻灯片

其中D_xx、D_yy、D_xy和Det分别是L_xx、L_yy、L_xy和Hessian的近似。(5)式表示在点(x, y)周围区域盒式滤波响应值。若Det(H)值为负，且特征值异号，那么该点不是局部极值；反之则该点为局部极值。使用其他模板尺寸，就可以生成多尺度的矩阵行列式响应图像，然后在响应图像上利用非极大值抑制方法比较这些极值点及其周围点的近似值，如果最大，则标记为特征点。

完成SURF特征提取后，选定左相机图像上面特征点，在右相机图像上面进行匹配搜索，并以(6)式作为特征点相似性度量函数，进而对所有检测到的特征点进行匹配，获得匹配点对集合。但是通过这种方式得到的匹配点对会出现左图像多个特征点匹配右图像一个特征点的情况，因此，选定右图像上面特征点，在左相机图像上面进行匹配搜索，这样会重新得到另一对匹配点对集合，将这两个匹配点对集合求交集。为了消除假匹配和误匹配，采用RANSAC^[13]对匹配到的特征点对进行提纯，最终完成SURF立体匹配，如图 4所示为一组SURF立体匹配结果。立体匹配后，结合视差信息和立体相机标定参数就可以计算出拍摄场景的三维坐标，实现三维场景重建。

其中：ζ为欧氏距离；S_p为左图像点p的特征向量；S_q为右图像点q的特征向量。

2.2   确定质心的三维坐标

经过立体匹配，就可以得到三维场景每个点的坐标，实现三维重建。然而，本文所述的车辆检测方法检测到的车辆是一块区域。因此，如何在检测的车辆区域确定代表车辆的点就显得尤其重要。

为了将所检测到的车辆区域缩小为一个点，可以利用质心，且Opencv和Matlab都能够识别出不同图形的质心参数。首先将左图像检测到的车辆设为感兴趣区域(ROI)，并从图像中提取出来，然后得到其质心参数。同时在右图像中找出质心的匹配点，进而确定质心的三维坐标。最后通过双目视觉测距就可以对检测出来的车辆进行距离测量，如图 5所示。

图  5  确定车辆质心过程

Figure  5.  Determination process of vehicle centroid

下载: 全尺寸图片 幻灯片

双目立体视觉测距原理如图 6所示。则车辆质心点P与相机之间的距离Z表示为

图  6  双目立体视觉测距原理

Figure  6.  Principle of binocular stereo vision measurement

下载: 全尺寸图片 幻灯片

其中：T为两相机之间的基线；f为相机焦距；x_l和x_r是质心点对横坐标。令左右车辆的视差d=x_l-x_r，那么(7)式可以简化为

这样就可以检测出车辆与相机之间的距离Z。

3   实验结果分析

为了对所提出的方法进行验证，在实际道路场景中搭建了基于双目立体视觉的传感器实验平台，并且进行了车辆检测实验。实验平台主要由一台HNY-CV可变基线USB3.0双目相机和英伟达公司的JETSON TX-1构成，双目相机用来采集图像，JETSON TX-1对采集图像进行处理，具体参数如表 1所示。双目相机固定于双目支架上，由测试人员进行拍摄采集图像。为了满足精度要求，可以使用焦距更大的镜头来提高车辆距离检测的精度。整套实验仪器如图 7所示。

表  1  实验仪器参数

Table  1.  Experimental instrument parameters

实验仪器	参数	参数值
HNY-CV双目相机	基线	20.5 cm
	焦距	3.1 mm
	像素	180万
	分辨率	2 560×720
	系统	Ubuntu14.04
JETSON TX-1	内存	4 GB
	CPU	64-bit Quad-Core ARM Cortex-A57 CPUs
	GPU	1 TeraFLOPs 256核心Maxwell架构

下载: 导出CSV 

| 显示表格

图  7  实验仪器与系统搭建

Figure  7.  Experimental apparatus and system construction

下载: 全尺寸图片 幻灯片

3.1   车辆检测结果

为了对所提出的车辆检测算法的有效性与合理性进行验证，采用现阶段广泛使用的KITTI数据集和面向自动驾驶的实际路况下的车辆检测数据集TME Motorway Dataset进行试验，并将实验结果与传统算法进行对比，如表 2所示。利用双目立体相机采集道路图像视频进行车辆检测，并与传统算法进行对比，结果如图 8所示。

表  2  车辆检测结果

Table  2.  Vehicle detection results

数据集	基于特征方法[3]		模板匹配方法[5]		光流法[6]		Fast-RCNN		本文算法
	时间/ms	准确率/%	时间/ms	准确率/%	时间/ms	准确率/%	时间/ms	准确率/%	时间/ms	准确率/%
KITTI	841	59.4	729	73.9	401	68.6	275	85.8	233	90.2
TME Motorway Dataset	796	5703	658	75.3	384	70.5	266	87.1	215	91.1

下载: 导出CSV 

| 显示表格

图  8  车辆检测结果对比

Figure  8.  Comparison of vehicle detection results

下载: 全尺寸图片 幻灯片

由表 2车辆检测结果可知，基于特征方法、模板匹配方法和光流法检测用时长，实时性差，尤其是基于特征方法和模板匹配方法；光流法对车辆进行检测用时短，实时性相对较好，但是检测准确率低；基于机器学习方法Fast-RCNN算法检测时间短，实时性好，准确率高；本文算法在Fast-RCNN基础上进行改进，检测用时缩短了42 ms，准确率提高了4.4%，提高了车辆检测准确率，缩短了检测时间，因此，算法可以应用在双目视觉进行车辆测距。

由图 8车辆检测结果可知，基于特征方法虽然可以用来检测车辆，但是检测效果不佳，目标框选不够精确，并且易受光照影响，出现错检，如图 8(b)所示；模板匹配方法目标车辆框选也不够精确，同时将与车辆相似的空调也识别出了，出现错检，如图 8(c)所示；光流法检测结果相对理想，但是较远目标出现漏检，如图 8(d)所示；Fast-RCNN与本文算法检测结果准确，目标框选精细，不易受光照影响，不会错检，并且本文算法对于小尺寸目标检测结果更佳，将树后汽车也检测出来，如图 8(e)和(f)所示，对于Fast-RCNN精度得到了提升，可以应用于双目车辆测距。

3.2   双目测距结果

为了验证所提出的立体测距算法的可行性，采用如图 7所示的实验平台进行双目立体视觉车辆测距，测距结果如图 9所示。在双目立体相机固定基线为20.5 cm、镜头焦距为3.1 mm情况下，确定图 9宝马车与双目相机距离为5 m，检测结果为5.12 m，测距误差为0.12 m，误差百分比为2.4%。然而，双目立体相机的基线和镜头焦距限制了其测量范围，本文针对该问题做了远距离测量的探究。确定相机基线为20.5 cm，变换镜头焦距为25 mm，对18 m距离的车辆进行检测与测距，结果显示在测量18m车辆时误差为6.7%，说明可以应用在车辆检测领域。

图  9  双目视觉测距结果

Figure  9.  Binocular vision measurement results

下载: 全尺寸图片 幻灯片

4   结论

针对城市道路车辆检测存在的问题，提出了改进Fast-RCNN的双目视觉车辆检测方法。首先，引入多层子网络并根据权重进行自适应组合来改进Fast-RCNN算法，实验结果表明，本文所述方法能快速准确地检测出车辆，具有较大应用价值。然后，利用双目立体视觉优势，对检测到的车辆进行SURF立体匹配，质心坐标提取并测距。实验结果表明，本文方法能够快速准确地识别出车辆与双目相机之间的距离。因此，本文所提出的车辆检测方法是合理可靠的，测距方法是可行的，可以应用在智能汽车上，有效推动自动驾驶发展。