引言

双目视觉测量系统是基于同一目标在双目相机中存在视差而构建的非接触式被动测量系统。在三维空间中，同一目标在不同位置相机上的投影点存在视差，且视差大小与目标距离成反比。通过测量双目相机对同一目标的视差，便可计算得到目标与相机之间的距离。双目视觉测量系统可以应用于无人车导航、三维场景重建、机器人引导、体感游戏、空间跟踪等领域。

双目视觉系统以输出待检测区域的三维信息为目标，其结果通常展示为深度图。在双目视觉系统中，深度图的构建包含四个过程：一是双目图像的像素级匹配；二是匹配后的特征点聚合；三是根据匹配点的视差计算深度；四是对计算的深度图优化。近些年来，相继提出许多双目立体视觉匹配算法。这种深度图生成算法是基于像素点或极小的像素块进行计算，所以其结果能够覆盖全图，从而获得被测空间中的全部三维信息^[1-2]。结合深度神经网络的双目视觉立体匹配算法在近些年被提出，其将深度图构建中的四个过程采用深度学习的方法实现^[3-7]。无论是传统算法或是基于深度学习的算法，在面对一些特殊情况时都会出现由于匹配错误导致的视差计算错误，例如无纹理区域、重复纹理区域、光滑表面的镜面反射区域、光学失真区域等。并且基于深度学习的立体视觉匹配模型在处理新环境时，准确性会显著下降^[8-9]。

在观察图像时，通常只有一些特定的区域或目标能够引起观察者的兴趣。在道路环境下的测量系统中，只期望测量特定目标的距离信息，如人、车辆、信号灯、斑马线等。无需在整幅图像的所有像素点上计算视差信息，因此能够在很大程度上避免因匹配错误而导致的计算错误。在夜间低照度环境中，由于驾驶员视线不佳以及疲劳等问题，使用低照度CMOS摄像机结合双目视觉测量系统能够起到驾驶辅助作用。

道路环境下的测量系统主要有三类：一是基于双目和激光点云的测量系统，其特点是精度高但造价贵；二是基于双目视觉的测量系统，相对第一种方法成本较低，但会在精度上有一定损失；三是基于单目视觉的测量系统，主要依靠深度学习对目标距离进行推测，成本更低，但对算力要求较高。本文将描述一种基于目标的双目视觉测量系统，能够实时计算特定目标的距离信息。

在双目视觉特征匹配中常用的是点特征，如Harris角点、SIFT特征点、SURF特征点、ORB特征点等。在传统的目标检测方法中，特征点信息可以被用来确定目标的分类信息。近年来，基于深度学习的目标检测展现了巨大实力，能很好地应对目标的光照变化、形变、遮挡等。基于深度学习的算法可以分成两大类：一种是基于区域提案的方法；另一种是端到端的回归检测方法。其中端到端的回归检测方法如Faster RCNN算法、YOLO算法、Focus算法等均可在常见的计算机平台上达到实时目标检测。近年来，提出了一些基于Transformer的端到端目标检测算法，省去划分锚框（Anchor）和非极大化抑制（NMS）处理步骤，如DeiT、Swin Transformer算法等，并且这些算法在COCO数据集上能够取得与Faster RCNN相当的结果^[10-12]。依托于TensorFlow、Pytorch、TensorRT等深度学习推理框架，可以在常见计算机平台上部署目标检测算法，这使得以基于目标的双目视觉测量系统拥有很大的潜力^[13]。相对于基于像素点的双目测量系统，基于目标的双目测量系统的测量更有针对性，并能避免大量的匹配错误，同时也能完成目标距离的实时计算。

1   双目视觉测量系统

图1是一个双目视觉测量系统。两个相机的光心为O_L和O_R，摆放到理想位置，即光轴P_L和P_R相互平行。两个相机焦距均为f，基线长度为B，同时观测目标T，则视差计算公式为

式中：x和x'表示目标在两个相机焦平面上投影点坐标，对应图1中X_L和X_R表示目标在两个相机焦平面上投影点距焦平面中心的距离，满足$x - x' = {X_{\rm{L}}} + {X_{\rm{R}}}$；Z表示目标与双目相机基线之间的距离；视差表示目标T在双目相机焦平面上投影点的距离差。根据式（1），目标到相机中心的距离与该目标投影点的视差成反比。

图  1  双目视觉测量系统图

Figure  1.  Diagram of binocular vision measurement system

下载: 全尺寸图片 幻灯片

在实际使用过程中，如果无法将相机摆放到理想的位置关系，则需要进行相机标定，即求解双目相机系统的内参和外参。准确计算双目相机系统内参和外参的大小，对于准确计算视差值具有重要意义，图2表示目标T通过摄像系统投影为像点Q的过程。通过相机坐标系c_oxyz，将坐标从三维世界坐标系w_oxyz转化到二维像面坐标系i_oxy，计算公式为

式中：x表示目标在焦平面内的坐标(x_i，y_i)；X表示目标在三维空间内的坐标(x_w，y_w，z_w)；P表示相机参数，相机参数由内参和外参组成；K表示相机系统内参；[R|T]表示相机系统外参。

图  2  像面坐标系与真实坐标系的转化图

Figure  2.  Transformation diagram of image plane coordinate system and real coordinate system

下载: 全尺寸图片 幻灯片

像面坐标系到相机坐标系的转化，可利用相机内参计算，内参矩阵可表示为

式中：f_x和f_y分别表示相机在x方向和y方向上的尺度因子；c_x和c_y表示相机主点。

相机坐标系到世界坐标系的转化，可利用相机外参计算，包括正交旋转矩阵和平移矩阵：

式中：R为正交旋转矩阵，代表了相机坐标系相对于世界坐标系的旋转关系；T为平移矩阵，代表了相机坐标系相对于世界坐标系的平移关系。

相机成像系统中的透镜会在成像系统中引入一定的误差。一是由于透镜自身曲面形状造成的成像径向畸变，对于一些广角镜头来说，光线在远离透镜中心的地方比在靠近中心的地方更加弯曲。由透镜形状引起的径向畸变可表示为

式中：k₁、k₂、k₃为径向畸变参数。

二是由于相机感光平面与焦平面的不重合导致的成像切向畸变。由相机感光平面安装误差引起的切向畸变可表示为

式中：p₁、p₂为切向畸变参数。

相机的标定方法包括传统的ZHANG Z Y标定法和Tsai标定法^[14]。张正友标定法使用一张打印出的棋盘格从不同角度拍摄几组照片，然后通过公式求解出相机的内参、外参、径向畸变和切向畸变参数。本文采用张正友标定法，棋盘格数20×20，尺寸200 mm×200 mm。对于单个相机而言，根据（3）式～（9）式，需标定相机内参矩阵（包含4个参数）、正交旋转矩阵和平移矩阵（包含12个参数），以及畸变系数（包含5个参数）。

2   双目图像中的目标定位

目标检测是在图片中精确地找到目标位置、并标注目标类别的过程，以输出目标边界框的坐标信息和目标类别概率信息为目标。2012年以来，卷积神经网络开始进入高速发展状态，区别于传统的以模板为基础的特征提取方法，卷积神经网络中提取特征的参数是经过数据集训练后生成的。正是这种卷积核参数由训练所生成的方式，使得卷积核参数可以不受特定卷积模板的限制，从而获得了更好的效果。相对于传统的目标检测手段，使用深度学习的目标检测算法在准确度上得到了大幅的提升，如DETR算法在COCO数据集的大、中、小目标上达到了61.1、45.8、20.5的AP值^[15]。这使得单幅图像上的目标检测精度有了大幅的提升，从而为基于目标的双目测量系统提供了基础。

DETR算法是第一个成功将Transformer整合到目标检测框架中的算法，如图3所示。DETR算法取消了原有目标检测框架中的先验知识，如Anchor、NMS等，在推理精度相当的情况下，DETR相较于Faster RCNN拥有更快的推理速度。DETR使用CNN网络提取目标的特征信息，接着将目标特征信息输入一个Transformer模块（包含编码器-解码器层）中，最后通过前馈网络预测目标的标准化中心坐标以及宽高信息。

图  3  DETR算法结构图

Figure  3.  Structure diagram of DETR algorithm

下载: 全尺寸图片 幻灯片

对于双目摄像系统而言，在每个时刻都会获取到两张待处理图片。如果对获得的两路图像分别进行处理，会对目标检测的实时性带来极大挑战。由于双目成像系统的两路图像获取的是同一区域、同一时刻在不同方向上的成像信息，在两组相机光轴夹角较小且目标距离显著大于基线距离的情况下，同一目标由于角度不同，在两路图像中产生的目标形态变化较小，即两幅图像中的同一目标具有较高的相关性。本文提出一种方法，将第一路图像输入目标检测网络中获得目标位置信息，并以第一路图像中目标的位置信息为参考，计算得到第二路图像中目标的位置信息。

将左侧摄像机作为第一路图像输入，通过DETR算法获得目标K的位置信息P_KL。该目标在第二路图像中位置信息为P_KR，其中P_KL和P_KR均为标定后理想双目成像状态下的位置坐标值。由于两个相机的位置关系，P_KR一定在P_KL正左侧的一定范围内。即在第二路图像上以P_KL作为初始位置信息，向左侧寻找便可获得第二路图像中的位置信息P_KR。两路图像中的位置差P_KL−P_KR即为像素视差的大小。

为提高搜索效率，仅在第二路图像的候选框R_K中进行搜索，候选框的尺寸满足以下条件：

式中：x、y表示候选框的中心点坐标；w、h表示候选框的宽高值；其中r_K为目标在双目相机中沿基线方向的最大像素视差值；h_K为目标在双目相机垂直基线方向上的最大像素视差值。如果相机标定结果足够好，h_K的值应为0。考虑实际的运行环境，可以适当增加h_K的值以确保候选框R_K能完整地包含目标。

在候选框中，采用图像相关的方法寻找对应目标。考虑到较近的目标尺度较大，进行卷积运算时耗时较多，可以采用图像金字塔方式，从小尺度到大尺度不断优化查找。经过测试，可使小尺度缩放图的像素面积在16×16像素到32×32像素之间进行第一轮寻找，接着以2的倍数不断增大缩放图面积，以达到最优搜索结果。

3   测量精度分析

目标T的视差计算公式如（1）式所示，则目标距离Z的计算公式为

式中：B表示基线长度；θ表示相机视场角；x_pixel表示目标在双目图像水平方向上的像素视差；P_ixelx表示相机的水平分辨率。将Z对x_pixel求导，得到：

由双目图像上像素视差的误差引起的目标测距误差可表示为

式中：dx_pixel表示目标在双目图像上像素视差的误差，从（14）式可得，由双目图像上像素视差的误差引起的目标测距误差与目标实际距离成正比。

同理可得，由基线测量误差和视场角测量误差引起的目标测距误差可分别表示为

式中：dB和dθ分别表示基线和视场角的测量误差，由基线测量误差和视场角测量误差引起的目标测距误差与目标实际距离没有关系，仅是系统误差，并可以通过多组实验进行消除^[16]。

4   实验结果

图4表示了在KITTI数据集上取得的测距效果，其中图4（a）表示图像标签真值，图4（b）表示测距效果^[17]。

图  4  KITTI数据集测试结果

Figure  4.  Test results of KITTI dataset

下载: 全尺寸图片 幻灯片

在计算视差时，由于数据集中的左右摄像头获取的图像已经完成校正，所以可以直接利用数据集给出的基线长度进行计算。

表1表示了双目视觉测量系统在KITTI数据集上的检测结果，包含检出目标数、成功测距数、测距正确数以及平均测距误差，测距误差定义为测距距离差值与实际距离之间的比值。对于近距离的目标，算法得到的距离值与真值间存在较大误差，主要原因是由于目标在三维空间内存在一定体积，所以本文的测距基准点与数据集的定义有一定差异。一般车身长度为3 m，对于10 m左右的车辆，测距基准点的不同会对测距结果产生影响。

表  1  双目视觉测量系统检测结果分析

Table  1.  Detection results analysis of binocular vision measurement system

真实目标 距离/m	目标数	检出 目标数	成功 测距数	测距 正确数	平均测距 误差/%
5～15	7 308	7 108	6 845	6 257	7.9
15～25	7 464	7 014	6 727	6 219	5.1
25～40	7 836	7 175	6 934	6 626	4.8
40～80	4 214	3 820	3 674	3 591	5.8
80～120	2 127	1 825	1 751	1 693	6.4

下载: 导出CSV 

| 显示表格

表2为本文算法与其他双目测量算法在KITTI数据集上对15 m～80 m目标的测量性能进行的比较。本文算法相对于其他双目深度算法，在速度上有较大优势，检出率相当；相对于单目算法，在测距误差上有较大优势，能够达到其他双目算法的测距误差，即本文算法在针对道路目标的测量方面优于其他算法。

表  2  本文算法与其它算法对15 m～80 m目标的测量结果比较

Table  2.  Detection results comparison of 15 m~80 m targets with proposed algorithm and other algorithms

算法	检出率/%	测距误差/%	运行帧率/（帧/s）
本文算法	92.3	5.2	21
GC-Net	93.1	5.9	1.1
GANet	93.5	5.2	10.2
PSMNet	93.9	4.8	2.4
Monodepth	92.9	6.9	15

下载: 导出CSV 

| 显示表格

在实际环境下进行测试，相机分辨率为1 920×1 080，相机视场角为60°，基线长度为18 cm。设置最近可测距距离为2 m，根据式（11）计算得出r_K最小为200。在测试中设置r_K为200，h_K为2。对于目标在双目图像的定位，取1个像素点的误差作为像素视差误差，理论上能够达到的最远测距距离为300 m。但根据式（14），在距离较远时，双目测距精度极大降低，实验中取双目测量系统的实际测距范围为2 m～40 m。通过式（14）计算得到目标测距误差为

即对于距离为2 m的目标，其测距误差为0.66%；对于距离为40 m的目标，其测距误差为13.2%（对应距离误差为5.2 m）。图5为双目测量系统测试效果图，表3为测试结果分析。

图  5  双目测量系统测试效果

Figure  5.  Detection effect of binocular measurement system

下载: 全尺寸图片 幻灯片

表  3  双目测量系统测试结果分析

Table  3.  Detection results analysis of binocular measurement system

目标序号	目标真实距离/m	输出概率值	测距值/m	测距误差/%
1	18.94	0.99	18.25	3.64
2	19.81	0.98	18.95	4.34
3	21.18	1.00	20.82	1.70
4	22.56	0.99	21.92	2.84

下载: 导出CSV 

| 显示表格

目标检测算法在RTX 2080Ti上运行，单张图片的检测时间为42.13 ms。整体算法对于单帧图像处理时间为47.96 ms，检测帧速为21帧/s，能达到实时测量。

5   结论

文中基于DETR的双目测量系统能够高效地完成一定区间范围内的被动式测距。该系统的测距范围与基线长度成反比，测距误差与基线长度成反比，通过调整基线长度能构建出适用于不同区间的测距系统。本文的双目测量系统相对于基于深度计算的方法，能够很好地避免双目图像在匹配过程中带来的误匹配问题，在针对道路环境下人、车、自行车、信号灯等常见目标的检测准确度方面有优势。相对于基于深度学习的双目计算方法，本文方法在运算速度上有较大优势，且能在主流显卡上实时运行。