引 言

随着人工智能的普及，各行各业开始步入智能化发展^[1]。近年来电子商务的蓬勃发展带动了物流行业，人们对物流配送速度的要求越来越高。自动导引运输车（automated guided vehicle，AGV）由于较高的自动化水平和可对货物实施智能运输的优点，已逐渐进入物流仓储行业。AGV在仓储环节中，主要是替代人工进行繁杂的分拣，实现24小时不间断工作。正因为AGV在室内应用越来越广泛，科研人员对室内定位表现出极大兴趣。关于室内定位，主要涉及二维码^[2]、射频识别（radio frequency identification ，RFID）^[3]、蓝牙^[4]、可见光^[5]、计算机视觉技术^[6-7]等。二维码定位技术相对比较成熟，但是需要定点扫描，导致其无法充分利用空间，降低了仓库空间的利用率，同时易造成标签磨损。对于蓝牙和RFID定位，其需要持续发射电磁信号，功耗较大，存在由信号干扰引起的定位漂移的情况。而可见光定位的短板则在于无法处理光遮挡问题，难以实际应用。尽管计算机视觉应用在定位技术上结构简单、硬件成本低廉，但研究起步较晚。2013年HAN S B等提出的基于标志物的粒子定位算法（label particle localization algorithm，LPLA），利用单目摄像头在1.6 m×2 m范围内实现标准差为7.1 cm的定位^[8]，但与其他技术相比，定位精度仍有差距。2017年，YANG Guojun等利用AR（augmented reality）标记物的旋转变形等信息实现单目视觉下精度为cm级的粗定位^[9]。2018年，曹小华等利用棋盘格在进行标定的同时，通过平面投影实现误差在3%～5%的单目视觉的距离求解，且该工作未涉及角度测量^[10]。现有单目视觉技术结构简单，虽然有望成为室内导航的主流技术，但是其定位精度仍有待提高。

因此，本文结合深度学习和计算机视觉，提出一种基于嵌入式GPU(graphics processing unit)的特征畸变单目视觉定位系统。该系统使用经特殊设计的圆环编码图案作为全局特征标签，其编码映射为自身坐标。通过目标检测算法识别和分割带畸变的特征圆环标签，利用特征标签的物像形变信息，输入至XGBoost算法训练的机器学习回归模型，预测出相机相对特征标签的坐标，结合该特征标签的绝对坐标和目前相机的朝向，解算出相机的室内绝对坐标。

1   系统原理

1.1   圆环编码图案及解码原理

对于计算机视觉定位而言，视觉标签的设计十分重要。首先视觉标签必须能够准确反映自身的绝对位置信息，并不具备二义性；其次要便于通过计算机视觉方法从背景分割、识别^[11]。根据以上两点要求，本文提出用一种黑白半圆环相间的圆作为定位的特征标签，如图1所示。该类型特征标签以一定间隔平整地铺设在地面上，并且规定小车有4个运动方向：前、后、左、右。

图  1  圆环编码图案及解码示意图(方向“1234”指相机所处位置)

Figure  1.  Ring encoded pattern and schematic diagram of decoding (number 1 to 4 refers to position of camera)

下载: 全尺寸图片 幻灯片

相机采集图像后，利用深度学习目标检测模型识别图像中的特征标签，并返回离相机最近的标志物边界框，设置图像ROI（region of interest）^[12]进行下一步处理。考虑到对于运动的小车，若要实现实时的目标检测，必须使用一种高效而精简的神经网络。因此目标检测模型采用YOLO(you only look once)网络模型^[13]，其优点是速度快，占用内存少，准确率高，非常适合在如嵌入式GPU等算力不强的设备中使用。

在获取标志物的图像后，按其中心纵轴坐标y₀以下若干个像素（本文取2个像素）的位置读取像素灰度值，并丢弃背景像素，最后运用Otsu法（即最大类间方差法）进行二值化。Otsu法可以自适应地确定最佳阈值，有效区分背景和目标。Otsu法计算阈值的公式为

式中：$ t $为灰度分割阈值；$ u $为图像平均灰度值；$ u_{0}(t) $、$ u_{1}(t) $分别为$ t $分割阈值下，背景的平均灰度值和目标物的平均灰度值；$ w_0(t) $、$ w_{1}(t) $分别为$ t $分割阈值下背景占比和目标物占比。

如图2所示，通过二值化后，横向读取的灰度信息将从0～255的分布变为0或255的分布。定义灰度0的像素读出值为0，灰度为255的像素读出值为1，再将相邻读出值相同的数据合并，此时所读取的像素灰度值即转换为一串二进制码（如图2所示读出值为010101010，其0对应黑色的圆环，1对应白色圆环），通过查表得到标志物的中心绝对坐标$ \left(x_{{\rm{m}}}, y_{{\rm{m}}}\right) $及其朝向。该映射表按照标志物在室内的摆放位置人为规定，例如可以按表1进行规定。

图  2  解码示意图

Figure  2.  Schematic diagram of decoding

下载: 全尺寸图片 幻灯片

表  1  码型与相机朝向映射表

Table  1.  Code type and camera orientation mapping

圆环数	二进制码	中心绝对坐标/cm	相机朝向
2	010	（100，100）	东
	0101	（100，100）	南
	101	（100，100）	西
	1010	（100，100）	北
3	01010	（200，200）	东
	010101	（200，200）	南
	10101	（200，200）	西
	101010	（200，200）	北

下载: 导出CSV 

| 显示表格

1.2   利用YOLO神经网络分割圆环编码特征物

YOLO神经网络是由美国华盛顿大学和脸书（Facebook）AI研究所于2016年提出的基于卷积神经网络的实时目标检测方法。顾名思义，该算法只需要通过神经网络进行一次前向传播来检测物体。这意味着整个图像中的预测是在单个算法运行中完成的。第三代YOLOv3的表现十分惊人，在与其他算法精度相当的条件下，其检测速度比其他模型快3倍到4倍。出于实时性考虑，本文选择YOLOv3神经网络作为圆环编码特征物识别以及将其从背景分割的工具。

1.3   利用XGBoost预测相对坐标

考虑到地面铺设的圆环编码图案成像到相机感光芯片后，其物像呈现为椭圆形，该映射规律涉及到复杂的光路变换，而且与环境变量紧密相关，如相机高度、俯仰角、镜头参数等。由此可见，要从中推导出标志物形变与相机之间相对坐标的关系比较困难，且鲁棒性不高，因此，本文采用机器学习的方法，通过已知数据，利用机器学习算法训练出回归模型，从模型输入标志物的关键特征，模型将预测出相机对于标志物的相对坐标$ \left(x_{{\rm{re}}}, y_{{\rm{re}}}\right) $。

由于标志物在图像中的形态为椭圆形，因此采用最小二乘法拟合椭圆的方法^[14-15]来获取标志物物像的5个特征量：标志物中心在图像坐标系中的坐标$ \left(x_{0}, y_{0}\right) $、长轴长度a（单位为像素）、短轴长度b（单位为像素）、短轴与水平线夹角θ，如下式：

回归算法采用极限梯度提升算法（XGBoost）^[16]，其致力于突破提升树的计算极限，实现快速运算和高效性能。对比经典的GBDT（gradient boosting decision tree）算法，XGBoost主要进行了如下主要改进：

1） 对损失函数进行二阶泰勒展开，利用了一阶和二阶导数信息，从而减少优化过程中产生的误差，而GBDT仅用到一阶导数信息；

2） 损失函数添加正则化项，控制模型复杂度，防止过拟合；

3） 支持并行运算。

XGBoost可表示为加法模型，利用模型上一次迭代（由t-1棵树组合而成的模型）的预测产生的残差，建立下一棵树（第t棵树）：

式中：$ \hat{y}_{i}^{(t)} $表示样本在t次迭代时模型对样本$ x_{i} $的预测结果；$ f_{k} $为第k棵树；$ f_{t} $为新添加的树。

添加的规则是在现有的t-1棵树的基础上，使得目标函数最小。目标函数为

式中：l为损失函数；$\varOmega $为正则项，用于惩罚复杂模型；$ { {\rm{c}} } $为常数项。二阶泰勒展开为

利用XGBoost分别对相对坐标$ x_{{\rm{re}}} $、${y}_{{\rm{re}}}$训练回归模型：

最后结合对特征标签解码所得的标签绝对坐标$\left(x_{{{\rm{m}}}}, y_{{\rm{m}}}\right)$，即可求得相机室内绝对坐标$ \left(x_{a b}, y_{a b}\right) $：

相比文献[9]和[10]的AR标志物和棋盘格标志物，圆环编码在完成相对坐标测量的同时，也能实现求解朝向（如表1所述）的依据。

2   系统设计与工作流程

由于面向仓储的室内AGV有不同的尺寸，大型的尺寸如小汽车，可以搭载如工业控制计算机作为处理终端；而小型室内AGV只有30 cm～50 cm的边长，仅能搭载便携的嵌入式设备作为处理终端。所以，小型AGV需要在嵌入式设备上运行深度学习YOLO网络模型，同时需要实现快速运算，显然对设备的计算力要求比较高，普通的嵌入式开发板无法满足，因此该系统选用嵌入式GPU硬件平台NVIDIA Jetson TX2^[17]，如图3所示，其内部集成了256个NVIDIA CUDA 核心和一个6核64位的ARMv8处理器集群，拥有8 GB LPDDR4 128位内存，非常适合运行深度学习网络，且容易部署在移动设备上。

图  3  NVIDIA Jetson TX2+载板

Figure  3.  NVIDIA Jetson TX2 and its loading board

下载: 全尺寸图片 幻灯片

系统在开发过程中，YOLO网络的训练以及代码的运行都先在电脑端上进行开发和测试。当代码可以正常运行后，再将整套算法移植至嵌入式设备GPU中测试最终效果。嵌入式设备的参数见表2。

表  2  嵌入式设备参数

Table  2.  Embedded device parameters

系统环境	软件环境	硬件环境
Ubuntu 16.04	Python 3.5.2	NVIDIA Jetson TX2模块*
	OpenCV 3.4.4	瑞泰RTSO-9001载板
	CUDA-9.0	罗技C270摄像机，300万像素
*运存与显存共用，容量为8 G，外存容量30 G。

下载: 导出CSV 

| 显示表格

实验主机的软件环境与嵌入式设备保持一致，硬件参数见表3。

表  3  实验用电脑参数

Table  3.  Experimental host parameters

系统环境	硬件环境
Ubuntu 18.04	GPU：Nvidia GTX1080Ti，10 G显存
	CPU：Intel(R) Core(TM) i7-7700 CPU @ 3.60 GHz
	32 G RAM内存

下载: 导出CSV 

| 显示表格

该定位系统的完整运行流程框图如图4所示。系统先调用相机采集定位场景，利用YOLO找出标志物，给出①标志物的朝向解码和它的世界坐标、②标志物的中心在图像坐标系中的坐标(x₀，y₀)、长轴长度a、短轴长度b、短轴与水平线夹角θ，并将这些参数输送XGBoost模型，得到相机和标志物相对坐标。最后，将标志物世界坐标和相机与标志物相对坐标结合，便得到相机（即AGV）的世界坐标。

图  4  系统框图

Figure  4.  Flow chart of system

下载: 全尺寸图片 幻灯片

实验场景设置如图5所示。地板上铺设2 m×2 m的KT板，颜色为浅灰色，在CMYK(cyan-magenta-yellow-black)色域表示为（C: 0, M: 0, Y: 0, K: 50-60）。在与KT板底边相距15.0 cm处平行放置光学导轨，光学导轨滑块上架设罗技M270摄像机。

图  5  系统搭设

Figure  5.  System construction

下载: 全尺寸图片 幻灯片

3   系统测试与数据分析

3.1   实验效果

首先进行图像采集工作，在KT板中线放置5个不同圆环数的特征标签，相机每次以1 cm的步长水平移动，每个位置采集一张图像。相机在光学导轨上从左端到右端共99个位置。在所有水平位置都采集到图像后，全部标签整体下移5 cm，重复上述步骤继续拍摄。拍摄的同时，记录每个特征标签相对相机的坐标，标签以相机为原点，水平导轨为x轴，过相机点垂直于水平导轨为y轴。最后采集到有效图像共1266张。

利用采集所得的图像，在电脑端上训练出YOLO网络。每训练1000个循环，模型生成一个权重文件，当损失收敛时停止训练。每一张图像视野内完整的特征标签包含的圆环数有多个（2～5个），共从1266张图像中提取出5483 组圆环编码图案椭圆拟合信息$ \left(x_{0}, y_{0}, a, b, \theta\right) $，用于训练XGBoost回归模型。训练完毕后，定位系统调用权重文件，对每一帧图像实时预测出相机的室内绝对坐标。系统运行效果图如图6所示。

图  6  系统运行效果图（position/cm：相机绝对坐标）

Figure  6.  Effect diagram of system operation (position/cm: absolute coordinates of camera)

下载: 全尺寸图片 幻灯片

系统各模块在实验主机和NVIDIA Jetson TX2平均运行时间如表4所示。

表  4  各模块平均运行时间

Table  4.  Average running time of each module ms

模块	电脑主机	TX2
YOLO	35	280
椭圆拟合	1	6
预测坐标	8	15
解码	1	9
合计	45	310

下载: 导出CSV 

| 显示表格

3.2   误差分析

测试集误差情况如表5所示。模型的平均误差在1.00 cm以内，其中x方向的平均误差为0.31 cm，y方向平均误差为0.52 cm，坐标平均误差近似为0.55 cm。坐标x最大误差不超过2 cm，坐标y最大误差不超3 cm。对比LPLA^[8]测量距离标准差7.1 cm有明显提升。将测试集的x坐标和y坐标的绝对误差制作成绝对误差热度图分布，如图7所示。由热度图可见，误差最大的数据点主要在最远端，这是因为远端的标志物物像较小，清晰度不够。出于实时性考虑（因为亚像素边沿提取需要使用矩进行卷积，所以耗时较大），本文未采用亚像素处理，所以该部分区域的圆环拟合出现比其他区域略大的偏差，从而影响了相机和特征标签之间的相对坐标预测。根据分析可知，摄像机清晰度和边沿精确提取是定位精度最大的两个因素，故未来随着处理终端（如电脑、嵌入式GPU）算力的提升，可以采用更高分辨率的摄像头和引入亚像素处理，以提高定位的准确性。

表  5  测量误差

Table  5.  Measuring errors cm

参数	平均误差	标准差	误差最大值
坐标x	0.31	0.28	1.57
坐标y	0.52	0.51	2.91
距离$ \left(\sqrt{x^{2}+y^{2}}\right) $	0.55	0.53	3.31

下载: 导出CSV 

| 显示表格

图  7  绝对误差热度分布图

Figure  7.  Heat distribution diagram of absolute errors

下载: 全尺寸图片 幻灯片

4   结论

为克服单目视觉定位精度低的短板，本文提出一种可在嵌入式GPU上运行，基于特征圆环标签畸变解算的轻量化单目视觉定位系统。该系统运用多个全局特征标签—带编码的圆环图案进行定位。实际工作中，利用单个通用相机拍摄地面上铺设的特征标签，并做图像识别和分析，根据标签的畸变预测出相机与特征标签之间的相对坐标，对标签所包含圆环进行解码，得到标签的室内绝对空间位置及相机朝向，进而计算出相机的室内绝对空间位置。1266张图片的5483组实验数据表明，在2 m×2 m范围内，该定位系统的平均测量误差仅为0.55 cm，对比文献报道的LPLA有明显提升。因此，只要合理铺设特征标签，利用该系统可实现AGV在（如仓库等）室内场景中任意位置准确地定位，有望为AGV实施货物自动分拣等工作提供辅助。