引言

随着我国经济和综合国力的发展，桥梁建设的规模日益扩大。截至2020年末^[1]全国公路桥梁91.28万座，比上年末增加3.45万座。桥梁使用过程中的外力作用和自然老化会导致出现多种表面病害，及时准确发现桥梁存在的病害对桥梁安全运行意义重大。无损检测通过使用红外线、超声波等技术，在不破坏被测物的情况下，获取被测物的损伤信息。无损检测技术应用于桥梁病害检测和诊断^[2]，存在检测区域受限问题。人工使用刻度尺等测量仪器直接对桥梁表观病害进行测量，存在测量精度不高和漏检问题；采用无人机拍摄桥梁图片，人工进行病害评估，提高了桥梁病害的检测效率。但是随着桥梁总体量的增加，人工检测方法的缺点将进一步放大^[3]，如工作量不断增大、效率越变越低等。

为了解决上述传统方法的局限性，采用深度学习中的卷积神经网络（convolutional neural networks, CNN）对大量的桥梁病害图像数据^[4]进行处理，提取图像特征，最后获得目标病害位置及类别的方法，成为桥梁表面病害智能化检测的研究热点。2019年，张宁^[5]采用了FasterR-CNN方法进行道路病害的检测，采用了Soft-NMS方法取代了原有NMS（non-maximum suppression）方法，减少了道路病害的漏测率，同时提升了对裂纹和坑沟等二类病害的测量精度，平均准确度为88.3%。2019年，ZHANG C^[6]等人采用YOLOv3算法检测病害图像，包含的病害类型有露筋、裂缝、保护层脱落、剥落，对病害的分类准确度为80%。2021年，罗晖等^[7]使用改进的YOLOv4算法检测路面病害图像，病害主要包括横向裂缝、纵向裂缝、网状裂缝和坑槽，方法是替换网络层中原始卷积结构，针对样本不平衡问题使用focal-loss改进损失函数，检测精度为93.64%。2022年，周清松等^[8]采用改进的YOLOv3对桥梁表面病害做检测，包含4种病害类型，即露筋、风化、腐蚀污点、剥落，通过在检测层中加入固定大小的池化模块，让局部特征和全局特征融合，将模型对病害的检测精度提高为85.6%。

用于目标检测的卷积神经网络算法^[9]有2个类别：二阶段目标检测算法和单阶段目标检测算法。二阶段目标检测算法有R-CNN、FastR-CNN及MaskR-CNN等算法，单阶段目标检测算法有SDD（single shot multibox detector）以及YOLOv3、YOLOv4、YOLOV5、YOLOX（you only look once X）等。YOLO系列的网络是直接回归检测，YOLOX^[10]的检测效果超越之前的YOLO系列模型，在检测精度上更准确。针对目前使用深度学习算法对桥梁病害检测，存在准确度较低的问题，本文使用YOLOX模型为基础，对桥梁病害进行检测，为了提高网络对病害的检测精度，对其网络结构加以改进，使得网络能提高桥梁病害检测的精度。

1   YOLOX网络算法

1.1   YOLOX网络介绍

YOLOX算法整体的网络结构如图1所示，网络一共包括3大部分。

图  1  YOLOX网络结构及子模块图

Figure  1.  YOLOX network structure and sub-module diagram

下载: 全尺寸图片 幻灯片

第1部分是主干网络CSpdark53。它是在darknet^[11]中增加(cross stage partial，CSP）结构，原始图片输入到CSpdark53网络中，首先将图片尺寸调整成640×640×3像素，经过Focus结构，通过对图像切片和拼接将高和宽进行压缩，使得通道数加倍，尺寸变为320×320×12 像素，之后进行卷积标准化和激活函数进行特征提取。CSpdark53有4个残差结构，均分别进行3×3卷积下采样，压缩高和宽，改变通道数，通过CSP结构进行特征提取，SPP(spatial pyramid pooling)^[12]将空间金字塔池化作为特征提取网络的最后一层，主要目的是分离上下文特征，增加感受野，通过不同大小池化核进行最大池化来提取特征。

第2部分是颈部（neck），也叫特征提取加强网络。从主干网络获取3个有效的特征层，尺寸分别是80×80像素、40×40像素和20×20像素，其中深层特征图经过1×1的卷积来调整通道数并进行卷积上采样；再将输出特征图与相邻的浅层特征图拼接，之后经过CSP层进行特征提取；最终，颈部结构输出不同尺寸的特征图。

第3部分是检测头(detection head)。经过检测头输出3个尺寸的特征图20×20像素，40×40像素、80×80像素。YOLOX检测头将类别和回归框分开预测，每一个特征层会有3个预测结果。

1.2   YOLOX网络改进

1.2.1   改进颈部结构

YOLOX网络的颈部结构由两部分组成：FPN(feature pyramid networks)结构是从上到下进行特征提取，深层特征图经过上采样与浅层特征图做特征融合得到新的特征图；PAN(pyramid attention network)结构则与FPN相反，进行从下到上的特征提取。

深度特征图通常具有更多的语义特征和更少的边缘信息。浅层特征图具有较强的边缘信息和较少的语义信息。FPN的作用是从深到浅发送丰富的语义信息，以增强模型的语义信息；PAN的作用是将浅层的边缘信息发送到深层，以增强对模型的定位能力。

在EfficientDet^[13]网络中，提出了双向特征金字塔网络，其结构如图2所示。BiFPN结构采用双向融合的思想，不仅是从上层到下层、从下层到上层的特征融合，而且不同尺寸的特征图进行特征融合后，在同一尺寸上添加横向连接，解决网络层数多导致的信息缺失。

图  2  BiFPN结构

Figure  2.  Structure diagram of BiFPN

下载: 全尺寸图片 幻灯片

YOLOX的主干网络输出给颈部网络3个特征层的特征图。但随着特征图层数越来越深，提取的边缘信息越少。为了更好地让模型对桥梁病害的边缘特征进行识别，本文提出融合浅层特征的方法，具体如下：将YOLOX主干网络的dark3特征图在CSP层处理后，增加一个浅层融合模块，该模块由上层卷积上采样后与dark2层提取的特征图拼接，经过CSP操作进行特征提取，通过卷积进行下采样，最后将输出的特征图与该层相同尺寸的特征图进行拼接，并将获得的特征图输出给后面的检测头网络。

改进理由是由于YOLOX网络的FPN和PAN结构之间特征融合，大多数纵向方向的连接，随着网络层数变多会导致信息缺失，不能很好地将信息进行融合，因此在不同尺寸特征图特征融合后，改进原始的结构。在最后一层上，添加同一尺寸上横向连接，增加横向方向的特征融合，使得网络把语义特征和定位信息联系起来。其中融合浅层特征的网络改进如图3中虚线连接所示。

图  3  改进的YOLOX（增加横向连接、浅层融合模块）

Figure  3.  Improved YOLOX (increased lateral connections and shallow fusion module)

下载: 全尺寸图片 幻灯片

1.2.2   CA模块的构建

由于YOLOX中特征加强网络在进行特征融合时，采用了直接拼接的方式；然而因为不同的输入特征图对融合后输出特征的贡献是不平等的，因此提出改进方法，本文考虑引入通道注意力机制，能更好地适应不同层网络结构对输出的贡献。

通道注意力机制可以强化有效信息，减小干扰。常用的通道注意力模块有SE(squeeze-and-excitation)、CBAM(convolutional block attention module)等。SE模块^[14]直接将特征图转换为特征向量，只考虑通道间信息的编码，丢失了位置信息；CBAM^[15]采用全局池化来引入位置信息，但是位置信息不精细。

坐标注意机制(coordinate attention，CA)模块是一种高效的注意力机制，将空间的详细位置信息和通道注意力结合。CA^[16]模块通过两个步骤完成位置信息的嵌入和注意力生成，其模型结构如图4所示。

图  4  CA模块结构

Figure  4.  Structure diagram of CA module

下载: 全尺寸图片 幻灯片

首先将详细位置信息嵌入模块中，转换为一对一维度的编码操作。通过尺寸为（H,1）和（1，W）的全局池化，进行水平方向和竖直方向通道编码，获取详细的位置信息。上述两个1维的全局池化在得到一个方向位置信息的同时，保存了另一个方向上的持续依赖。然后，通过1×1的卷积来压缩维度，并在批量归一化后经过激活函数，再将特征图还原为原始的通道数，得到输入特征图的两个维度上的注意力权重，最后通过乘法获得具有两个方向上注意力权重的特征图。

CA模块中使用的激活函数sigmoid的输出是一个介于0和1之间的值，该激活函数收敛速度较慢，且其输出均值不为0。在网络训练的过程中，数据需要通过归一化等预处理来达到0均值。

为了提高模型的收敛速度，便于网络训练，本文将对CA模块中的激活函数进行改进：采用0均值的tanh函数替代sigmoid函数。图5为tanh函数和sigmoid函数曲线，由图中两函数的导数可以看出，tanh函数的导数比sigmoid函数导数值更大，梯度下降更快，所以在网络训练中收敛速度更快；且tanh函数均值为0。

图  5  sigmoid和tanh激活函数

Figure  5.  Activation function curves of sigmoid and tanh

下载: 全尺寸图片 幻灯片

本文在YOLOX的特征提取加强网络中引入上述改进后的CA模块，以提高网络的识别精度。改进的CA模块在嵌入网络结构中的位置见图3。

1.2.3   损失函数的改进

YOLOX中的损失函数是各个分支损失的加权值。由于原始的YOLOX网络中的定位损失函数IoU(intersection over union)对于定位存在缺陷，因此替换原始的定位损失函数为CEIoU(complete efficient-IoU)，这样能更好地检测出病害，提高检测精度。

式中：L_reg用来预测特征点对应的回归参数；L_obj用来判断特征点是否包含物体；L_cls用来判断特征点包含的种类。把3个预测结果堆叠，能得到每个特征图的结果。

定位损失L_reg是预测边界框和真实框的误差。常见的定位损失算法包括：IoU、GIoU（generalized-IoU）、DIoU（distance-IoU）、CIoU(complete-IoU)和EIoU(efficient-IoU)。IoU是真实框与预测框的交集面积和并集面积的比值，当真实框与预测框没有交集时，IoU为0，网络无法进行反向传播学习。GIoU不仅关注两框的重叠区域，还关注非重叠区域。DIoU引入惩罚项为两框的中心点欧氏距离的比值。CIoU和EIoU是为了让预测框更加接近真实框，CIoU引入同一个框的纵横比，EIoU将两框的长宽边的真实差作为新的惩罚项。为了使得网络的定位更加的准确，对定位损失函数做改进，提出替换原始IoU为CEIoU损失函数。CEIoU的公式如下：

式中： w表示真实框的宽；h表示真实框的高；w_gt表示预测框的宽；h_gt表示预测框的高；v 描述两个框长宽比的相似性；α是权重系数。

CEIoU损失函数有3个部分：对重叠区域的损失、对两框距离的损失以及对两框的宽高损失。IoU是真实框与预测框的交集面积与并集面积比值。针对重叠区域的损失，是计算两框交集面积与并集面积比值；针对两框的距离损失，是计算两框中心点间的欧式距离平方和与两框外围最大矩形对角边平方的比值；针对两框的宽高损失由两部分组成，一部分是两框各自长宽比损失，另一部分是两框间长或宽的真实差的平方和与两框中最大的长或宽平方和的比值。改进后的损失函数能很好地反映出两框间的损失，也能加快收敛速度。

2   网络模型训练及准备数据集

2.1   实验环境与数据集

本文实验硬件配置为NVIDIAGeForceGTX1070Ti显卡，CUDA版本为10.1 cudnn版本为7.6，利用的深度学习框架为Pytorch1.7。网络训练的参数如表1所示。

表  1  参数的初始化

Table  1.  Initialization of parameters

输入图片尺寸/像素	优化器	动量系数	冻结次数	批量大小	学习率	解冻次数	批量大小	学习率	总次数
640×640	Adam	0.8	50	16	0.001	200	8	0.0001	250

下载: 导出CSV 

| 显示表格

本次实验使用混凝土缺陷桥梁图像数据集^[17]，数据集中的表观病害分为5类，即裂缝、剥落、风化、漏筋和腐蚀污点。图6展示了训练集图片中各种病害的形态和特点，图6（a）有腐蚀污点，可以看出它锈迹斑斑，不同于其他墙面；图6（b）有裂缝病害；图6（c）有风化的病害，它表现为白色，片状分布；图6（d）有剥落和露筋的混合病害，剥落是混凝土脱落的结果，最后也可能会形成钢筋外露，使得多种病害在同一个位置。

图  6  部分训练集病害图片

Figure  6.  Part of disease images in training set

下载: 全尺寸图片 幻灯片

对基础数据进行可视化分析，发现有部分图片的病害目标框在图片尺寸的外侧，因此去除错误框，一共得到了1016张图片，并对图片做同比例的缩放。对数据集进行扩充，扩增方式包括图片模糊、翻转和亮度调整，最终获得3048张新图片，训练集和测试集比例为9∶1。通过对训练集的XML (extensible markup language) 文件进行解析，获得本次研究各种桥梁表观病害的数目，统计后的各种病害数目如表2所示。

表  2  训练集中各种病害框数目

Table  2.  The number of various diseases in training set

各种病害	风化	裂缝	露筋	剥落	腐蚀污点	总计
训练集病害框数目	2579	8259	4866	6173	4971	26848

下载: 导出CSV 

| 显示表格

2.2   评价指标

混淆矩阵如表3所示：将所有的样本分成4个类型，将正样本检测为正样本是TP，将正样本检测为反样本是FN，将反样本检测为正样本是FP，将反样本检测为反样本是TN。所有预测正确的样本数总数是TP和TN之和，所有预测为正样本的样本总数是TP和FP之和。TP和FN是所有实际为正的样本。

表  3  混淆矩阵

Table  3.  Confusion matrix

混淆矩阵		真实值
		正例	反例
预测值	正例	真正例	假正例
	反例	假反例	真反例

下载: 导出CSV 

| 显示表格

精确度P指所有正确被预测的正样本占预测为正样本的百分比，召回率R指所有正确被预测的正样本占所有正样本的百分比，MAP是所有类的平均准确率之和除以类数。

3   实验结果与分析

3.1   网络的消融实验

将多个模型的实验数据进行对比，其中使用到的模型包括：基础YOLOX模型；不修改损失函数，改进YOLOX网络颈部结构，修改CA模块后的YOLOX-b模型；在YOLOX网络的基础上，只修改为CEIoU损失函数的YOLOX-aa模型；在YOLOX-b模型的基础上，修改为EIoU损失函数的YOLOX-c模型；修改为CEIoU损失函数的YOLOX-d模型；并使用YOLOV-5算法做了实验。实验结果如表4所示，训练过程中的损失函数曲线如图7所示。

表  4  改进的YOLOX和YOLOX的实验结果

Table  4.  Experimental results of improved YOLOX and YOLOX

算法	平均精度/%					平均精度均值/%
	风化	裂缝	漏筋	腐蚀污点	剥落
原YOLOX	82.80	77.77	94.57	90.01	93.19	87.67
YOLOX-aa	82.89	82.15	94.72	90.02	93.37	88.63
YOLOX-b	86.25	83.31	96.35	91.74	93.42	90.22
YOLOX-c	85.39	86.14	96.53	92.49	95.34	91.18
YOLOX-d	88.67	85.91	97.07	93.10	95.78	92.11
YOLOV-5	82.54	79.01	74.67	66.71	78.69	76.32

下载: 导出CSV 

| 显示表格

图  7  损失曲线

Figure  7.  Loss curves

下载: 全尺寸图片 幻灯片

从表4可以看出，改进后的YOLOX-d算法精确度高于基础YOLOX算法，平均精度均值从87.67%提高道92.11%，整体提升4.4%，针对裂缝和风化病害的检测精度，分别提升8.14%，5.87%，也提高了对其他桥病害的检测精度。YOLOX-aa模型相比基础YOLOX网络，在替换为CEIoU定位损失函数后，提高模型对病害的定位能力，最为突出的是对裂缝病害的识别度提高了4.38%。由于引入浅层的特征，包含的边缘信息较多，因此改进的YOLOX-b模型比基础YOLOX网络对风化和裂缝的检测性能更强，检测精度分别提高3.45%和5.5%，对于其他细小病害的识别准确度也有提高。而基础YOLOX算法比YOLOV5算法对各种病害的平均检测精确度都高，证明了选取初始算法的有效性和健壮性。

训练过程中，生成的损失函数曲线如图7所示。图7中横坐标是训练次数，纵坐标是损失值，可以看出改进的YOLOX-d模型生成的损失曲线在曲线图的下方，通常损失曲线越低，模型检测准确度会更高，对病害的检测效果更好，且改进损失函数后模型收敛速度更快。

此外，对其他研究者提出的桥梁病害算法也做了对比，周青松等人基于YOLOV3算法做了改进，并对桥梁数据集中4种病害进行了检测，对比结果如表5所示。

从表5可以看出：改进的YOLOX算法对比YOLOV3，对各种病害的检测精度，除了对剥落病害检测有些下降外，其他的病害检测精度明显提高，显示了对算法改进后的优势。

表  5  将改进算法与其他研究者提出算法对比

Table  5.  Comparison of improved algorithm with those proposed by other researchers

算法	平均精度/%					平均精度 均值/%
	风化	剥落	漏筋	腐蚀污点	裂缝
YOLOX-d	88.67	85.91	97.07	93.10	95.78	92.11
改进YOLOV3	81.4	86.0	89.2	85.6	_	86.6

下载: 导出CSV 

| 显示表格

3.2   图片检测的可视化

使用基础YOLOX网络与改进的YOLOX-d网络对测试集图片进行可视化对比。如图8左侧为使用基础YOLOX网络的结果，右侧为改进的YOLOX-d网络的检测结果，图8（a）的病害为露筋和腐蚀污点。根据图中检测病害效果看，图8（b）检测出左上图没有检测出的多个露筋病害，对于图8（c）、图8（d）两个图，改进后的YOLOX-d网络检测出基础网络没有检测出的风化病害，并提高整体对裂缝识别的精确度。

图  8  可视化改进前后对比

Figure  8.  Comparison before and after visualization improvement

下载: 全尺寸图片 幻灯片

4   结论

目前对于桥梁表面病害的检测任务，存在检测精确度低、召回率低的问题，本文提出一种改进的YOLOX算法，首先对原始桥梁数据集进行扩充，提高网络模型的泛化性；其次对YOLOX网络颈部结构进行改进，通过引入浅层的特征信息，加入了同样尺寸的特征层信息进行融合；加入改进的坐标注意力机制CA模块，把位置信息和通道信息更深层地结合起来增强网络对桥梁病害的识别；此外，提出使用CEIoU定位损失函数，优化网络模型。最终，实验结果表明，改进的网络对桥梁的病害有更高的检测精度。