引言

桥梁道路由于长时间被外部力量破坏或道路基层质变等影响，容易出现各种形态的裂缝病害，针对桥梁维护^[1]工作，传统图像检测方法对于复杂背景识别^[2]、实验方法、检测结果等方面难以达到有效且智能的效果。

深度学习卷积神经网络算法的出现突破了传统方法的局限性。文献[3]提出了将AlexNet卷积神经网络和局部阈值分割相结合的裂缝检测和分割算法。文献[4]采用UNet++和条件生成对抗网络（convolution generative adversarial networks，CGAN）算法，两者反复博弈训练，达到裂缝检测分割的效果。文献[5]利用网络模型（fully convolutional network，FCN）解决裂缝分割中局部信息丢失和局部细化能力不足的问题，采用多尺度结构森林（multi-scale structured forests，SFD）和反对称双正交小波的半重构方法，克服裂纹边缘检测的局限性。文献[6]对道路坑洼做分类与分割实验，对比了Mask RCNN和UNet网络的检测结果，通过Validation set和Test set的数据对比可知，Mask RCNN检测精确度为92.1%，而UNet精确度为77.38%，两者对比性能效果差异分明。UNet网络算法在医学图像^[7]领域具有显著的工作成果，但是在工程领域的检测效果弱于其他卷积神经网络（convolutional neural networks，CNN）算法。

结合以上典型文献的研究成果，文中选用了Mask RCNN算法^[8]实现桥梁裂缝病害的检测与分割，并在原算法的基础上进行了优化改进。

1   Mask RCNN网络及方法设计

Mask RCNN主要结构组成有：主干网络（ResNet101+FPN）、区域选取网络^[9]（region proposal network，RPN）、对齐操作（regional of interest align，ROI align）、分类器和边框回归器以及掩膜分割（classification，box regression，mask）。网络结构框架如图1所示。

图  1  Mask RCNN网络结构

Figure  1.  Network structure of Mask RCNN

下载: 全尺寸图片 幻灯片

Mask RCNN是作为多任务工作网络，其损失计算为各分支损失的加权值。如下式所示：

式中：$ {L_{cls}} $和${L_{b\rm{box}}}$分别为原Faster RCNN中类别损失和回归框损失；${L_{\rm{mask}}}$是掩膜Mask支路的损失，损失值的计算方式是对每一个像素^[10]应用Sigmoid，取ROI上所有像素的交叉熵的平均值作为${L_{\rm{mask}}}$，k对应Mask的类别，其表达式为

1.1   Mask RCNN网络改进

为防止特征提取过程中特征信息丢失^[11]，在FPN网络结构中设计了语义增强模块SEM，如图2所示。SEM模块与上采样中得到的特征图进行融合^[12]，得到新的多尺度特征图feature maps。

图  2  改进的FPN网络结构

Figure  2.  Network structure of improved FPN

下载: 全尺寸图片 幻灯片

SEM模块的结构如图3所示。SEM模块基于空洞卷积算法^[13]设计思想获取不同感受野的特征图并进行融合。SEM模块的操作方式为：采用（D=3，D=5，D=7）3个不同膨胀率的3×3卷积核和1×1卷积核，分别对下采样的卷积层（C2，C3，C4，C5）进行计算，每个卷积核限制64个通道，每层得到的4个不同感受野的特征图，通过Concate融合后输出一个256通道的特征图。

图  3  SEM模块结构图

Figure  3.  Structure diagram of SEM module

下载: 全尺寸图片 幻灯片

Concate融合是对特征通道直接拼接，此操作过程无信息损失影响^[14]，Add操作将两两特征图进行像素相加，增加了特征信息量。Concate融合后的特征图与上采样中的特征图尺寸大小及通道相同，由此可以将他们的对应层^[15]进行像素相加Add，得到新的多尺度特征图feature maps。

1.2   特征图融合Add

Add特征融合的方法是，将两两相同尺寸的特征图像素直接相加^[16]，公式如（3）所示。图4（a）列出了裂缝图片；该图片的两种特征图如图4（b）和4（c）所示；Add融合后的图像如图4（d）所示。

图  4  Add特征融合

Figure  4.  Add feature fusion

下载: 全尺寸图片 幻灯片

1.3   裂缝类别划分

依据公共道路表层病害的划分类别^[17]，对裂缝病害进行了两类划分，分别是裂缝和破损，如图5所示。划分依据为，将分布清晰明确的裂缝依然视为裂缝，数据标注时定义其标签为crack，将分布错综复杂的裂缝视为破损，定义其标签为damage。

图  5  裂缝病害类别划分图

Figure  5.  Category classification diagram of crack diseases

下载: 全尺寸图片 幻灯片

2   网络模型训练

2.1   准备数据集

目前没有公开的桥梁裂缝数据集及数据标注文件可用，通过采集桥梁道路常见的裂缝病害，共2 566张，图片尺寸为600×600 pixel，并对采集到的图片做像素变化^[18]处理以进行数据扩充，最终得到共4 200张的裂缝图片。

2.2   数据标注可视化

利用Labelme软件工具完成标注，如图6所示。针对类别对比实验需要2种标注形式：未分类的实验，如图6（a）和（b）所示；分类实验，如图6（c）和（d）所示。

图  6  数据集标注可视化

Figure  6.  Data set annotation visualization

下载: 全尺寸图片 幻灯片

2.3   数据训练

算法基于TensorFlow1.12^[19]和Keras1.0.8的框架搭建Mask RCNN卷积神经网络，系统使用window10，内存为16 G，显卡为NVIDIA GTX 1660，处理器为Intel（R）Core（TM）i5-9400F。

图7是网络训练损失曲线图地改进后网络的损失曲线相比原网络损失曲线有所降低，并且后期验证集损失曲线对训练结果已较好地拟合，网络的泛化性能得到提升。

图  7  损失曲线

Figure  7.  Loss curves

下载: 全尺寸图片 幻灯片

3   结果分析

评估卷积神经网络目标检测算法性能指标通常有：精确率Precision、召回率Recall、平均精度AP、平均精度均值mAP等几个指标。

3.1   对比实验

为了验证改进方法的有效性、创新性，基于2种策略做对比实验，对文章中设计的方法进行性能测试。

策略1：对裂缝不进行类别划分，即将裂缝和破损依然视为裂缝crack，输入改进前网络和改进后网络，检测结果如表1所示。改进后网络的mAP比原网络提高6.6%。

表  1  策略1网络改进前后性能指标对比

Table  1.  Comparison of performance indicators before and after network improvement of strategy 1

	平均精度 均值	裂缝平均 精度	检测速度/ （image/s）
Mask RCNN	0.835	0.835	5.000
Mask RCNN_SEM	0.901	0.901	6.065

下载: 导出CSV 

| 显示表格

策略2：对裂缝病害进行类别划分，裂缝和破损分别作为crack和damage，检测结果如表2所示。改进后网络的mAP比原网络提高5.7%，并且裂缝的平均精度crack_AP和破损的平均精度damage_AP分别提高2.4%和9.0%。

表  2  策略2网络改进前后性能指标对比

Table  2.  Comparison of performance indicators before and after network improvement of strategy 2

	平均精度 均值	裂缝平均 精度	破损平均 精度	检测速度 （image/s）
Mask RCNN_FPN	0.887	0.924	0.850	5.000
Mask RCNN_P_FPN	0.944	0.948	0.940	6.065

下载: 导出CSV 

| 显示表格

对比以上2个策略的结果，可以验证网络改进和类别划分结合的方法设计，改进了网络性能，相比原网络无类别划分方法mAP共提高了12.6%。

另外，通过ResNet101和ResNet50的对比，衡量深度不同的主干网络对预测结果的影响，结果发现，深层主干网ResNet101相比ResNet50较浅层网络，其预测结果在时间上无较大差别，但预测准确率Accuracy和mAP有明显优势，如表3所示。

表  3  网络模型分别基于ResNet101和ResNet50的性能指标对比

Table  3.  Comparison of performance indicators of network model based on ResNet101 and ResNet50 respectively

	检测 准确率	平均精度 均值	检测速度/ （image/s）
Mask RCNN_ResNet101+SEM	0.998	0.944	6.065
Mask RCNN_ResNet50+SEM	0.850	0.794	5.122

下载: 导出CSV 

| 显示表格

3.2   其他指标评估

结合以上数据，又与其他网络模型进行了性能对比。将结果绘制成柱状图直观对比各网络的性能差异，如图8所示。

图  8  各网络模型性能对比图

Figure  8.  Performance comparison diagram of each network model

下载: 全尺寸图片 幻灯片

3.3   裂缝检测结果

根据以上2个策略，列出了3张不同图片的检测结果，如图9、图10和图11所示。图9～图11中（a）和（b）均为策略1检测结果，（c）和（d）均为策略2检测结果，通过对比图9～图11中（a）、（b）、（c）和（d）可知，（d）图检测结果掩膜分布清晰、无漏检，无重叠等缺陷，具有较好的检测结果。

图  9  细小裂缝检测结果

Figure  9.  Detection results of fine cracks

下载: 全尺寸图片 幻灯片

图  10  较大裂缝检测结果

Figure  10.  Detection results of larger cracks

下载: 全尺寸图片 幻灯片

图  11  形态复杂裂缝检测结果

Figure  11.  Detection results of complex cracks

下载: 全尺寸图片 幻灯片

4   结论

基于Mask RCNN卷积神经网络算法，本文增加了语义增强模块，使新的特征图融合了浅层网络和深层网络的特征，对裂缝形态特征做到了较充分保留，提高了对道路裂缝病害检测的精确度。同时对裂缝进一步作类别划分，有益于为道路维护工作提供相应裂缝修护措施。文中方法通过指标数据和检测结果显示，算法的改进一定程度上提高了裂缝检测精度，但是对于复杂裂缝的检测仍然需要提高算法的改进水平。