Design and research of bridge cracks detection method based on Mask RCNN
-
摘要:
裂缝是桥梁道路上常见的一种病害，针对其检测准确率有待提高的问题，提出了基于Mask RCNN（region-based convolutional neural networks）的桥梁裂缝检测算法，设计了语义增强模块（semantic enhancement module，SEM），将该模块与特征金字塔网络（feature pyramid network，FPN）相结合，通过特征融合Add计算得到新的多尺度特征图feature maps。针对裂缝形态复杂多样存在识别困难的问题，将裂缝做了两类划分进行检测，并制定了两种策略进行对比实验。实验结果表明：该文中改进的方法可以得到更好的检测结果，检测准确率Accuracy可达99.8%，平均检测精度（mean average precision，mAP）提高了12.6%。
-
关键词:
- Mask RCNN算法 /
- 特征金字塔 /
- 语义增强 /
- 裂缝分类
Abstract:The crack is a common disease on bridges and roads. Aiming at the problem that its detection accuracy needs to be improved, a bridge cracks detection algorithm based on Mask region-based convolutional neural networks (RCNN) was proposed, and a semantic enhancement module (SEM) was designed. Combined this module with feature pyramid network (FPN), a new multi-scale feature map was obtained by feature fusion. In view of the complexity and diversity of crack forms and the difficulty of identification, the cracks were divided into two categories for detection, and two strategies were formulated for comparative experiments. The results show that the improved method can get better detection results, the detection accuracy can reach to 99.8%, and the mean average precision (mAP) can be improved by 12.6%.
-
Keywords:
- Mask RCNN algorithm /
- feature pyramid /
- semantic enhancement /
- crack classification
-
引言
桥梁道路由于长时间被外部力量破坏或道路基层质变等影响，容易出现各种形态的裂缝病害，针对桥梁维护[1]工作，传统图像检测方法对于复杂背景识别[2]、实验方法、检测结果等方面难以达到有效且智能的效果。
深度学习卷积神经网络算法的出现突破了传统方法的局限性。文献[3]提出了将AlexNet卷积神经网络和局部阈值分割相结合的裂缝检测和分割算法。文献[4]采用UNet++和条件生成对抗网络（convolution generative adversarial networks，CGAN）算法，两者反复博弈训练，达到裂缝检测分割的效果。文献[5]利用网络模型（fully convolutional network，FCN）解决裂缝分割中局部信息丢失和局部细化能力不足的问题，采用多尺度结构森林（multi-scale structured forests，SFD）和反对称双正交小波的半重构方法，克服裂纹边缘检测的局限性。文献[6]对道路坑洼做分类与分割实验，对比了Mask RCNN和UNet网络的检测结果，通过Validation set和Test set的数据对比可知，Mask RCNN检测精确度为92.1%，而UNet精确度为77.38%，两者对比性能效果差异分明。UNet网络算法在医学图像[7]领域具有显著的工作成果，但是在工程领域的检测效果弱于其他卷积神经网络（convolutional neural networks，CNN）算法。
结合以上典型文献的研究成果，文中选用了Mask RCNN算法[8]实现桥梁裂缝病害的检测与分割，并在原算法的基础上进行了优化改进。
1 Mask RCNN网络及方法设计
Mask RCNN主要结构组成有：主干网络（ResNet101+FPN）、区域选取网络[9]（region proposal network，RPN）、对齐操作（regional of interest align，ROI align）、分类器和边框回归器以及掩膜分割（classification，box regression，mask）。网络结构框架如图1所示。
Mask RCNN是作为多任务工作网络，其损失计算为各分支损失的加权值。如下式所示：
$$ L{\rm{oss}} = {L_{cls}} + {L_{b{\rm{box}}}} + {L_{\rm{mask}}} $$ (1) 式中：$ {L_{cls}} $和${L_{b\rm{box}}}$分别为原Faster RCNN中类别损失和回归框损失；${L_{\rm{mask}}}$是掩膜Mask支路的损失，损失值的计算方式是对每一个像素[10]应用Sigmoid，取ROI上所有像素的交叉熵的平均值作为${L_{\rm{mask}}}$，k对应Mask的类别，其表达式为
$$ {L_{{\rm{mask}}}}(Cl{s_k}) = {\rm{Sigmoid}}(Cl{s_k}) $$ (2) 1.1 Mask RCNN网络改进
为防止特征提取过程中特征信息丢失[11]，在FPN网络结构中设计了语义增强模块SEM，如图2所示。SEM模块与上采样中得到的特征图进行融合[12]，得到新的多尺度特征图feature maps。
SEM模块的结构如图3所示。SEM模块基于空洞卷积算法[13]设计思想获取不同感受野的特征图并进行融合。SEM模块的操作方式为：采用（D=3，D=5，D=7）3个不同膨胀率的3×3卷积核和1×1卷积核，分别对下采样的卷积层（C2，C3，C4，C5）进行计算，每个卷积核限制64个通道，每层得到的4个不同感受野的特征图，通过Concate融合后输出一个256通道的特征图。
Concate融合是对特征通道直接拼接，此操作过程无信息损失影响[14]，Add操作将两两特征图进行像素相加，增加了特征信息量。Concate融合后的特征图与上采样中的特征图尺寸大小及通道相同，由此可以将他们的对应层[15]进行像素相加Add，得到新的多尺度特征图feature maps。
1.2 特征图融合Add
Add特征融合的方法是，将两两相同尺寸的特征图像素直接相加[16]，公式如（3）所示。图4（a）列出了裂缝图片；该图片的两种特征图如图4（b）和4（c）所示；Add融合后的图像如图4（d）所示。
$$ f{\left({p}_{ij}\right)}_{i=j}={f}_{1}\left({p}_{ij}\right)+{f}_{2}\left({p}_{ij}\right) $$ (3) 1.3 裂缝类别划分
依据公共道路表层病害的划分类别[17]，对裂缝病害进行了两类划分，分别是裂缝和破损，如图5所示。划分依据为，将分布清晰明确的裂缝依然视为裂缝，数据标注时定义其标签为crack，将分布错综复杂的裂缝视为破损，定义其标签为damage。
2 网络模型训练
2.1 准备数据集
目前没有公开的桥梁裂缝数据集及数据标注文件可用，通过采集桥梁道路常见的裂缝病害，共2 566张，图片尺寸为600×600 pixel，并对采集到的图片做像素变化[18]处理以进行数据扩充，最终得到共4 200张的裂缝图片。
2.2 数据标注可视化
利用Labelme软件工具完成标注，如图6所示。针对类别对比实验需要2种标注形式：未分类的实验，如图6（a）和（b）所示；分类实验，如图6（c）和（d）所示。
2.3 数据训练
算法基于TensorFlow1.12[19]和Keras1.0.8的框架搭建Mask RCNN卷积神经网络，系统使用window10，内存为16 G，显卡为NVIDIA GTX 1660，处理器为Intel（R）Core（TM）i5-9400F。
图7是网络训练损失曲线图地改进后网络的损失曲线相比原网络损失曲线有所降低，并且后期验证集损失曲线对训练结果已较好地拟合，网络的泛化性能得到提升。
3 结果分析
评估卷积神经网络目标检测算法性能指标通常有：精确率Precision、召回率Recall、平均精度AP、平均精度均值mAP等几个指标。
3.1 对比实验
为了验证改进方法的有效性、创新性，基于2种策略做对比实验，对文章中设计的方法进行性能测试。
策略1：对裂缝不进行类别划分，即将裂缝和破损依然视为裂缝crack，输入改进前网络和改进后网络，检测结果如表1所示。改进后网络的mAP比原网络提高6.6%。
表 1 策略1网络改进前后性能指标对比Table 1. Comparison of performance indicators before and after network improvement of strategy 1平均精度
均值裂缝平均
精度检测速度/
（image/s）Mask RCNN 0.835 0.835 5.000 Mask RCNN_SEM 0.901 0.901 6.065 策略2：对裂缝病害进行类别划分，裂缝和破损分别作为crack和damage，检测结果如表2所示。改进后网络的mAP比原网络提高5.7%，并且裂缝的平均精度crack_AP和破损的平均精度damage_AP分别提高2.4%和9.0%。
表 2 策略2网络改进前后性能指标对比Table 2. Comparison of performance indicators before and after network improvement of strategy 2平均精度
均值裂缝平均
精度破损平均
精度检测速度
（image/s）Mask RCNN_FPN 0.887 0.924 0.850 5.000 Mask RCNN_P_FPN 0.944 0.948 0.940 6.065 对比以上2个策略的结果，可以验证网络改进和类别划分结合的方法设计，改进了网络性能，相比原网络无类别划分方法mAP共提高了12.6%。
另外，通过ResNet101和ResNet50的对比，衡量深度不同的主干网络对预测结果的影响，结果发现，深层主干网ResNet101相比ResNet50较浅层网络，其预测结果在时间上无较大差别，但预测准确率Accuracy和mAP有明显优势，如表3所示。
表 3 网络模型分别基于ResNet101和ResNet50的性能指标对比Table 3. Comparison of performance indicators of network model based on ResNet101 and ResNet50 respectively检测
准确率平均精度
均值检测速度/
（image/s）Mask RCNN_ResNet101+SEM 0.998 0.944 6.065 Mask RCNN_ResNet50+SEM 0.850 0.794 5.122 3.2 其他指标评估
结合以上数据，又与其他网络模型进行了性能对比。将结果绘制成柱状图直观对比各网络的性能差异，如图8所示。
3.3 裂缝检测结果
根据以上2个策略，列出了3张不同图片的检测结果，如图9、图10和图11所示。图9～图11中（a）和（b）均为策略1检测结果，（c）和（d）均为策略2检测结果，通过对比图9～图11中（a）、（b）、（c）和（d）可知，（d）图检测结果掩膜分布清晰、无漏检，无重叠等缺陷，具有较好的检测结果。
4 结论
基于Mask RCNN卷积神经网络算法，本文增加了语义增强模块，使新的特征图融合了浅层网络和深层网络的特征，对裂缝形态特征做到了较充分保留，提高了对道路裂缝病害检测的精确度。同时对裂缝进一步作类别划分，有益于为道路维护工作提供相应裂缝修护措施。文中方法通过指标数据和检测结果显示，算法的改进一定程度上提高了裂缝检测精度，但是对于复杂裂缝的检测仍然需要提高算法的改进水平。
-
表 1 策略1网络改进前后性能指标对比
Table 1 Comparison of performance indicators before and after network improvement of strategy 1
平均精度
均值裂缝平均
精度检测速度/
（image/s）Mask RCNN 0.835 0.835 5.000 Mask RCNN_SEM 0.901 0.901 6.065 
下载: 导出CSV
表 2 策略2网络改进前后性能指标对比
Table 2 Comparison of performance indicators before and after network improvement of strategy 2
平均精度
均值裂缝平均
精度破损平均
精度检测速度
（image/s）Mask RCNN_FPN 0.887 0.924 0.850 5.000 Mask RCNN_P_FPN 0.944 0.948 0.940 6.065
下载: 导出CSV
表 3 网络模型分别基于ResNet101和ResNet50的性能指标对比
Table 3 Comparison of performance indicators of network model based on ResNet101 and ResNet50 respectively
检测
准确率平均精度
均值检测速度/
（image/s）Mask RCNN_ResNet101+SEM 0.998 0.944 6.065 Mask RCNN_ResNet50+SEM 0.850 0.794 5.122
下载: 导出CSV
-
[1] 郭素明. 道路桥梁养护中常见病害与维护方法探析[J]. 工程技术研究,2018(15):247-248. doi: 10.3969/j.issn.1671-3818.2018.15.115 GUO Suming. Analysis on common diseases and maintenance methods in road and bridge maintenance[J]. Engineering technology research,2018(15):247-248. doi: 10.3969/j.issn.1671-3818.2018.15.115
[2] 杨杰文, 章光, 陈西江, 等. 基于深度学习的较复杂背景下桥梁裂缝检测[J]. 铁道科学与工程学报,2020,17(11):2722-2728. YANG Jiewen, ZHANG Guang, CHEN Xijiang, et al. Research on bridge crack detection based on deep learning under complex background[J]. Journal of Railway Science and Engineering,2020,17(11):2722-2728.
[3] 韩晓健, 赵志成. 基于计算机视觉技术的结构表面裂缝检测方法研究[J]. 建筑结构学报,2018,39(增刊1):418-427. HAN Xiaojian, ZHAO Zhicheng. Structural surface crack detection method based on computer vision technology[J]. Journal of Building Structures,2018,39(S1):418-427.
[4] 张海川, 彭博, 许伟强. 基于UNet++及条件生成对抗网络的道路裂缝检测[J]. 计算机应用,2020,40(增刊2):158-161. ZHANG Haichuan, PENG Bo, XU Weiqiang. Road crack detection based on UNet++ and conditional generative adversarial nets[J]. Journal of Computer Applications,2020,40(S2):158-161.
[5] WANG Sen, WU Xing, ZHANG Yinghui, et al. A neuralnetwork ensemble method for effective crack segmentation using fully convolutional networks and multi-scale structured forests[J]. Machine Vision and Applications,2020,31(7/8):16-30.
[6] THIRUPPATHIRAJ S, KUMAR U, BUCHKE S. Automatic pothole classification and segmentation using android smartphone sensors and camera images with machine learning techniques[C]//2020 IEEE Region 10 Conference (Tencon). Osaka, Japan.USA: IEEE, 2020: 1386-1391.
[7] 侯腾璇, 赵涓涓, 强彦, 等. CRF 3D-UNet肺结节分割网络[J]. 计算机工程与设计,2020,41(6):1663-1669. HOU Tengxuan, ZHAO Juanjuan, QIANG Yan, et al. Pulmonary nodules segmentation based on CRF 3D-UNet structure[J]. Computer Engineering and Design,2020,41(6):1663-1669.
[8] ATTIQUE K M, TALLHA A, ZHANG Y D, et al. Attrib-utes based skin lesion detection and recognition: a maskRCNN and transfer learning-based deep learning framework[J]. Pattern Recognition Letters,2021,143:58-66.
[9] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE,2017,39(1):1137-1149.
[10] OLIVEIRA H, CORREIA P L. Road surface crack detection: improved segmentation with pixel-basedrefinement[C]. 2017 25th European Signal Processing Conference (EUSIPCO), Greek KOS.USA: IEEE: 2017, 2026-2030.
[11] 雷斯达, 曹鸿猷, 康俊涛. 基于深度学习的复杂场景下混凝土表面裂缝识别研究[J]. 公路交通科技,2020,37(12):80-88. doi: 10.3969/j.issn.1002-0268.2020.12.011 LEI S D, CAO Hongyou, KANG Juntao. Study on concrete surface crack recognition in complex scenario based on deep learning[J]. Journal of Highway and Transportation Research and Development,2020,37(12):80-88. doi: 10.3969/j.issn.1002-0268.2020.12.011
[12] CHEN F C, JAHANSHAHI R M. Deep learning-based crack detection using convolutional neural networkand naïve bayes data fusion[J]. IEEE,2018,65(5):4392-4440.
[13] RAZA A, HONG H, FANG T. PFAF-net: pyramid feature network for multimodal fusion[J]. IEEE Sensors Letters, 2020, 4(12) : 1-4.
[14] 孙鸿宇, 何远, 王基策, 等. 人工智能技术在安全漏洞领域的应用[J]. 通信学报,2018,39(8):1-17. doi: 10.11959/j.issn.1000-436x.2018137 SUN Hongyu, HE Yuan, WANG Jice, et al. Application of artificial intelligence technology in the field of security vulnerability[J]. Journal on Communications,2018,39(8):1-17. doi: 10.11959/j.issn.1000-436x.2018137
[15] DUAN K, BAI S, XIE L, et al. Centernet: keypoint-triplets for object detection[C]//IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, Korea (South).USA:IEEE,2019: 6568-6577.
[16] HEI L, JIA D. Cornernet: detecting objects as paired key-points[J]. International Journal of Computer Vision,2020,128(2):642-656.
[17] 杨洋, 何飞, 李洁. 公路桥梁病害分类与编码构建方法[J]. 北方交通,2020(11):28-31. YAG Yang, HE Fei, LI Jie. Classification and coding method of highway bridge diseases[J]. Northern Communications,2020(11):28-31.
[18] 朱苏雅, 杜建超, 李云松, 等. 采用U-Net卷积网络的桥梁裂缝检测方法[J]. 西安电子科技大学学报,2019,46(4):35-42. ZHU Suya, DU Jianchao, LI Yunsong, et al. Method for bridge crack detection based on the U-Net convolutional networks[J]. Journal of Xidian University,2019,46(4):35-42.
[19] ERTAM F, AYDIN G. Data classification with deeplearning using Tensorflow[C]//2017 International Conference on Computer Science and Engineering (UBMK), Antalya. USA:IEEE,2017: 755-758.
-
期刊类型引用(2)
1. 杜国军，张玉贵，崔博伦，江澄，欧宗耀. 碳卫星超光谱探测仪地面光谱定标. 光谱学与光谱分析. 2023(05): 1556-1562 . 
百度学术
2. 严冬，国成立，刘泉，黎发志，余晨阳，马洋，张宇龙，闫力松. 大数值孔径宽光谱折反式物镜设计(特邀). 红外与激光工程. 2023(09): 66-72 . 百度学术
其他类型引用(3)
计量
- 文章访问数: 657
- HTML全文浏览量: 296
- PDF下载量: 49
- 被引次数: 5
陕公网安备 61011302001501号 