Bridge disease detection and recognition based on improved YOLOX algorithm
-
摘要:
针对目前基于卷积神经网络的桥梁病害检测算法准确度较低的问题，提出一种改进的YOLOX算法来提高检测的精度。通过使用主干网络浅层的特征信息，改进了特征提取加强网络，并且加入了同层的特征信息进行融合；引入改进的坐标注意力机制，将位置信息和通道信息结合来增强网络对桥梁病害的识别；同时对定位损失函数进行了改进。实验结果表明：改进的YOLOX网络结构对于桥梁病害检测的准确度达到92.11%，比原网络提高了4.40%。
Abstract:In view of the low accuracy of the current bridge disease detection algorithm based on convolutional neural network, an improved YOLOX algorithm was proposed to improve the detection accuracy. By using the feature information of the shallow layer of the backbone network, the feature extraction enhancement network was improved, and the feature information of the same layer was added for fusion. An improved coordinate attention mechanism was introduced to combine the position information and the channel information to enhance the network recognition of bridge diseases. At the same time, the localization loss function was improved. The experimental results show that the accuracy of the improved YOLOX network structure for bridge disease detection reaches 92.11%, which is 4.40% higher than the original network.
-
Keywords:
- target detection /
- disease detection /
- YOLOX /
- image processing
-
引言
空气因地面和太阳辅热向上流动，在这个过程中受风速和大气分子运动影响形成大气湍流。大气湍流引起大气折射率的改变，从而导致光束波前发生畸变，引起光斑闪烁、光斑漂移等效应[1]。在空间激光通信研究方向中，要减小误码率保证通信双方通信质量，必须对激光在大气湍流中的传播特性进行研究，以寻求抑制大气湍流效应的方法，所以需要找寻室内可替代的实验环境模拟大气湍流以便进行光通信研究。
现代光学采用数值模拟方法模拟大气湍流的真实状态[2]，常用的器件是液晶空间光调制器（LC-SLM）。近些年提出的稀疏谱模型具有细节信息丰富、模拟周期长的优点，在稀疏谱模型下，二维随机场的精确要求达到5个数量级以上的尺度变化，需要长的湍流相位屏来表示波前的时间演变。相位屏模拟常用方法有功率谱反演法、泽尼克法和次谐波法等[3]，这些方法能够较好地模拟大气湍流的特性，但也存在计算量大、模拟速度比较慢、具有周期性等问题，优化过程十分复杂，往往需要多种方法叠加，导致计算量成倍增加[4]。稀疏谱湍流相位屏应该具有较长的周期，采用上述经典模拟方法的方法是不可行的，因而本文考虑采用一种稀疏谱分区模型得到符合要求的湍流带[5]。
1 稀疏谱基本理论及其相位屏生成方法
稀疏谱的概念最早提出是用于海面模型的研究，后来推演到大气湍流相位屏的研究。稀疏谱模型认为每个随机场的实现都包含有限个随机正弦波分量，其中频率、相位和幅度都是随机的。光谱分量的数量由湍流状态决定，而不是由所需的空间分辨率和湍流尺度决定[5]。
1.1 稀疏谱基本理论
本文采用的稀疏谱模型和传统的大气湍流理论模型一样，相位屏结构函数服从湍流幂律形式：
$${{D}}({{ r}})= < {[S({{ R}} + {{r}} )]^2} - S({{r}} ){]^2} > ={({{r}}/{r_0})^a},\;\;1 < a < 2$$ (1) 式中：
${r_0}$ 是相干半径；$a$ 为光谱指数。一般认为结构函数和相位波动的空间谱有关，则结构函数可以表示为$${{D}}({{ r}})=2\iint {\mathop {\rm{d}}\nolimits^2 {{K}}{{P}}( {{K}})}[1 - \cos ( {{K}} \cdot {{r}})]$$ (2) 其中
$ {{K}}$ 为波矢，可从波长K和方向两个方面考虑，其中谱密度可以近似表示为$${{P}}\left( {{{ K}}} \right)=\frac{{\mathop r\nolimits_0^{ - a} \mathop {{K}}\nolimits^{ - 2 - a} a {2^{a{\rm{ - }}2}}{\mathit{\Gamma }}(1 + a/2)}}{{{\text{π}} {\mathit{\Gamma }} (1 - a/2)}}$$ (3) 关于
${{P}}\left( {{{K}}} \right)$ ，引入归一化结构函数d(y)和无量纲变量${{y}}={k_0}r$ 进行分析，其中：${k_0} = L/2{\text{π}} ,{K_0} = l/2{\text{π}} $ ，归一化结构函数可以表示为$$d(y)=\frac{{D(r)}}{{D(\infty )}}$$ (4) 稀疏谱模型采用介于内外尺度的幂律函数拟合归一化结构函数，图1是惯性区内归一化幂律结构函数和归一化结构函数曲线对比图，其中横坐标表示无量纲变量y，纵坐标表示归一化结构函数和幂律结构函数的值。
由图1可见，在K0<K<k0时，幂律函数能够很好地拟合归一化结构函数，则
$$ {{P}}\left( {{{ K}}} \right) \approx \frac{{\mathop r\nolimits_0^{ - a} \mathop {{K}}\nolimits^{ - 2 - a} a{2^{a{\rm{ - }}2}}{\mathit{\Gamma}} (1 + a/2)}}{{{\text{π}} {\mathit{\Gamma}} (1 - a/2)}},\;\;{K_0} < K < {k_0} $$ (5) 所以公式3的表述形式是合理的。
1.2 稀疏谱模型下的相位屏模拟方法
稀疏谱模型舍弃了和湍流扰动无关的信息，保留了细节信息。稀疏谱模型能够表示为具有离散随机特点的三角级数形式，通过蒙特卡罗方法计算模拟随机场特性的过程能够减少计算量，产生较长周期的相位数据且保留与大气湍流扰动相关的尺度参数。以功率谱反演法为例，需要先进行傅里叶变换，引入相位畸变后，再作傅里叶反变换得到我们需要的相位屏[6]，这个过程计算量巨大，且需要进行时频域变换。本文不采用经典相位屏模拟方法，避免时频域的变换，从数学分析入手，简化计算过程减小计算量。
类似于传统的傅里叶模型，相位可以表示为
$${\rm{S}}( {{r}})={\rm{Re}} \sum\limits_{n=1}^N {{A_n}\exp ({\rm{i}}{{ {{K}}}_n} \cdot {{r}})} $$ (6) 式中：An为是符合随机正态分布的复振幅；
${ {{K}}_n}$ 是具有均匀概率分布的随机波矢量。由(1)式，稀疏谱模型的结构函数可以表示为$${{D({{r}})}}=\iint {{{\rm{d}}^2}{{K}}\sum\limits_{n=1}^N {{{\rm{s}}_n}{{{p}}_{{n}}}( {{K}})} }[1 - \cos ({{K}} \cdot {{r}})]$$ (7) 则（7）式要符合（1）式幂律形式的结构函数需要满足：
$$\sum\limits_{n=1}^N {{s_n}{p_n}( {{K}})} =2{{P}}( {{K}})$$ (8) 假设波矢方向服从[–π,π]上均匀分布，且符合相位的统计各向同性，则
$${p_n}({{K}}){{\rm{d}}^2}{{K}}=\frac{{{p_n}(K){\rm{d}}K{\rm{d}}\phi }}{{2{\text{π}} }}$$ (9) 其中
$\phi $ 表示波矢的方向。那么，（8）式可以表示为$${s_n}{p_n}({{K}})=\frac{{4{\text{π}} r_0^{ - a}{{{K}}^{ - 1 - a}}a{2^{a{\rm{ - }}2}} {\mathit{\Gamma}} (1 + a/2)}}{{{\text{π}} {\mathit{\Gamma}} (1 - a/2)}}$$ (10) 为了减小计算量且使相位屏的周期性尽可能地大，从数学角度出发，采用对数分区的方法对频谱范围[
${K_0}, {k_0}$ ]进行分区，将该区间分成N个子区间：$${{{K}}_{\rm{0}}} < {K_1} < {K_2} < \cdots < {K_{N - 1}} < {K_N}={k_0}$$ (11) 并且要求仅在第n个区间上支持概率分布
${p_n}( {{K}})$ 。第n个区间的的频谱可以表示为$${K_n}={K_0}\exp ((n/N)\ln ({k_0}/{K_0}))$$ (12) 在第n个子区间上权重为
$${{{s}}_{{n}}}=\frac{{4{\text{π}} (K_{n - 1}^{ - a} - K_n^{ - a}){2^{a - 2}}{\mathit{\Gamma}} (1 + a/2)}}{{{\text{π}} {\mathit{\Gamma}} (1 - a/2)}},1 \leqslant n \leqslant N$$ (13) 由（10）式和（13）式可以得到第n区间的波数为
$$K={[K_n^{ - a} + (K_n^{ - a} - K_n^{ - a})\xi ]^{ - 1/a}}$$ (14) 其中ξ是[0，1]均匀分布的随机数。在这里引入随机数会导致相位的改变，从而导致整个相位屏上的点发生不同程度的相位畸变，以达到模拟大气湍流的效果。
对比使用最多的功率谱反演法，采用这种简单的数学分区方法，计算过程简化了许多，由于实验所需采样点数较多，能够大大减小计算量，因而稀疏谱分区模型具有明显的计算量优势。简单的形式变化和近似替代，而没有时频域的变化，也就避免了傅里叶变化的周期性，所以分区方法能有效保留稀疏谱模型的无限周期性。
2 相位屏数值模拟
2.1 湍流母屏的选择
图2是大气湍流模拟的理论装置图和实物图。光束的传播路径大致为：激光器发射的红外激光束通过偏振片经分光棱镜进入LC-SLM，电脑将已经编译完成的相位屏信息加载到LC-SLM的硅板上，LC-SLM通过电寻址方式使液晶分子发生偏转，从而使光束发生相位畸变。LC-SLM将光束反射回分光棱镜，最后由相机收集光斑[7]，对光斑的采集可参考文献[8]。
![]()
图 2 基于稀疏谱的大气湍流模拟装置Figure 2. Atmospheric turbulence simulation device based on sparse spectrum相位屏模拟分为动态模拟和静态模拟两种[9]，现在很少用到静态相位屏法。本文采用动态相位模拟法，即根据风速从一个较大的母相位屏中连续截取出子相位屏，这些子相位屏构成动态相位屏[10]。图3是动态螺旋状和往复型截取相位屏的示意图，本实验以功率谱反演法旋转截取子相位屏作为对比组实验，因为湍流母屏大小的限制且母屏的生成具有周期性，谱反演方法往往需要作出补偿来弥补这些不足，这个过程计算量十分巨大。
稀疏谱模型理论上可以得到一个非周期性样本，考虑取x轴远大于y轴。本实验基于相同的幅度和波矢，生成长带形的湍流相位屏，按照风速方向截取子相位屏并依次加载在液晶上，子相位屏的连续加载形成了动态的湍流模拟效果，如图4所示效果（取部分湍流带）。本实验母相位屏采样点数为512×32 768，取子相位屏分辨率为512×512像素。
![]()
图 4 长带形湍流相位屏截取子屏示意图Figure 4. Schematic diagram of sub-screen capture of long strip turbulence phase screen2.2 稀疏谱相位屏结果分析
图5是稀疏谱模型下生成的大气湍流相位屏。
图6～图8分别取相干半径为0.01 m、0.05 m、0.1 m时稀疏谱分区法生成的相位屏和功率谱反演方法生成的相位屏对比图。由灰度图湍流的密度可以看出在相同相干长度下，稀疏谱分区模型下的相位屏更加清晰，细节信息更加丰富，符合稀疏谱模型的特点，同时这也是稀疏谱模型明显的优点。观察两种情况生成的相位屏，均符合相干长度越小，湍流扰动越强烈的规律，由此，我们可以判断本实验生成的相位屏能够大致符合大气湍流扰动规律。
![]()
图 6 r0=0.01 m时大气湍流模拟相位屏Figure 6. Atmospheric turbulence simulation phase screen when r0=0.01 m![]()
图 7 r0=0.05 m时大气湍流模拟相位屏Figure 7. Atmospheric turbulence simulation phase screen when r0=0.05 m![]()
图 8 r0=0.1 m时，大气湍流模拟相位屏Figure 8. Atmospheric turbulence simulation phase screen when r0=0.1 m图9将采用稀疏谱分区方法和功率谱反演方法生成相位屏的结构函数和真实大气湍流的结构函数进行对比，根据相对误差判断本实验的大气湍流模拟效果。在计算结构函数时，参数均取经典值，相干半径取0.1 m，光谱指数取1.67，关于结构函数的生成方法，均选取相位屏左下角为相位屏半径的计算原点，一共选取500个采样半径，计算每个采样半径下平均结构函数值作结构函数曲线。由湍流模型的标准结构函数得到理论结构函数曲线，并将理论结构函数和实际得到的结构函数做对比。对于计算误差，可以表示为
$$ {\text{计算误差}}=|{\text{实际结构函数数值}}-{\text{理论结构函数数值}}| $$ (15) 经计算，稀疏谱结构函数的平均误差为6.1%，理论上已经能够很好地模拟大气湍流[11]。由图9看出功率谱反演方法存在较大的低频补偿问题，一般采用次谐波法进行频率补偿或者是非均匀步长法[12-14]。而本文采用的稀疏谱相位屏模拟方法在数据量较大时依然能够较好地拟合相位结构函数，并且分区模型计算量大大减小。
光束经过大气湍流后其光斑位置会发生偏移，一般以光斑质心位置的变化来描述光束的偏移量，光束的漂移量是测量大气湍流传输特性的一个重要指标[15]。实验用230×230个被采集点计算质心位置，质心位置x、y轴方向计算公式：
$$x=\sum\limits_{n=1}^{230} {[n\sum\limits_{m=1}^{230} {I(n,m)} ]} /\sum\limits_{n=1}^{230} {\sum\limits_{m=1}^{230} {I(n,m)} } $$ (16) $$y=\sum\limits_{n=1}^{230} {[m\sum\limits_{m=1}^{230} {I(n,m)} ]} /\sum\limits_{n=1}^{230} {\sum\limits_{m=1}^{230} {I(n,m)} } $$ (17) 其中I表示光强，对于质心计算，取多幅光斑图片分别计算x、y方向光斑中心位置，再对多个处理结果求平均值，最终将二维坐标
$(\overline x ,\overline y )$ 作为光斑质心位置。以质心的偏差作为光束漂移量。图10为光斑质心位置的漂移量和真实大气湍流的光斑质心偏移量的对比图。r0为0.01 m、0.05 m、0.1 m时，均方根误差分别为9.813×10−8 m、9.951×10−8 m、1.013×10−7 m。由图10可以看出随着大气相干半径的减小，大气湍流的扰动更加强烈，大气湍流光斑质心的均方根误差低至1.013×10−7 m，所以稀疏谱模型下的大气湍流的光斑漂移情况基本吻合自由空间大气湍流的真实光斑偏移情况。
3 结论
本文重点研究了基于稀疏谱的大气湍流相位屏的生成方法，采用简单的数学方法分区方法生成相位屏，该方法不需要进行时频域的变换，避免了周期性问题，计算量明显小于经典方法，并且可以看出后期数据量较大时也不需要大量的补偿。利用LC-SLM实现了对稀疏谱相位屏的加载并收集光斑信息。实验对比了稀疏谱分区方法生成的大气湍流相位屏和均匀功率谱反演法生成的大气湍流相位屏，容易看出，稀疏谱模型下的相位屏具有更加丰富的细节信息，并且湍流模拟效果更加清晰，随着相干长度的减小，湍流扰动也更加强烈。经验证，稀疏谱相位屏结构函数平均误差低至6.1%。将收集到的光斑和真实大气湍流条件下收集到光斑质心位置进行对比，光束偏移量的均方根误差为1.013×10−7 m，符合实测大气湍流光斑位置变化规律。综上，本实验研究的稀疏谱分区方法生成的相位屏在理论和实践中都能够很好地模拟真实大气湍流。
-
![]()
图 3 改进的YOLOX（增加横向连接、浅层融合模块）
Figure 3. Improved YOLOX (increased lateral connections and shallow fusion module)
表 1 参数的初始化
Table 1 Initialization of parameters
输入图片尺寸/像素 优化器 动量系数 冻结次数 批量大小 学习率 解冻次数 批量大小 学习率 总次数 640×640 Adam 0.8 50 16 0.001 200 8 0.0001 250 
下载: 导出CSV
表 2 训练集中各种病害框数目
Table 2 The number of various diseases in training set
各种病害 风化 裂缝 露筋 剥落 腐蚀污点 总计 训练集病害框数目 2579 8259 4866 6173 4971 26848
下载: 导出CSV
表 4 改进的YOLOX和YOLOX的实验结果
Table 4 Experimental results of improved YOLOX and YOLOX
算法 平均精度/% 平均精度均值/% 风化 裂缝 漏筋 腐蚀污点 剥落 原YOLOX 82.80 77.77 94.57 90.01 93.19 87.67 YOLOX-aa 82.89 82.15 94.72 90.02 93.37 88.63 YOLOX-b 86.25 83.31 96.35 91.74 93.42 90.22 YOLOX-c 85.39 86.14 96.53 92.49 95.34 91.18 YOLOX-d 88.67 85.91 97.07 93.10 95.78 92.11 YOLOV-5 82.54 79.01 74.67 66.71 78.69 76.32
下载: 导出CSV
表 5 将改进算法与其他研究者提出算法对比
Table 5 Comparison of improved algorithm with those proposed by other researchers
算法 平均精度/% 平均精度
均值/%风化 剥落 漏筋 腐蚀污点 裂缝 YOLOX-d 88.67 85.91 97.07 93.10 95.78 92.11 改进YOLOV3 81.4 86.0 89.2 85.6 _ 86.6
下载: 导出CSV
-
[1] 卢文壮, 郑宗雨, 赵文茹, 等. 中国桥梁发展与标准化[J]. 标准科学,2021(增刊1):240-246. LU Wenzhuang, ZHENG Zongyu, ZHAO Wenru, et al. Development and standardization of bridges in China[J]. Standard Science,2021(S1):240-246.
[2] 贾潇宇. 基于卷积神经网络的桥梁裂缝识别与测量方法研究[D]. 柳州: 广西科技大学, 2019. JIA Xiaoyu. Research on bridge crack identification and measurement method based on convolutional neural network[D]. Liuzhou: Guangxi University of Science and Technology, 2019.
[3] 杨建华, 邹俊志. 基于机器学习的RC桥梁病害检测方法[J]. 北方交通,2020(6):18-20. doi: 10.15996/j.cnki.bfjt.2020.06.006 YANG Jianhua, ZOU Junzhi. RC bridge disease detection method based on machine learning[J]. North Traffic,2020(6):18-20. doi: 10.15996/j.cnki.bfjt.2020.06.006
[4] 杨紫艳, 马龙博, 邓凌, 等. 基于卷积神经网络的桥梁裂缝检测研究[J]. 山西建筑,2021,47(19):131-133. doi: 10.13719/j.cnki.1009-6825.2021.19.047 YANG Ziyan, MA Longbo, DENG Ling, et al. Research on bridge crack detection based on convolutional neural network[J]. Shanxi Architecture,2021,47(19):131-133. doi: 10.13719/j.cnki.1009-6825.2021.19.047
[5] 张宁. 基于Faster R-CNN的公路路面病害检测算法的研究[D]. 南昌: 华东交通大学, 2019. ZHANG Ning. Research on highway pavement disease detection algorithm based on Faster R-CNN[D]. Nanchang: East China Jiaotong University, 2019.
[6] ZHANG C, CHANG C, JAMSHIDI M. Concrete bridge surface damage detection using a single stage detector[J]. Computer Aided Civil and Infrastructure Engineering, 2020, 35(4):389-409.
[7] 罗晖, 贾晨, 李健. 基于改进YOLOv4的公路路面病害检测算法[J]. 激光与光电子学进展,2021,58(14):336-344. LUO Hui, JIA Chen, LI Jian. Highway pavement disease detection algorithm based on improved YOLOv4[J]. Advances in Laser and Optoelectronics,2021,58(14):336-344.
[8] 周清松, 董绍江, 罗家元, 等. 改进YOLOv3的桥梁表观病害检测识别[J]. 重庆大学学报,2022,45(6):121-130. ZHOU Qingsong, DONG Shaojiang, LUO Jiayuan, et al. Improved YOLOv3 for bridge apparent disease detection and identification[J]. Journal of Chongqing University,2022,45(6):121-130.
[9] 陈先昌. 基于卷积神经网络的深度学习算法与应用研究[D]. 杭州: 浙江工商大学, 2014. CHEN Xianchang. Research on deep learning algorithm and application based on convolutional neural network[D]. Hangzhou: Zhejiang Gongshang University, 2014.
[10] 陆绮荣, 丁昕. 一种基于改进YOLOX的地下排水管道缺陷检测识别方法[J]. 电子测量技术, 2022, 45(21): 161-168.LU Qirong, DING Xin. An improved YOLOX-based method for defect detection and identification of underground drainage pipelines [J] . Electronic Measurement Technology, 2022, 45(21): 161-168.
[11] WANG C Y , LIAO H , WU Y H , et al. CSPNet: A new backbone that can enhance learning capability of CNN[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). New York: IEEE, 2020.
[12] 蔡伟, 徐佩伟, 杨志勇, 等. 复杂背景下红外图像弱小目标检测[J]. 应用光学,2021,42(4):643-650. doi: 10.5768/JAO202142.0402002 CAI Wei, XU Peiwei, YANG Zhiyong, et al. Detection of weak and small targets in infrared images under complex background[J]. Journal of Applied Optics,2021,42(4):643-650. doi: 10.5768/JAO202142.0402002
[13] TAN M, PANG R, LE Q V. Efficientdet: Scalable and efficient object detection[C]//Procee dings of the IEEE/CVF conference on computer vision and pattern recognition.New York: IEEE, 2020: 10781-10790.
[14] HU J, SHEN L, SUN G. Squeeze-and-excitation networks[C]//Proceedings of the IEEE co nference on computer vision and pattern recognition. New York: IEEE, 2018: 7132-7141.
[15] WOO S, PARK J, LEE J Y, et al. Cbam: Convolutional block attention module[C]//Procee dings of the European conference on computer vision (ECCV). New York: IEEE,2018: 3-19.
[16] HOU Q, ZHOU D, FENG J. Coordinate attention for efficient mobile network design[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2021: 13713-13722.
[17] MUNDT M, MAJUMDER S, MURALI S, et al. Meta-learning convolutional neural archit ectures for multi-target concrete defect classification with the concrete defect bridge image dataset[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Re cognition. New York: IEEE, 2019: 11196-11205.
-
期刊类型引用(1)
1. 刘宝怡，张强，蒋世磊，孙国斌，杨国锋. 基于薄膜损伤阈值测试的聚焦光学系统设计. 光学与光电技术. 2025(01): 9-14 . 
百度学术
其他类型引用(1)
计量
- 文章访问数: 273
- HTML全文浏览量: 62
- PDF下载量: 49
- 被引次数: 2
陕公网安备 61011302001501号 