引言

焊接技术不断地发展和完善，并正在应用于各行各业。在焊接过程中由于焊接设备的影响会造成各种缺陷，对缺陷进行分类是焊缝质量等级评定的重要基础。目前对焊缝缺陷的检测大都采用无损检测技术（non-destructive testing，NDT），其中以X射线技术为主^[1]。对于X射线所拍摄的图片，需要专业人士评判和分类，这种方式耗费时间且存在主观因素的影响。随后研究了基于计算机自动识别系统，但是这一系统仍需人为地提取和选择特征，因此目前大多数研究都集中在特征提取算法的手工设计上。李宁、卢子广利用分段分行纹理分析算法提取焊缝缺陷的特征值，最后将其输入到支持向量机分类器中，进行缺陷的分类^[2]。Jayendra Kumar等人采用灰度共生矩阵的纹理特征将其输入到神经网络中，取得86.1%的分类准确率^[3]。丁晓东、黎扬进等人利用斜率截距法和分段区间检测法提取焊缝表面缺陷特征点，将其作为网络的输入，使得模型的整体识别率达到91.51%^[4]。栗芝采用主成分分析（principal component analysis，PCA）和独立成分分析（independent component correlation algorithm，ICA）进行成分特征的提取，将7类形状特征参数作为分类识别的输入，最后采用支持向量机对气孔和裂纹两类缺陷进行分类识别^[5]。胡宏伟、张婕等人研究了一种基于一维局部二元模式算法结合核主成分分析提取焊缝缺陷回波信号特征的方法对焊缝缺陷进行分类^[6]。

上述方法都是基于特征提取算法所进行的研究。近年来深度学习技术可以自动地提取图像中的特征，不需要人工参与，进而对图像良好地分类，因而被广泛地应用。杨志超、周强等人提出了基于卷积神经网络的焊接缺陷特征自动提取及分类算法，为焊接质量的检测研究提供了重要参考^[7]。Domingo Mery比较了包含卷积神经网络在内的各种计算机视觉方法，对有无缺陷的X射线图像进行分类^[8]。李真、马丽等人针对工业中焊缝缺陷的分类难题提出了一种基于深度学习的分类方法，结果表明该方法对缺陷分类有良好的效果^[9]。

此外，训练数据的不平衡会影响不同类型的分类准确率^[10]。本文采用深度卷积对抗生成网络（deep convolutional generative adversarial networks，DCGAN）^[11]在数据层面上进行数据集的平衡处理，消除数据不平衡的影响，并在该数据集上验证模型的有效性，图1为算法的流程图。

图  1  算法流程图

Figure  1.  Flow chart of algorithm

下载: 全尺寸图片 幻灯片

1   焊缝缺陷数据集处理

1.1   原始数据集介绍

本文所用的数据集是由国内某车间提供，共包含2 454张图片，有6种缺陷类型，图片大小为$64 \times 64$像素，按照8:2的比例划分为训练集和测试集。各种缺陷类型及其在训练集和测试集上的缺陷数量如表1所示。在该数据集上，未熔合缺陷和无缺陷图像所占比例较大。条形缺陷所占比例最小，且各个类别之间的所占比例均有差别。

表  1  焊缝缺陷类别数量

Table  1.  Number of weld defect categories

Class	Number of training set pictures （Before DCGAN）	Number of training set pictures （After DCGAN）	Number of testing set
Crack	359	573	144
Unfused	567	567	142
Not welded	211	423	105
Bar	85	296	73
Circular	187	548	137
Normal	554	554	138

下载: 导出CSV 

| 显示表格

1.2   数据集的平衡处理

在深度学习领域中，数据量的大小和平衡直接影响到分类的性能。当数据量较少或不平衡的时候，网络中容易出现过拟合问题。为有效解决这一问题，本文在数据集层面上采用DCGAN对原始数据集进行数据平衡处理，以用于学习不同特征的分类能力，在增加样本数量的同时消除不平衡数据集对模型的影响。采用DCGAN后的训练样本数量如表1所示，数量之间比较均衡。部分生成图片如图2所示：其中（a）为裂纹，（b）为未焊透，（c）为条形缺陷，（d）为圆形缺陷。

DCGAN是在对抗生成网络（generative adversarial networks，GAN）的基础上增加深度卷积网络结构，以此用来生成数据样本。GAN算法流程如图3所示：其中G表示生成网络，D为判别网络，生成网络模型中通过输入噪声Z生成图像，然后让判别网络判断数据的真假，判别网络的输出是数据真实的概率。通过采用DCGAN生成数据集，所生成的数据集相比于原始图片内容更加丰富，并且增加了图片的数量。此外在DCGAN所生成数据集的基础上，在网络的训练过程中采用镜像的在线增强方式，使得训练集数量进一步扩充。

图  2  DCGAN生成的图片

Figure  2.  Images generated by DCGAN

下载: 全尺寸图片 幻灯片

图  3  GAN网络结构

Figure  3.  GAN network structure

下载: 全尺寸图片 幻灯片

2   SINet网络模型原理

SINet是在基于卷积神经网络的基础上，利用2个$3 \times 3$串联卷积的优势，将4组串联卷积模块与SI模块进行结合。4组串联卷积模块作为基础学习网络，用于从低到高的学习图像的特征，每组卷积模块后面使用最大池化层对前面卷积层进行降维操作。将Inception模块与压缩激励模块（SE block）相结合，形成SI模块。在SI模块中通过Inception模块执行多尺度卷积操作，扩大在特征图上获取特征的能力，之后重新校准通道维度。最后使用全局平均池化层代替全连接层，减少模型的参数从而防止过拟合现象^[12]。本文焊缝缺陷类型为6类，因此在网络最后输出6个特征图，求取每个特征图的平均值，所求取的值为每个类别的概率值，然后将其输入到softmax中进行分类。改进模型的网络结构如图4所示。

图  4  SINet结构

Figure  4.  SINet structure

下载: 全尺寸图片 幻灯片

2.1   $3 \times 3$串联卷积模块的原理

两两串联的$3 \times 3$卷积模块，其感受野等同于一个$5 \times 5$的卷积操作，但是所用的参数却比$5 \times 5$卷积核要少。同种情况下假设卷积操作之后生成了10张特征图，串联卷积模块所用的参数数量为$2 \times \left( {10 \times 3 \times 3} \right){\rm{ = }}180$个，而$5 \times 5$卷积核所用的参数为$10 \times 5 \times 5{\rm{ = }}250$个，由此可见在基于相同感受野情况下，选用两两串联的$3 \times 3$卷积模块有效减少了模型的参数。因此采用串联卷积模块作为基础模块对焊缝缺陷图像进行特征提取。

2.2   SI模块

SI模块是将Inception模块与SE模块相结合，如图5所示为SI模块。SI模块从不同的接受域收集特征以提高模型的识别能力。利用多尺度卷积的思想，模块中使用$1 \times 1$卷积、$3 \times 3$卷积、$5 \times 5$卷积，通过3种不同卷积核提取了3种不同的尺度特征来增加特征的多样性^[13]，从而提高焊缝图像特征的提取能力。使用$1 \times 1$卷积操作实现降维，减少模型的参数^[14]，在增加网络深度和宽度的同时防止过拟合现象。采用最大池化操作，操作中步长设置为1，以此来保留原始输入信息。

图  5  SI模块示意图

Figure  5.  Schematic diagram of SI module

下载: 全尺寸图片 幻灯片

在SI模块中通过后半部分的压缩激励操作对一系列卷积操作后产生的特征图进行特征重标定，提升有用特征，抑制无用特征。如图6所示为SI模块中压缩激励模块^[15]（SE block）的示意图，其中输入X是经过卷积操作后所输出的一个三维矩阵，假定特征通道的数目为$C$，$W$为宽度，H为高度。与传统的卷积神经网络不同，该过程需要进行3次操作。

图  6  SE模块示意图

Figure  6.  Schematic diagram of SE module

下载: 全尺寸图片 幻灯片

第1个过程称为挤压操作，对应图中的${F_{sq}}$，该操作是一个全局平均池化的操作，将特征映射通过全局平均池化层合并为$1 \times 1 \times C$，如（1）式所示：

第2个过程称为激励操作，即将集合向量编码为形状$1 \times 1 \times \left( {{C / r}} \right)$，用2个FC层将其解码回$1 \times 1 \times C$，得到$s$，${W_1}$的维度是${C / {r \times C}}$，${W_2}$的维度是$C \times {C / r}$，如（2）式所示：

最后，在特征选择后，再进行重标定操作，将激励输出的权重作为每个特征通道的重要性，然后通过通道权重对先前的特征进行加权，使之在通道维度上完全配对。对应图中的${F_{{\rm{scale}}}}$操作，如（3）式所示：

通过SI模块中的多尺度特征融合以及压缩激励操作，对基础卷积操作所提取的特征进一步处理，利用多尺度特征，提高对焊缝缺陷特征的提取能力。后续通过压缩激励操作对所提取的特征图进行特征重标定，使得有用的特征权值变大，从而提高焊缝缺陷分类的准确率。

3   实验

本文采用的框架为Caffe框架。在模型训练过程中，使用自适应矩估计算法^[16]（adaptive moment estimation，Adam）在数据集上训练模型。初始学习速率（base_lr）设为0.000 1。每次训练输入模型的图片数量（batch_size）设置为32。在实验中使用批量归一化（batch normalization，BN）算法来加速模型的收敛和防止过拟合。

3.1   评价指标

为准确评价模型的性能，采用一种标准的评价方法。每种类型的平均分类准确率我们用${P_j}$表示，总体的分类准确率用${P_t}$表示，其公式定义为

式中：${n_j}$表示j类缺陷的焊缝图片数量；${m_j}$表示正确分为j类的图片数量；K为类别数目，本文中K为6。

3.2   实验结果

实验中首先使用原始数据集对SINet网络模型进行训练，将数据集按照4∶1的比例划分为训练集和测试集。将训练好的模型在测试集上进行验证，该模型在测试集上的准确率为93.86%。之后采用DCGAN平衡后的数据集，将所改进的网络模型重新进行训练。图7（a）为SINet网络模型在训练和测试过程中的loss曲线图，横坐标表示迭代次数，纵坐标表示loss值；图7（b）为测试过程中准确率的曲线图，横坐标为迭代次数，纵坐标为准确率值。

图  7  SINet曲线图

Figure  7.  SINet curve

下载: 全尺寸图片 幻灯片

从图7（a）中可以看到，随着迭代次数的增长，其loss值也在快速降低，在1 000次以后开始收敛，且在该过程中训练集与测试集的loss曲线大体上均趋于同步收敛。图7（b）中，测试集的准确率在1 000次之后趋于稳定，且测试集的准确率为96.77%。

表2为SINet网络模型下，通过以上评价指标计算出的每类缺陷的分类结果及其准确率。从表中可以看出无缺陷图像的分类准确率为100%，裂纹以及圆形缺陷的分类准确率均在98%以上，识别效果也较好。而未熔合、未焊透与条形缺陷的分类准确率较低。在未熔合缺陷中有8张错分为未焊透，有2张错分为裂纹，在未焊透中有4张错分为未熔合，在条形中有4张错分为未焊透，其原因可能是这3类图像比较相像。

表  2  焊缝缺陷的分类结果

Table  2.  Classification results of weld defects

	Crack	Unfused	Not welded	Bar	Circular	Normal	${P_j}$（Accuracy）/%
Crack	142	1	1	0	0	0	98.61
Unfused	2	132	8	0	0	0	92.96
Not welded	0	4	102	0	0	0	96.22
Bar	0	0	4	70	0	0	94.59
Circular	0	2	0	0	135	2	98.545
Normal	0	0	0	0	0	139	100

下载: 导出CSV 

| 显示表格

图8（a）为焊缝缺陷图像正确分类的例子，图8（b）为焊缝缺陷图像错误分类的例子。通过对比可以看出错误分类的例子中未能识别出裂纹、未焊透且圆形缺陷的图片较为模糊，圆形缺陷呈现出正常的视觉特征，未能识别未熔合缺陷的图片与裂纹缺陷图片较为相似，同样，错分的条形缺陷与未焊透缺陷存在图片相似问题。因此在识别过程中存在识别错误的情况。

图  8  部分测试样本分类结果

Figure  8.  Classification results of some test samples

下载: 全尺寸图片 幻灯片

本文将所改进的卷积神经网络SINet与AlexNet、VGG16、ResNet50在数据集上进行对比，分别比较了不同模型在同一测试集下的准确率和训练所生成的模型大小。表3为4种网络的对比情况。

表  3  不同网络准确率和参数对比表

Table  3.  Comparison of accuracy and parameters in different networks

Model	Test-accuracy/%	Model-size/MB
AlexNet	93.75	115.6
VGG16	95.32	159.6
ResNet50	96.28	94.5
SINet	96.77	20.0

下载: 导出CSV 

| 显示表格

从表3中看到SINet测试准确率均高于其他卷积神经网络，且模型规模也最小。表中AlexNet、VGG16训练模型的大小分别为115.6 MB和159.6 MB，训练模型较大，其原因是网络结构最后使用的都是全连接层，导致网络模型的规模要大于其他卷积神经网络。ResNet50模型的大小为94.5 MB，虽然该模型层数较深但是由于其最后采用全局平均池化层，因此网络模型参数较少。而本文所提出的SINet，其模型大小仅为20.0 MB，其原因在于网络中采用了串联卷积操作、SI模块以及最后采用全局平均池化层，这种结构可有效地减小网络模型的大小。该模型对于焊缝缺陷图像的分类效果也比较好，准确率为96.77%，原因在于该模型中的SI模块对缺陷图像进行多尺度融合以及特征重用，使得网络对图像提取特征的能力增强，进而进行良好的分类。

4   结论

针对焊缝缺陷图像的分类问题，本文提出了一种改进的卷积神经网络模型SINet，并且为消除数据不平衡对模型的影响，采用DCGAN对数据集进行数据平衡处理，在该数据集上验证模型的有效性。SINet以4组2个${\rm{3}} \times {\rm{3}}$卷积串联为基础学习网络与SI模块相结合，利用SI模块中的多尺度卷积操作以及压缩激励操作，提高焊缝缺陷图像的分类精度。同时采用全局平均池化层代替全连接层，减少参数，防止过拟合现象的发生。经实验证明SINet网络模型在焊缝缺陷图像测试集上的准确率达到96.77%。