引言

金属制品在实际生产生活中应用非常广泛，金属工件质量的好坏直接影响产品的质量及其寿命，甚至影响产品的实用性及安全性，因此工件的缺陷检测至关重要^[1]。传统基于机器视觉的缺陷分割技术有抗噪声差、精度不高并且容易造成过度分割、分割速度较慢等缺点。

随着人工智能技术的快速发展，深度学习在产品表面缺陷识别领域的研究和应用越来越深入和广泛^[2]。Wu等^[3]针对肺结节边界难以用一种模型分割的问题，提出一种利用3D-CRF（ conditional random field）优化训练集样本输出的方法分割图像，此方法可以降低模型的丢失率，但是需要采集大量数据集进行训练。Tao等^[4]针对复杂工业环境下金属表面缺陷准确率低的问题，设计了一种用于缺陷分割和定位的级联自动编码器，实现了金属表面缺陷的自动检测，提高了检测的准确性，但是需要花费时间手动标记数据。Zhang等^[5]针对选煤厂清除煤炭中异物依靠人工效率低的问题，设计一个嵌入注意力模块的卷积神经网络，实现了实时从复杂背景中准确地分割出煤炭中的异物，该方法提高了复杂环境中检测出异物的准确性，并提高了异物检测的效率。Li等^[6]针对带钢表面缺陷的复杂性和多样性导致检测准确低的问题，设计了一种全卷积的YOLO检测网络，此网络样本集包含6类带钢表面缺陷，可以同时预测缺陷区域的位置及尺寸信息，该方法具有较好的检测效果，但是检测精度还需要进一步提高。徐建桥等^[7]针对轴承表面缺陷影响产品性能及寿命的问题，提出先通过规范化拆分方法扩充样本数据集，在利用ResNet网络训练检测模型，该方法相比利用原图直接训练模型的检测效果更好。Xiao等^[8]针对肺结节的多样性难以准确检测与分割的问题，设计具有多尺度特征提取能力的3D-Res2Net分层连接网络，该方法不仅降低了梯度爆炸和消失的问题，而且提高了肺结节检测和分割的精度及模型的训练速度。卢印举等^[9]针对玻璃缺陷的透明性及多样性的问题，设计一种玻璃缺陷图像分割算法，该算法融合了改进的双特征高斯混合模型，可以提高玻璃分割的准确性。Ye等^[10]针对圆柱形金属工件缺陷的复杂性及多样性导致检测准确率低的问题，提出集成注意力的弱监督学习框架，使用图像标签标注训练，实现了金属工件的分类与分割。曹富强等^[11]针对当前图像分割算法对于工业铸件缺陷分割精度低的问题，设计了一种Effi-Deeplap缺陷检测算法，该算法在DeepLabv3+基础上，将原网络中Xception模块用MBConv替代，并重新设计空洞空间金字塔池化中空洞卷积的扩张率，从而提高小目标缺陷的分割精度，该算法相比DeepLabv3+具有更好的分割效果。

卷积神经网络虽然具有很强的泛化性，可以自适应地分割不同环境的图像，但是对于一些小目标分割效果不理想。为解决金属工件表面缺陷图像的精确分割，提出一种改进的U-net型的表面缺陷分割算法，在原网络结构中融入CBAM模块并在网络编码器结构中采用DO-Conv替换传统卷积，增强特征的学习，使其能够更高效地对缺陷特征进行提取。采用Leaky Relu激活函数代替部分Relu函数，解决卷积中Relu函数的稀疏性问题。为解决非均匀光照对图像分割的影响，设计图像采集视觉平台减少光照的影响，并采用中值滤波及非均匀光照补偿算法处理采集的图像，减少图像中局部反光及非均匀光照，使得图像中光照分布均匀。通过实验证明，改进后的网络平均交并、准确率及Dice系数相比原始网络均有所提高，对金属工件表面图像缺陷分割效果更好。

1   网络结构

1.1   语义分割网络U-net

U-net网络是基于图像像素级分割的端到端的语义分割网络，原用于医学细胞图像的分割，因其所需数据量少、速度快、检测效果较好，被广泛用于目标检测任务中。U-net网络结构图如图1所示。

图  1  U-net网络结构图

Figure  1.  Structure diagram of U-net network

下载: 全尺寸图片 幻灯片

U-Net网络^[12]主要包含两个部分：左侧下采样的过程，可称为编码器结构，是模型深化的过程；右侧上采样的过程，该侧可称为解码器结构，是分辨率恢复的过程。左侧收缩路径经过4次下采样，执行提取图像特征信息的工作，该过程主要包括3×3的卷积层、Relu激活层与2×2最大池化层，每次下采样提取图像特征，特征通道就增加一倍。下采样过程图像特征是从具体到抽象，因此其图像分辨率会随之降低。右侧扩张路径经过4次上采样，使分割图像恢复到原图像大小，即在原图像素基础上，通过运用不同的插值算法插入新的元素从而达到图像放大的目的，也就是一个反卷积过程。该过程包括作用于图像尺寸扩大的转置卷积、使特征图通道数减半的3×3卷积、深层特征与浅层特征的融合过程和把通道映射到需要的目标类别数的1×1卷积。运用反卷积和同维度特征图的拼接实现了分辨率的提升。

1.2   改进的语义分割网络

1.2.1   注意力机制模块CBAM

CBAM^[13]是双重轻量级注意力机制，由通道和空间2种子模块组成，能嵌入到任何CNN（convolutional neural networks）架构中，增强特征图有用的特征而忽略无关紧要的特征，从而提高网络性能。在U-net网络中加入CBAM模块，可以使网络提取出积极有效的特征，CBAM注意力模块示意图如图2所示。

图  2  CBAM结构示意图

Figure  2.  Structure diagram of CBAM network

下载: 全尺寸图片 幻灯片

在通道注意力模块内，缺陷图像的输入特征图F先进行全局平均池化（average pooling）和全局最大池化（global average pooling）运算，提取高层次特征，得到2个特征描述后被转送到共享网络，共享网络由含有隐含层的多层感知器组成，将通过感知器的2个特征图进行叠加，并由sigmoid函数激活，得到通道注意力输出权值M_c。通道注意力模块的计算公式为^[14]

式中：$ F $为输入特征图；$ \sigma $为sigmoid函数；${\rm{ MLP}}$为多层感知器；$ {\rm{MaxPool}}\left( F \right) $与$ {\rm{AvgPool}}\left( F \right) $分别表示对特征图$ F $进行全局最大池化和全局平均池化运算。

sigmoid函数本质是指数分布族，用于隐含层神经元输出，取值范围在(0,1)，是常见的S型函数，具有平滑、易于求导的优点。其计算公式为

式中：$ x $为输入变量；$ S\left( x \right) $为变量$ x $对应的输出。

在空间注意力模块内，将通道注意力加权得到的特征图F_C分别沿通道轴做全局平均池化和全局最大值池化运算，将得到的结果串联起来进行卷积降维操作，再由sigmoid函数激活，得到最终的空间注意图M_S。将M_S与F_C相乘得到最终CBAM输出的显著特征图F_CS，空间注意力模块如（3）式所示：

式中：$ \sigma $为sigmoid函数；$ \mathop f\nolimits^{7 \times 7} $为$ 7 \times 7 $的卷积核；$ \mathop F\nolimits_{\rm{C}} $表示由通道注意力加权得到的特征图；$ {\rm{AvgPool}}\left( {\mathop F\nolimits_{\rm{C}} } \right) $与$ {\rm{MaxPool}}\left( {\mathop F\nolimits_{\rm{C}} } \right) $分别表示对特征图$ \mathop F\nolimits_{\rm{C}} $做全局平均池化和全局最大池化的运算。

1.2.2   深度超参数化卷积

DO-Conv的提出主要是通过增加可学习的参数数量，来提高在视觉任务中卷积神经网络的表现。DO-Conv是通过结合传统卷积层与深度卷积层对输入特征图进行新型卷积操作，其具体公式如（4）式所示：

式中：$ W $为传统卷积层的卷积核；$ D $为深度卷积层的卷积核；$ \mathop D\nolimits^{\rm{T}} $为深度卷积层的卷积核的转置；$ P $为输入特征区块；$ * $表示卷积运算；$\circ $表示点乘运算。

特征组合方式为深度卷积层的卷积核$ D $与输入特征区块$ P $做卷积，再与传统卷积层的卷积核$ W $做运算；卷积核组合方式为深度卷积层的卷积核的转置$ \mathop D\nolimits^{\rm{T}} $与传统卷积层的卷积核$ W $做卷积，再与输入特征区块$ P $做运算。两种组合方式输出结果相同，但是DO-Conv的卷积核组合方式较为方便，因此采用卷积核组合方式。

1.2.3   Leaky Relu 激活函数

Relu是卷积神经网络常用的激活函数。当输入非负时，Relu函数能防止模型训练过饱和，但对输入非正部分有抑制。采用Relu的变体Leaky Relu函数^[15]，对输入为负时，减轻Relu函数的稀疏性，Leaky Relu函数公式如（5）式所示：

式中：$ x $为上一层的输出，即激活函数的输入值；$ f\left( x \right) $为激活函数的输出值；$ a $表示在（0，1）之间一个较小的常数。当输入小于0时，给定一个较小的常数$ a $，可保证在此范围内有微弱的输出，梯度能正常传播。

1.2.4   损失函数

适用于多类别分割任务的Lovasz Softmax损失函数，可以提高泛化能力，它由交叉墒损失函数和指数损失函数组合而成，其公式如（6）式所示：

式中：$ C $为目标类别；$ \Delta \mathop J\nolimits_C \left( {} \right) $为模型训练产生的损失值；$ m\left( C \right) $为像素误差函数；${\rm{Loss}}\left( f \right)$为由$ m\left( C \right) $构造的代替函数，评价所有类别的平均损失。

1.2.5   改进后的U-net网络

基于经典的U型网络，用DO-Conv代替网络中上采样操作之前的Conv，并将Leaky Relu函数作为DO-Conv结构中的激活函数，从而提高网络提取特征的性能。将编码结构中经过卷积模块后的特征图送入CBAM模块中，并将注意力模块输出的特征图与经过反卷积操作后维度相同的特征图拼接，从而提高网络的抗干扰及其准确定位缺陷区域的能力。改进后的U-net网络结构如图3所示。图3中浅蓝色箭头和深蓝色箭头分别表示3×3的DO-Conv和Conv操作，紫色箭头表示CBAM操作，灰色表示为通道相同特征图的拼接操作，红色箭头和绿色箭头分别表示编码器2×2的最大池化和解码器反卷积操作，黄色箭头表示1×1的Conv映射缺陷类别数操作。

图  3  改进的U-net网络结构图

Figure  3.  Structure diagram of improved U-net network

下载: 全尺寸图片 幻灯片

2   实验与结果分析

2.1   实验设置与数据集

实验平台为基于Windows 10操作系统，中央处理单元为Intel(R) Core(TM) i5-1035G1 CPU，搭载了NVIDIA MX350独显，配备16 G内存，使用Anaconda4.10.1版本的环境管理器，编程软件为Python3.8.8，利用Pytorch深度学习框架完成实验。实验训练epoch设为30，学习率设置为0.0001，并选用Adam优化器和Lovasz Softmax损失函数进行实验。

图像采集视觉平台中工业相机为堡盟CX系列VCXG-25.1的CMOS相机，其像元尺寸为4.8 μm×4.8 μm，相机分辨率为1920 pixel × 1200 pixel。工业镜头选用Computar公司M1614-MP2型号，光源选用亮度可调的条形LED灯。实验时将LED灯放置在检测对象的两侧，由于凸轮轴是光滑曲面的轴类物体，将灯光源方向与垂直方向形成45°的夹角的照明角度，LED灯与凸轮轴顶部平齐，采集图像时保持相同光照强度及角度。采取此种照明方式不仅能一定程度减弱因光源造成的高反光，还可以增强缺陷与背景的对比度。采用大光圈、长焦距、小物距减少超景深问题的影响。采集装置一侧放置遮光布将自然光进行遮挡，保证了环境的变量，减少了自然光对图像的影响。图像采集视觉平台如图4所示。

图  4  图像采集视觉平台

Figure  4.  Visual platform for image acquisition

下载: 全尺寸图片 幻灯片

实验选用凸轮轴作为实验对象，根据实验条件对凸轮轴表面的污渍、划痕及凹坑3种缺陷图像进行采集，并分别用bl、sc、sca字母代表。实验采集了130张污渍、100张划痕及100张凹坑图像，并用lebelme软件进行标注。通过数据增强将测试图像扩增到1782张用于训练。采集70张污渍、54张划痕、57张凹坑及17张无缺陷图像用于测试。相机的分辨率为1920 pixel × 1200 pixel，拍摄的图像为横向长，将图像方向进行了调整，使得采集的图像为纵向长，大小为1200 pixel×1920 pixel。

针对非均匀光照对缺陷图像分割的影响，使用中值滤波和非均匀光照补偿算法结合的方法处理图像，使图像表面光照分布均匀，从而减弱图像表面光照不均匀及高反光现象。光照补偿算法主要思路：先求取原图的平均灰度，然后将图像分成108×108块，求子块的平均亮度矩阵，再由平均亮度矩阵求得亮度插值矩阵及亮度分布矩阵，最后将原图与亮度分布矩阵做差，最后得到预处理后光照均匀的图像，污渍、划痕、凹坑图像预处理前后对比图如图5所示。可见，预处理之后的图像光照分布均匀，从而减少了对金属工件表面缺陷图像分割的影响。

图  5  图像预处理前后对比图

Figure  5.  Comparison before and after image preprocessing

下载: 全尺寸图片 幻灯片

图像经过预处理后，图像尺寸大小不变，在图像进入网络之前利用resize函数将经预处理的图像缩放成尺寸为512 pixel×512 pixel的图像，即运用resize函数中输入图像scr、输出图像大小dsize及双三次插值INTER_CUBIC 3个参数，使其图像尺寸缩放为512 pixel×512 pixel，则实际输入网络图像大小为512 pixel×512 pixel。

2.2   评价指标

采用平均交并比mIOU、准确率Acc及Dice相似度系数作为评价指标。交并比IOU是2个区域重叠部分与2个区域集合部分的比值，mIOU是各类对象交并比的均值。Dice相似度系数是分割后缺陷图像与标准缺陷图像的重合度。mIOU、Acc、Dice公式如下：

式中：$ N $为缺陷类别数；${\rm{TP}}$、${\rm{FP}}$、${\rm{FN}}$与${\rm{TN}}$分别表示真正、假正、假负、真负。

2.3   实验结果与分析

在相同软硬件环境和数据集条件下，分别将经过图像预处理后含有DO-Conv的DO-U-net网络、含有CBAM的Att-U-net网络及同时含有DO-Conv和CBAM的Att-DO-U-net网络、原始的U-net网络与图像未预处理的U-net网络（简称PW-U-net网络）进行对比实验。各个模型训练阶段损失值变化曲线图如图6所示，图中的横坐标表示权重更新的次数。可以看出当模型训练到Epoch值为28时，基本趋于平缓，模型整体收敛性比较好，具有一定稳定性，训练比较成功。

图  6  损失值变化曲线图

Figure  6.  Variation curves of loss values

下载: 全尺寸图片 幻灯片

通过实验，各个模型的平均交并比mIOU及准确率Acc如图7、图8所示，各个模型的mIOU及Acc随着迭代次数逐步增加，最终达到较好的结果。PW-U-net网络的mIOU、Acc指标分别为0.7969、0.9008，原始U-net网络的mIOU、Acc指标分别为0.8045、0.9088，Att-U-net网络的mIOU、Acc指标分别为0.8139、0.9148，DO-U-net网络的mIOU、Acc指标分别为0.8254、0.9171，Att-DO-U-net网络的mIOU、Acc指标分别为0.8335、0.9332，U-net网络的mIOU、Acc指标分别比PW-U-net网络高0.076、0.080，说明图像预处理可以提升分割效果及准确性。Att-DO-U-net网络的mIOU、Acc指标分别比原始U-net网络提升了0.029、0.024，说明改进后的Att-DO-U-net网络更加关注图像的重要特征，忽略次要信息，可达到更好的分割效果。

图  7  平均交并比图

Figure  7.  Variation curves of mean intersection over union

下载: 全尺寸图片 幻灯片

图  8  准确率

Figure  8.  Variation curves of accuracy rate

下载: 全尺寸图片 幻灯片

各模型Dice指标如表1所示。Dice反应网络的分割能力，Dice值越高则缺陷分割的区域与真实区域越接近，分割效果越好。通过表1可知，Att-DO-U-net网络的Dice达到0.8674，相比另外几个网络均有所提高，分割效果更好。

表  1  Dice指标对比

Table  1.  Comparison of Dice indexes

No.	Approach	Dice
1	PW-U-net	0.8463
2	U-net	0.8489
3	DO-U-net	0.8516
4	Att-U-net	0.8512
5	Att-DO-U-net	0.8674

下载: 导出CSV 

| 显示表格

各个网络分割结果如图9所示。通过表1相似度系数与图9分割效果对比可以知道，PW-U-net网进行分割的图像，缺陷与边缘分割不准确，被分割部位的边缘不光滑，比较粗糙，图像预处理后用U-net网络分割效果比未预处理的分割效果好一点。DO-U-net和Att-U-net2个网络分割效果比原始U-net网络分割效果有所改善。本文提出同时加入注意力及DO-Conv的Att-DO-U-net网络分割的图像，缺陷边缘更为光滑，分割准确性也有所提升。

图  9  分割结果对比图

Figure  9.  Comparison of segmentation results

下载: 全尺寸图片 幻灯片

3   结论

本文提出嵌入CBAM及DO-Conv的U-net网络和中值滤波与非均匀光照补偿相结合的图像预处理方法，实现了非均匀光照条件下金属工件表面小尺寸缺陷的精确分割。在此基础上，设计了图像采集视觉平台，采集金属工件图像。通过一系列的对比实验，改进后的Att-DO-U-net网络相比原始U-net网络对缺陷图像的分割更为完整，分割的缺陷边缘更为光滑。借此验证了本文提出的改进后的网络对金属工件表面缺陷图像分割效果相较于原始网络更好。