基于优化残差网络的复杂纹理表面缺陷检测

林李兴, 夏振平, 徐浩, 宋玉, 胡伏原

林李兴, 夏振平, 徐浩, 宋玉, 胡伏原. 基于优化残差网络的复杂纹理表面缺陷检测[J]. 应用光学, 2023, 44(1): 104-112. DOI: 10.5768/JAO202344.0102006
引用本文: 林李兴, 夏振平, 徐浩, 宋玉, 胡伏原. 基于优化残差网络的复杂纹理表面缺陷检测[J]. 应用光学, 2023, 44(1): 104-112. DOI: 10.5768/JAO202344.0102006
LIN Lixing, XIA Zhenping, XU Hao, SONG Yu, HU Fuyuan. Defect detection on complex texture surface based on optimized ResNet[J]. Journal of Applied Optics, 2023, 44(1): 104-112. DOI: 10.5768/JAO202344.0102006
Citation: LIN Lixing, XIA Zhenping, XU Hao, SONG Yu, HU Fuyuan. Defect detection on complex texture surface based on optimized ResNet[J]. Journal of Applied Optics, 2023, 44(1): 104-112. DOI: 10.5768/JAO202344.0102006

基于优化残差网络的复杂纹理表面缺陷检测

基金项目: 国家自然科学基金(62002254,61876121)江苏省自然科学基金(BK20200988)
详细信息
    作者简介:

    林李兴(1997—),男,硕士研究生,主要从事机器视觉检测方面的研究。E-mail:llxgongzuo@126.com

    通讯作者:

    夏振平(1985—),男,博士,副教授,主要从事信息显示、机器视觉、图像处理方面的研究。E-mail:xzp@usts.edu.cn

  • 中图分类号: TN27

Defect detection on complex texture surface based on optimized ResNet

  • 摘要:

    产品表面缺陷检测是工业自动化生产的重要环节,准确率是评价自动检测系统可靠性的主要指标。基于复杂纹理表面缺陷检测的特殊性以及对检测方法的实时性、通用性等要求,提出了优化骨干网络并使用迁移学习特征映射构建复杂纹理表面缺陷的检测方法。该方法通过优化残差网络模型并建立仿真数据集的方式进行迁移学习,以解决实际情况中复杂纹理表面产品数据集样本数量少、数据集制作困难、相似问题难以互相兼容等问题。实验结果表明,提出的方法可以准确地检测随机复杂纹理的人造木质板材表面缺陷,平均准确率可达99.6%。现有实验条件下单张人造木质板材的检测时间为305 ms,可以满足在线检测的实时性要求。研究结果可为基于深度学习的复杂纹理表面缺陷检测提供新的思路与理论参考。

    Abstract:

    Defect detection of product surface is an important part of industrial automatic production and the accuracy is the main index to evaluate the reliability of automatic detection system. Based on the particularity of defect detection on complex texture surface and the requirements of real-time and universal detection methods, a detection method for optimizing the backbone network and using the transfer learning feature mapping to construct the complex texture surface defects was proposed. In this method, the ResNet model was optimized and the simulation data set was established for transfer learning, so as to solve the problems such as the small number of samples in the data set of complex texture surface products, the difficulty of data set making, and the difficulty of similar problems to be compatible with each other. Experimental results show that the proposed method can accurately detect the surface defects of artificial wooden plank with random complex texture, and the average accuracy can reach 99.6%. Under the existing experimental conditions, the detection time of a single artificial wooden plank is 305 ms, which can meet the real-time requirements of online detection. The research results can provide a new idea and theoretical reference for the defect detection on complex texture surface based on deep learning.

  • 随着机器视觉与人工智能的推进,车辆检测与识别技术逐渐成为智能交通系统(ITS)的研究热点[1],基于视觉的车辆行人辅助检测与识别得到了广泛的关注[2]。目前,车辆检测算法是用来对道路汽车进行识别,现有方法主要分为以下4类:第1类是基于车辆特征的方法[3-4], 该类算法利用车辆对称性、颜色、阴影和角点等显著特征对车辆进行检测,然而算法易受光照强度、图像噪声和行驶环境影响,检测效果难以稳定,因此,在车辆检测初期应用较多。第2类是基于模板匹配的方法[5],将视频流与大量的车辆模板进行帧匹配,相关性最大区域即为车辆区域。虽然该类方法比基于特征的方法准确度高,但是实时性和扩展性差,同时也会受到光照等影响。第3类是基于光流场的方法[6],通过采集运动物体移动过程的影像即可提取出这些物体。相比前两类方法,准确性得到了提升,然而,同样存在计算量大和实时性差的问题。第4类是机器学习方法[7-8],对车辆样本进行训练得到模型参数,然后对图像进行识别。随着并行GPU发展,算法实时性和扩展性得到增强,机器学习逐渐成为车辆检测等领域的主流方法。

    为了避免车辆行驶过程发生碰撞,需要对车距进行测量。目前主流的测距方法有超声波、激光、红外线、毫米波雷达等主动型传感器和基于视觉的被动型传感器等[9]。双目视觉以其成本低、简单易用并且可以确定三维信息而受到了国内外研究者的青睐。

    因此,本文采用机器学习方法,通过改进Fast-RCNN对不同空间尺度道路车辆进行检测与识别,提高车辆检测准确率;通过双目相机采集检测车辆的质心,对车辆进行距离测量,可以加速双目视觉发展,提高车辆的智能化水平。

    为提高车辆检测的精度,提出了一种改进的Fast-RCNN的车辆检测方法。首先通过训练提取输入图像的整体特征图,以整体特征图和目标位置作为输入,两层子网络为每个目标提供不同类别的置信度得分和边框回归,然后利用尺度感知加权层预测的两个尺度感知权重将每个网络的置信度得分和边框回归结合来生成最终车辆检测结果,如图 1所示。

    图  1  车辆检测方法流程图
    Figure  1.  Flow chart of vehicle detection method

    ACF检测器是一种快速有效的基于滑动窗口的检测器,在刚性目标检测上表现良好。与其他通用对象检测方法不同,ACF检测器可以被训练来检测特定类别的对象,从而可用于提取和挖掘高质量目标特征[10]。因此,本文利用ACF检测器来提取车辆特征。根据车辆运行特点,将前方车辆的垂直边缘特征加入到ACF原有的10通道特征,形成新的11通道特征,在PASCAL VOC的车辆检测数据集训练ACF车辆检测器,然后应用训练的ACF检测器测试车辆目标图像,生成目标特征图。

    本文算法首先通过若干卷积层与最大池化层提取出输入图像的特征图,然后将网络分为检测大尺寸图像和小尺寸图像的2个专用子网络,将前面产生图像的特征图输入到2个子网络中,再次通过卷积层提取图像特征以产生专门用于特定范围输入尺度的特征图,最后经过ROI(感兴趣区域)池化层将图像特征转化为特征向量并输送到全连接层。由于2个子网络最终都会输出图像特征向量,因此,利用尺度感知加权层对2个子网络的输出进行自适应加权组合,最终得到输入图像的最终结果,如图 2所示。

    图  2  车辆检测方法具体实现过程
    Figure  2.  Concrete realization process of vehicle detection method

    对于跟摄像头距离恒定的汽车,尽管空间尺度不同,它的边界框高度变化很小,宽度可能随着停放姿态不同变化较大,因此,利用汽车边界框的高度来确定每个子网络的权重。令ωlωs分别为尺度感知加权层大尺寸子网络和小尺寸子网络的计算权重,h为边界框高度,则ωl通过(1)式计算如下:

    $$ {w_l} = \frac{1}{{1 + \alpha {{\exp }^{ - \frac{{h - \overline h }}{\beta }}}}} $$ (1)

    其中:$ \overline h $表示训练集中车辆的平均高度;αβ是可学习的能通过反向传播优化的比例系数。

    利用尺度感知加权层的向后函数计算损失函数Lαβ的偏导数如(2)式所示:

    $$ \left\{ \begin{array}{l} \frac{{\partial L}}{{\partial \alpha }} = - \frac{{{{\exp }^{ - \frac{{h - \overline h }}{\beta }}}}}{{{{\left( {1 + \alpha {{\exp }^{ - \frac{{h - \overline h }}{\beta }}}} \right)}^2}}}\frac{{\partial L}}{{\partial {w_l}}}\\ \frac{{\partial L}}{{\partial \beta }} = - \frac{{\alpha \left( {h - \overline h } \right){{\exp }^{ - \frac{{h - \overline h }}{\beta }}}}}{{{\beta ^2}{{\left( {1 + \alpha {{\exp }^{ - \frac{{h - \overline h }}{\beta }}}} \right)}^2}}}\frac{{\partial L}}{{\partial {w_l}}} \end{array} \right. $$ (2)

    定义2个子网络的权重之和为1,计算出大尺寸子网络权重ωl,则小尺寸子网络权重如(3)式所示:

    $$ {w_s} = 1 - {w_l} $$ (3)

    因此,给定一幅图像进行大尺寸车辆检测,则ωs≈0,ωl≈1,最终的检测结果主要取决于大尺寸子网络;相反,给定一个小尺寸车辆检测,则ωl≈0,ωs≈1,最终的检测结果主要取决于小尺寸子网络。

    结合改进的Fast-RCNN车辆检测算法结果和双目立体视觉的优势,可以实现车辆与双目相机之间的距离测量,如图 3所示。基于SURF,对提前定标的双目相机拍摄的左右图像进行立体匹配,根据视差信息进行三维场景重建,然后对检测到的汽车进一步检测质心,进而确定质心的三维坐标,实现对检测车辆的距离测量。

    图  3  双目立体视觉测距流程图
    Figure  3.  Flow chart of binocular stereo vision ranging

    双目相机平台搭建调试时,周围环境的亮度和背景会发生变化,使得双目立体相机采集的图像不可避免地出现旋转、亮暗和缩放。相较SIFT(尺度不变特征变换),SURF(加速稳健特征)不仅对出现的旋转、亮暗和缩放这些变化具有更好的鲁棒性,而且运算速度更快,匹配效率更高[11]。SURF是由Herbert Bay提出的改进SIFT算法[12],使用更高效的方式完成对特征的提取和描述。首先定义尺度为σ的Hessian矩阵为

    $$ H\left( {x, \sigma } \right) = \left[ {\begin{array}{*{20}{c}} {{L_{xx}}\left( {x, \sigma } \right)}&{{L_{xy}}\left( {x, \sigma } \right)}\\ {{L_{xy}}\left( {x, \sigma } \right)}&{{L_{yy}}\left( {x, \sigma } \right)} \end{array}} \right] $$ (4)

    其中Lxx(x, σ)、Lxy(x, σ)和Lyy(x, σ)分别为二阶高斯滤波$\frac{{{\partial ^2}f}}{{\partial {x^2}}} $、$ \frac{{{\partial ^2}f}}{{\partial x\partial y}}$和$\frac{{{\partial ^2}f}}{{\partial {y^2}}} $与图像点x的卷积,通过Hessian矩阵来计算出图像中每一像素点的特征值。为了提高计算效率,Bay等人提出将高斯模板与图像卷积简化为盒式滤波,使得积分图像可以在恒定的时间内计算出来,如图 4所示。因此,(11)式可以简化为

    图  4  高斯滤波器(上)和盒式滤波器(下)
    Figure  4.  Gauss filters (upper) and cartridge filters (lower)
    $$ Det\left( H \right) = {D_{xx}}{D_{yy}} - 0.9{D_{xy}} $$ (5)

    其中DxxDyyDxyDet分别是LxxLyyLxy和Hessian的近似。(5)式表示在点(x, y)周围区域盒式滤波响应值。若Det(H)值为负,且特征值异号,那么该点不是局部极值;反之则该点为局部极值。使用其他模板尺寸,就可以生成多尺度的矩阵行列式响应图像,然后在响应图像上利用非极大值抑制方法比较这些极值点及其周围点的近似值,如果最大,则标记为特征点。

    完成SURF特征提取后,选定左相机图像上面特征点,在右相机图像上面进行匹配搜索,并以(6)式作为特征点相似性度量函数,进而对所有检测到的特征点进行匹配,获得匹配点对集合。但是通过这种方式得到的匹配点对会出现左图像多个特征点匹配右图像一个特征点的情况,因此,选定右图像上面特征点,在左相机图像上面进行匹配搜索,这样会重新得到另一对匹配点对集合,将这两个匹配点对集合求交集。为了消除假匹配和误匹配,采用RANSAC[13]对匹配到的特征点对进行提纯,最终完成SURF立体匹配,如图 4所示为一组SURF立体匹配结果。立体匹配后,结合视差信息和立体相机标定参数就可以计算出拍摄场景的三维坐标,实现三维场景重建。

    $$ \zeta = \sqrt {\sum\limits_{1 \le i \le 64} {{{\left[ {{S_p}\left( i \right) - {S_q}\left( i \right)} \right]}^2}} } $$ (6)

    其中:ζ为欧氏距离;Sp为左图像点p的特征向量;Sq为右图像点q的特征向量。

    经过立体匹配,就可以得到三维场景每个点的坐标,实现三维重建。然而,本文所述的车辆检测方法检测到的车辆是一块区域。因此,如何在检测的车辆区域确定代表车辆的点就显得尤其重要。

    为了将所检测到的车辆区域缩小为一个点,可以利用质心,且Opencv和Matlab都能够识别出不同图形的质心参数。首先将左图像检测到的车辆设为感兴趣区域(ROI),并从图像中提取出来,然后得到其质心参数。同时在右图像中找出质心的匹配点,进而确定质心的三维坐标。最后通过双目视觉测距就可以对检测出来的车辆进行距离测量,如图 5所示。

    图  5  确定车辆质心过程
    Figure  5.  Determination process of vehicle centroid

    双目立体视觉测距原理如图 6所示。则车辆质心点P与相机之间的距离Z表示为

    图  6  双目立体视觉测距原理
    Figure  6.  Principle of binocular stereo vision measurement
    $$ \frac{{T - \left( {{x_l} - {x_r}} \right)}}{{Z - f}} = \frac{T}{Z} $$ (7)

    其中:T为两相机之间的基线;f为相机焦距;xlxr是质心点对横坐标。令左右车辆的视差d=xl-xr,那么(7)式可以简化为

    $$ Z = \frac{{Tf}}{d} $$ (8)

    这样就可以检测出车辆与相机之间的距离Z

    为了对所提出的方法进行验证,在实际道路场景中搭建了基于双目立体视觉的传感器实验平台,并且进行了车辆检测实验。实验平台主要由一台HNY-CV可变基线USB3.0双目相机和英伟达公司的JETSON TX-1构成,双目相机用来采集图像,JETSON TX-1对采集图像进行处理,具体参数如表 1所示。双目相机固定于双目支架上,由测试人员进行拍摄采集图像。为了满足精度要求,可以使用焦距更大的镜头来提高车辆距离检测的精度。整套实验仪器如图 7所示。

    表  1  实验仪器参数
    Table  1.  Experimental instrument parameters
    实验仪器 参数 参数值
    HNY-CV双目相机 基线 20.5 cm
    焦距 3.1 mm
    像素 180万
    分辨率 2 560×720
    系统 Ubuntu14.04
    JETSON TX-1 内存 4 GB
    CPU 64-bit Quad-Core ARM Cortex-A57 CPUs
    GPU 1 TeraFLOPs 256核心Maxwell架构
    下载: 导出CSV 
    | 显示表格
    图  7  实验仪器与系统搭建
    Figure  7.  Experimental apparatus and system construction

    为了对所提出的车辆检测算法的有效性与合理性进行验证,采用现阶段广泛使用的KITTI数据集和面向自动驾驶的实际路况下的车辆检测数据集TME Motorway Dataset进行试验,并将实验结果与传统算法进行对比,如表 2所示。利用双目立体相机采集道路图像视频进行车辆检测,并与传统算法进行对比,结果如图 8所示。

    表  2  车辆检测结果
    Table  2.  Vehicle detection results
    数据集 基于特征方法[3] 模板匹配方法[5] 光流法[6] Fast-RCNN 本文算法
    时间/ms 准确率/% 时间/ms 准确率/% 时间/ms 准确率/% 时间/ms 准确率/% 时间/ms 准确率/%
    KITTI 841 59.4 729 73.9 401 68.6 275 85.8 233 90.2
    TME Motorway Dataset 796 5703 658 75.3 384 70.5 266 87.1 215 91.1
    下载: 导出CSV 
    | 显示表格
    图  8  车辆检测结果对比
    Figure  8.  Comparison of vehicle detection results

    表 2车辆检测结果可知,基于特征方法、模板匹配方法和光流法检测用时长,实时性差,尤其是基于特征方法和模板匹配方法;光流法对车辆进行检测用时短,实时性相对较好,但是检测准确率低;基于机器学习方法Fast-RCNN算法检测时间短,实时性好,准确率高;本文算法在Fast-RCNN基础上进行改进,检测用时缩短了42 ms,准确率提高了4.4%,提高了车辆检测准确率,缩短了检测时间,因此,算法可以应用在双目视觉进行车辆测距。

    图 8车辆检测结果可知,基于特征方法虽然可以用来检测车辆,但是检测效果不佳,目标框选不够精确,并且易受光照影响,出现错检,如图 8(b)所示;模板匹配方法目标车辆框选也不够精确,同时将与车辆相似的空调也识别出了,出现错检,如图 8(c)所示;光流法检测结果相对理想,但是较远目标出现漏检,如图 8(d)所示;Fast-RCNN与本文算法检测结果准确,目标框选精细,不易受光照影响,不会错检,并且本文算法对于小尺寸目标检测结果更佳,将树后汽车也检测出来,如图 8(e)(f)所示,对于Fast-RCNN精度得到了提升,可以应用于双目车辆测距。

    为了验证所提出的立体测距算法的可行性,采用如图 7所示的实验平台进行双目立体视觉车辆测距,测距结果如图 9所示。在双目立体相机固定基线为20.5 cm、镜头焦距为3.1 mm情况下,确定图 9宝马车与双目相机距离为5 m,检测结果为5.12 m,测距误差为0.12 m,误差百分比为2.4%。然而,双目立体相机的基线和镜头焦距限制了其测量范围,本文针对该问题做了远距离测量的探究。确定相机基线为20.5 cm,变换镜头焦距为25 mm,对18 m距离的车辆进行检测与测距,结果显示在测量18m车辆时误差为6.7%,说明可以应用在车辆检测领域。

    图  9  双目视觉测距结果
    Figure  9.  Binocular vision measurement results

    针对城市道路车辆检测存在的问题,提出了改进Fast-RCNN的双目视觉车辆检测方法。首先,引入多层子网络并根据权重进行自适应组合来改进Fast-RCNN算法,实验结果表明,本文所述方法能快速准确地检测出车辆,具有较大应用价值。然后,利用双目立体视觉优势,对检测到的车辆进行SURF立体匹配,质心坐标提取并测距。实验结果表明,本文方法能够快速准确地识别出车辆与双目相机之间的距离。因此,本文所提出的车辆检测方法是合理可靠的,测距方法是可行的,可以应用在智能汽车上,有效推动自动驾驶发展。

  • 图  1   迁移学习特征映射的方法示意图

    Figure  1.   Schematic diagram of method for transfer learning feature mapping

    图  2   原始图像经过预处理制作成数据集

    Figure  2.   Data set preprocessed by original images

    图  3   4组表面无缺陷与表面缺陷对比(红色虚线框标志部分为缺陷所在位置)

    Figure  3.   Comparison of four groups without and with surface defects, and red dotted line frame is location of defect

    图  4   仿真数据集构建方法示意图

    Figure  4.   Schematic diagram of construction method for simulation data set

    图  5   不同激活函数在测试数据集上的准确率和收敛比较

    Figure  5.   Comparison of accuracy and convergence of different activation functions on test data sets

    图  6   不同网络深度在测试数据集上的准确率和收敛比较

    Figure  6.   Comparison of accuracy and convergence of different network depths on test data sets

    图  7   改进ResNet18模型结构示意图

    Figure  7.   Structure diagram of improved ResNet18 model

    图  8   迁移学习方法

    Figure  8.   Schematic diagram of transfer learning method

    图  9   迁移学习方法的准确率验证

    Figure  9.   Accuracy verification of transfer learning method

    表  1   真实数据集参数

    Table  1   Parameters of real data set

    Batch No.Actual size/mSize/pixelCutting No.
    11.22×0.1753×7120×850350
    21.22×0.1753×7120×850300
    30.70×0.1753×7120×850300
    下载: 导出CSV

    表  2   实验环境和具体参数

    Table  2   Experimental environment and specific parameters

    Hardware Environment
    HardwareModel Number
    CPUInter core i7-10750H
    GPUNVIDIA RTX2060
    Memory24 GB
    Software Environment
    SoftwareName
    SystemWindows10
    configurationPytorch 3.6
    cuda 10.1
    Training parameters
    ParameterValue
    Batch size8
    Epoch25
    CUDAEnable
    下载: 导出CSV

    表  3   在模拟数据集上检测系统对四类缺陷的实验结果

    Table  3   Experimental results of four types of defects by detection system on simulated data sets

    Defect
    types
    Pollution
    defect
    Scratches
    pollution
    Breakage
    defect
    Lack of
    design and
    color
    Average
    Recall/%98.299.210010099.6
    Precision/%100100100100100
    Accuracy/%98.899.510010099.6
    Time/ms305305305305305
    下载: 导出CSV

    表  4   本文方法与其他方法在真实数据集上的结果对比

    Table  4   Results comparison of proposed method and other methods on real data sets

    ModelACCLOSS
    ResNet1883.2%0.332
    DenseNet12197.2%0.077
    SqueezeNet95.8%0.097
    MobileNet V392.0%0.118
    Our model98.7%0.011
    下载: 导出CSV
  • [1] 郭慧, 王霄, 刘传泽, 等. 人造板表面缺陷检测图像自适应快速阈值分割算法[J]. 林业科学,2018,54(11):134-142. doi: 10.11707/j.1001-7488.20181119

    GUO Hui, WANG Xiao, LIU Chuanze, et al. Research on adaptive fast threshold segmentation algorithm for surface defect detection of wood-based panel[J]. Scientia Silvae Sinicae,2018,54(11):134-142. doi: 10.11707/j.1001-7488.20181119

    [2] 朱云, 凌志刚, 张雨强. 机器视觉技术研究进展及展望[J]. 图学学报,2020,41(6):871-890.

    ZHU Yun, LING Zhigang, ZHANG Yuqiang. Research progress and prospect of machine vision technology[J]. Journal of Graphics,2020,41(6):871-890.

    [3] 杨传礼, 张修庆. 基于机器视觉和深度学习的材料缺陷检测应用综述[J]. 材料导报,2022,36(16):1-19.

    YANG Chuanli, ZHANG Xiuqing. Survey of material defect detection applications based on machine vision and deep learning[J]. Materials Reports,2022,36(16):1-19.

    [4] 郭慧, 盛振湘, 王霄, 等. 基于机器视觉的刨花板表面缺陷检测系统[J]. 木材科学与技术,2019,33(3):18-22.

    GUO Hui, SHENG Zhenxiang, WANG Xiao, et al. A system based on machien vision for detecting surface defects of particleboard[J]. Chinese Journal of Wood Science and Technology,2019,33(3):18-22.

    [5] 魏智锋, 肖书浩, 蒋国璋, 等. 基于深度学习的人造板表面缺陷检测研究[J]. 林产工业,2021,58(2):21-26. doi: 10.19531/j.issn1001-5299.202102005

    WEI Zhifeng, XIAO Shuhao, JIANG Guozhang, et al. Research on surface defect detection of wood-based panels based on deep learning[J]. Scientia Silvae Sinicae,2021,58(2):21-26. doi: 10.19531/j.issn1001-5299.202102005

    [6]

    MUDA U R H, HASHIM S Z M, KAMILAH A. Performance evaluation of multivariate texture descriptor for classification of timber defect[J]. Optik-International Journal for Light and Electron Optic,2016,127(15):6071-6080. doi: 10.1016/j.ijleo.2016.04.005

    [7] 王宇杰. 基于机器视觉的塑料制品外观缺陷检测[J]. 合成树脂及塑料,2021,38(1):93-96. doi: 10.19825/j.issn.1002-1396.2021.01.21

    WANG Yujie. Appearance defect detection for plastic products based on machine vision[J]. China Synthetic Resin and Plastics,2021,38(1):93-96. doi: 10.19825/j.issn.1002-1396.2021.01.21

    [8]

    ZHANG Yizhuo, XU Chao, LI Chao, et al. Wood defect detection method with PCA feature fusion and compressed sensing[J]. Journal of Forestry Research,2015,26(3):745-751. doi: 10.1007/s11676-015-0066-4

    [9] 刘沛津, 王曦, 贺宁. 改进GSO与二维OTSU融合的红外图像多阈值分割方法[J]. 应用光学,2021,42(4):671-677. doi: 10.5768/JAO202142.0402006

    LIU Peijin, WANG Xi, HE Ning. Multi-threshold segmentation method of infrared images based on improved fusion of GSO and 2D OTSU[J]. Journal of Applied Optics,2021,42(4):671-677. doi: 10.5768/JAO202142.0402006

    [10] 李漫丽, 赵鹏. 基于图像融合的木板表面缺陷检测研究[J]. 液晶与显示,2016,31(9):882-888. doi: 10.3788/YJYXS20163109.0882

    LI Manli, ZHAO Peng. Wood surfacce defect detection based on image fusion[J]. Chinese Journal of Liquid Crystals and Displays,2016,31(9):882-888. doi: 10.3788/YJYXS20163109.0882

    [11] 贾坡, 田建艳, 杨英波, 等. 基于机器视觉的滚抛磨块缺陷检测方法[J]. 金刚石与磨料磨具工程,2021,41(1):76-82. doi: 10.13394/j.cnki.jgszz.2021.1.0013

    JIA Po, TIAN Jianyan, YANG Yingbo, et al. Defect detection method of abrasive block based on machine vision[J]. Diamond & Abrasives Engineering,2021,41(1):76-82. doi: 10.13394/j.cnki.jgszz.2021.1.0013

    [12] 廖延娜, 豆丹阳. 基于改进Mask R-CNN的建筑钢筋尺寸检测算法[J]. 应用光学,2020,43(1):100-105.

    LIAO Yanna, DOU Danyang. Design and research of bridge cracks detection method based on Mask RCNN[J]. Journal of Applied Optics,2020,43(1):100-105.

    [13]

    GAO Mingyu, QI Dawei, MU Hongbo, et al. A transfer residual neural network based on Resnet‐34 for detection of wood knot defects[J]. Forests,2021,12(2):1-16.

    [14] 刘万军, 尹岫, 曲海成, 等. 提高小样本高光谱图像分类性能的变维卷积神经网络[J]. 中国图象图形学报,2019,24(9):1604-1618.

    LIU Wanjun, YIN Xiu, QU Haicheng, et al. Dimensionality-varied convolution neural network for improving the classification permance of hyperspectral images with small-sized labeled samples[J]. Journal of Image and Graphics,2019,24(9):1604-1618.

    [15]

    REN Ruoxu, HUNG T, TAN K C. A generic deep-learning-based approach for automated surface inspection[J]. IEEE Transactions on Cybernetics,2017,48(3):1-12.

    [16]

    URBONAS A, RAUDONIS V, MASKELIUNAS R, et al. Automated identification of wood veneer surface defects using faster region-based convolutional neural network with data augmentation and transfer learning[J]. Applied Sciences (Switzerland),2019,9(22):4898. doi: 10.3390/app9224898

    [17] 徐志祥, 关守岩, 杨帆, 等. 一种基于2D-CNN的激光超声表面缺陷检测方法[J]. 应用光学,2021,42(1):149-156. doi: 10.5768/JAO202142.0107002

    XU Zhixiang, GUAN Shouyan, YANG Fan, et al. Laser ultrasonic surface defects detection method based on 2D-CNN[J]. Journal of Applied Optics,2021,42(1):149-156. doi: 10.5768/JAO202142.0107002

    [18] 汪荣贵, 郑岩, 杨娟, 等. 代表特征网络的小样本学习方法[J]. 中国图象图形学报,2019,24(9):1514-1527. doi: 10.11834/jig.180629

    WANG Ronggui, ZHENG Yan, YANG Juan, et al. Representative feature networks for few-shot learning[J]. Journal of Image and Graphics,2019,24(9):1514-1527. doi: 10.11834/jig.180629

  • 期刊类型引用(27)

    1. 张长勇,郭聪,李玉洲,张朋武. 基于改进YOLOv5的飞机舱门识别与定位方法研究. 计算机测量与控制. 2024(01): 142-149 . 百度学术
    2. 陈冬冬,任晓明,李登攀,陈坚. 基于改进的YOLOv5s的双目视觉车辆检测与测距方法研究. 光电子·激光. 2024(03): 311-319 . 百度学术
    3. 张显,吴青盟,王龙,王成军,崔东辉,张萌. 基于改进YOLOv5算法的水淹电厂检测算法研究. 电子器件. 2024(01): 221-226 . 百度学术
    4. 贾冕茜. 基于改进SSD算法的双目立体视觉人车距离检测方法. 河南工程学院学报(自然科学版). 2023(01): 49-54 . 百度学术
    5. 解丹,陈立潮,曹玲玲,张艳丽. 基于卷积神经网络的车辆分类与检测技术研究. 软件工程. 2023(04): 10-13 . 百度学术
    6. 翟永杰,胡哲东,白云山,孙圆圆. 融合迁移学习的绝缘子缺陷分级检测方法. 电子测量技术. 2023(06): 23-30 . 百度学术
    7. 康轶譞,刘宇,王亚伟,周立君,郭城,王怡恬. 基于DETR的道路环境下双目测量系统. 应用光学. 2023(04): 786-791 . 本站查看
    8. 霍永龙,白鸿一,吴晓威,王钰. 基于CBAM-YOLOv3的指针式仪表检测识别方法. 黑龙江大学自然科学学报. 2023(05): 621-630 . 百度学术
    9. 田桂丰,单志龙,廖祝华,王煜林. 基于Faster R-CNN深度学习的网络入侵检测模型. 南京理工大学学报. 2021(01): 56-62 . 百度学术
    10. 王辉,于立君,刘朝达,高天禹. 基于NMS及帧间差分的深度学习目标识别实验仿真. 实验室科学. 2021(01): 52-56 . 百度学术
    11. 王卓,黄民,马飞,黄小龙. 基于多阶段CNN的双目行人检测测距算法. 重庆理工大学学报(自然科学). 2021(04): 123-134 . 百度学术
    12. 黄孝慈,舒方林,曹文冠. 基于双目视觉的前方车辆测距方法研究. 汽车技术. 2021(12): 16-21 . 百度学术
    13. 刘志颖,缪希仁,陈静,江灏. 电力架空线路巡检可见光图像智能处理研究综述. 电网技术. 2020(03): 1057-1069 . 百度学术
    14. 周喆,沈建新,韩鹏,江俊佳. 基于Census变换和引导滤波的立体匹配算法. 应用光学. 2020(01): 79-85 . 本站查看
    15. 李珣,时斌斌,刘洋,张蕾,王晓华. 基于改进YOLOv2模型的多目标识别方法. 激光与光电子学进展. 2020(10): 113-122 . 百度学术
    16. 厍向阳,韩伊娜. 基于残差网络的小型车辆目标检测算法. 计算机应用研究. 2020(08): 2556-2560 . 百度学术
    17. 戴文君,常天庆,张雷,杨国振,郭理彬. 图像目标检测技术在坦克火控系统中的应用. 火力与指挥控制. 2020(07): 147-152 . 百度学术
    18. 赵陈磊,王宇,肖遥,赵强. 基于Faster RCNN的双目视觉焊缝匹配研究. 焊管. 2020(07): 21-24+29 . 百度学术
    19. 王楷元,韩晓红. 基于You Only Look Once v2优化算法的车辆实时检测. 济南大学学报(自然科学版). 2020(05): 443-449 . 百度学术
    20. 王小芳,方登杰,何海瑞,邹倩颖. 基于多尺度细节优化的MSRCR图像去雾算法. 实验技术与管理. 2020(09): 92-97 . 百度学术
    21. 桑振,周永华. 基于视频的移动车辆实时测距研究. 北京交通大学学报. 2020(05): 133-140 . 百度学术
    22. 颜佳桂,李宏胜,任飞. 基于SSD和改进双目测距模型的车辆测距方法研究. 激光杂志. 2020(11): 42-47 . 百度学术
    23. 李峰. 基于立体相机和GPS的实时移动机器人混合导航研究. 机械设计与研究. 2020(05): 18-23 . 百度学术
    24. 曹宇,张庆鹏. 基于深度学习的汽车保险片识别插接研究. 制造技术与机床. 2020(12): 138-141 . 百度学术
    25. 陈苏婷,郭子烨,张艳艳. 基于局部哈希学习的大面阵CCD航拍图像匹配方法. 应用光学. 2019(02): 259-264 . 本站查看
    26. 王思元,王俊杰. 基于改进YOLOv3算法的高密度人群目标实时检测方法研究. 安全与环境工程. 2019(05): 194-200 . 百度学术
    27. 闫建伟,赵源,张乐伟,苏小东,刘红芸,张富贵,樊卫国,何林. 改进Faster-RCNN自然环境下识别刺梨果实. 农业工程学报. 2019(18): 143-150 . 百度学术

    其他类型引用(55)

图(9)  /  表(4)
计量
  • 文章访问数:  265
  • HTML全文浏览量:  115
  • PDF下载量:  42
  • 被引次数: 82
出版历程
  • 收稿日期:  2022-03-27
  • 修回日期:  2022-07-13
  • 网络出版日期:  2022-11-16
  • 刊出日期:  2023-01-14

目录

/

返回文章
返回