基于改进YOLO-V4的贴片二极管表面缺陷检测

吴烈权, 周志峰, 朱志玲, 张维, 王勇

吴烈权, 周志峰, 朱志玲, 张维, 王勇. 基于改进YOLO-V4的贴片二极管表面缺陷检测[J]. 应用光学, 2023, 44(3): 621-627. DOI: 10.5768/JAO202344.0303007
引用本文: 吴烈权, 周志峰, 朱志玲, 张维, 王勇. 基于改进YOLO-V4的贴片二极管表面缺陷检测[J]. 应用光学, 2023, 44(3): 621-627. DOI: 10.5768/JAO202344.0303007
WU Liequan, ZHOU Zhifeng, ZHU Zhiling, ZHANG Wei, WANG Yong. Surface defect detection of patch diode based on improved YOLO-V4[J]. Journal of Applied Optics, 2023, 44(3): 621-627. DOI: 10.5768/JAO202344.0303007
Citation: WU Liequan, ZHOU Zhifeng, ZHU Zhiling, ZHANG Wei, WANG Yong. Surface defect detection of patch diode based on improved YOLO-V4[J]. Journal of Applied Optics, 2023, 44(3): 621-627. DOI: 10.5768/JAO202344.0303007

基于改进YOLO-V4的贴片二极管表面缺陷检测

基金项目: 上海市“科技创新行动计划”高新技术领域项目(17511106700)
详细信息
    作者简介:

    吴烈权(1997—),男,硕士,主要从事计算机视觉研究。E-mail:1875766564@qq.com

    通讯作者:

    周志峰(1976 —),男,博士,副教授,主要从事计算机测控、自动导航驾驶、机器视觉与运动控制、嵌入式与信号处理等研究。E-mail:zhousjtu@126.com

  • 中图分类号: TN206;TP181

Surface defect detection of patch diode based on improved YOLO-V4

  • 摘要:

    针对传统目测法检测贴片二极管表面缺陷效率低下和基于手工特征的目标检测算法模型较浅,以及语义性不高等问题,提出了改进YOLO-V4的贴片二极管表面缺陷检测方法。首先考虑到随着网络加深使梯度消失,以及减少网络中的特征冗余和参数量的情况,CSP1模块采用DenseNet替换原网络中的ResNet;其次,为了实现特征信息的跨维度交互,让网络更加关注重要信息,在CSP1模块后引入了三分支注意力机制模块,同时使用FPN+PANet对特征进行融合;并且用CSP2替换CBL×5模块,降低了网络的运算量,提高了算法检测速度;最后优化了Focal Loss函数,对正负样本添加权重,以解决正负样本不平衡的问题。本文算法相较于YOLO-V4的检测精度(precision,P)、召回率(recall,R)和多分类平均精度(mean average precision,mAP),分别高出2.98%,2.65%,2.92%,表明改进YOLO-V4可以有效检测贴片二极管表面缺陷问题。

    Abstract:

    Aiming at low efficiency of traditional visual detection method and shallow model as well as low semantic character of target detection algorithm based on manual features, an surface defect detection method of patch diode based on improved YOLO-V4 was proposed. Firstly, DenseNet was used in CSP1 module to replace ResNet in original network, considering that gradient disappeared with network deepening and feature redundancy as well as parameters were reduced. Then, to realize cross-dimensional interaction of feature information and make the network pay more attention to important information, the three-branch attention mechanism module was introduced after CSP1 module, and features were fused with FPN+PANet. CBL×5 module was replaced by CSP2, which reduced computation of network and improved detection speed of algorithm. Finally, the Focal Loss function was optimized and weight was added to positive and negative samples to solve the imbalance problems. The detection precision (P), recall ratio (R) and mean average precision (mAP) of the algorithm are 2.98%, 2.65% and 2.92% higher than that of YOLO-V4, respectively, which shows that the improved YOLO-V4 can effectively detect the surface defects of patch diode.

  • 机场跑道外来物(FOD,foreign object debris)泛指可能危害航空器或系统的某种外来物质,如飞机和发动机连接件、机械工具、飞行物等[1]。机场跑道外来物一直以来都是危害飞机飞行安全的重要因素之一,通过在跑道周边部署FOD光电探测系统,对跑道路面不同距离、不同大小外来物进行实时监控,快速精确地检测与告警成为保障飞机飞行安全的重要措施。作为光电探测系统的“眼睛”,变焦镜头起着至关重要的作用。变焦镜头是指在像面保持不变的前提下,通过改变系统2个或2个以上透镜组之间间隔实现焦距连续变化,达到小倍率、大视场发现物体,大倍率、小视场识别物体的目的。针对机场跑道外来物光电探测系统远距离(≤500 m)识别微小物体(尺寸≥20 mm×20 mm)的特殊需要,研制高像质、长焦距、大变倍比以及小型化的变焦镜头显得尤为重要。

    2007年,华中光电研究所的胡际先[2]设计了一款75 mm~900 mm连续变焦系统,系统总长小于1 000 mm,通光口径140 mm,该光学系统结构合理,各透镜的加工工艺性能良好,并通过了像质测试、环境试验及实景成像试验。2009年,胡际先等人[3]又设计了一款连续透雾变焦系统,该系统焦距为20 mm~400 mm,系统总长不大于280 mm,实现了普通彩色和透雾黑白两种模式的观察,保证了系统的齐焦性,并针对系统小型化做了详细的研究。2015年,姚清华等人[4]设计了一款焦距为10 mm~500 mm的大变倍比长焦距变焦镜头,该系统采用2个新型非球面和一组双层衍射元件,有效地校正了光学系统的像差。2018年,白虎冰等人[5]通过Zemax软件仿真设计了一款变焦范围为100 mm~600 mm的光学变焦系统,整个变焦系统采用球面镜片,口径为135.56 mm,总长为563.956 mm,实现了远距离成像的应用要求。随着变焦镜头焦距以及变倍比的不断增大,系统的色差校正成为一个亟需解决的难题[6-7]。为了获得高像质、大变倍、长焦距的变焦系统,本文采用机械补偿方式实现连续变焦,通过合理分配光焦度,引入多片超低色散(extra-low dispersion,ED)镜片,利用其独特的超低色散特性,有效地校正了系统色差和其他高级像差[8],并通过Zemax光学设计软件进行了像质优化,提高了成像质量。

    根据中国民用航空局机场司《机场道面外来物探测设备》信息通告要求,结合现有成熟技术,同时为了适应不同照度,拟选用200万像素Sony逐行扫描1/1.8″CMOS芯片,靶面尺寸为7.76 mm×4.36 mm,对角线长度为9.0 mm,摄像机像元尺寸为3.45 μm。根据该类摄像机像元尺寸,选用镜头焦距满足如下公式:

    $$ \frac{f}{R}=\frac{(n\times d)R}{a} $$ (1)

    式中:$ f $为镜头焦距;$ R $为作用距离,取500 m;$ d $为摄像机像元尺寸,取3.45 μm;$ n $为探测目标所需像元个数;$ a $为目标尺寸,取20 mm。视场满足如下公式:

    $${\rm{\theta }} = 2{\rm{arctan}}\frac{l}{{2f}}$$ (2)

    式中:$ \theta $为视场角;$ l $为相机像面对角线长度;$ f $为镜头焦距。相应技术参数如表1所示。

    表  1  光学设计参数
    Table  1.  Optical design parameters
    参数技术指标
    焦距范围/mm 50~1 000
    系统总长/mm ≤400
    工作波长/nm 486~656
    变倍比 20×
    F数 6~10
    视场角/(°) 10.2~0.51
    MTF(@100 lp/mm) >0.2
    弥散斑半径(RMS)/μm <10
    下载: 导出CSV 
    | 显示表格

    变焦镜头根据其补偿方式不同,主要分为光学补偿变焦镜头、机械补偿变焦镜头、双组联动变焦光学镜头和全动型变焦光学镜头。其中,机械补偿变焦镜头因为其结构简单、成像质量好且容易实现较大的变倍比与较小的像面漂移被广泛采用[9]。机械补偿变焦光学镜头主要由前固定组φ1、变倍组φ2、补偿组φ3和后固定组φ4组成,如图1所示。变倍组φ2与补偿组φ3各自按照不同的运动曲线移动,从而实现焦距连续变化。目前,变焦系统的结构设计方法主要有两种:一种是近轴高斯光学理论计算法,此法计算复杂,错误率高,容易产生无效解,一般应用于结构较为简单的变焦系统中[5];另外一种是光学设计软件(Zemax、Code V、OSLO等)辅助计算法,此法通过查找专利、文献进行等比缩放,再配合评价函数操作数进行仿真优化得到最终结果,一般用于较为复杂的结构设计中。

    图  1  机械补偿式变焦光学系统原理图
    Figure  1.  Principle diagram of mechanical compensated zoom optical system

    本文采用机械变焦结构,通过查阅相关文献以及相关专利[9-11]确认初始结构。根据设计要求,对初始结构各组分进行归一化处理,合理分配各组分的焦距和间隔,然后通过软件中相关操作数进行优化设计。在大变倍、长焦距变焦镜头优化设计过程中,色差校正是需要着重考虑的环节之一。根据消色差理论,整个系统应满足:

    $$\nabla \delta _k{'} = - \frac{1}{{n_k{'}\mu _k'^{2}}}{{\Sigma }}{h^2}\frac{\phi }{\upsilon } = 0$$ (3)

    式中:$ {n}_{k}' $为第$ k $个折射面的折射率;$\; {\mu }_{k}{'} $为出射光线与光轴的夹角;$ h $为光线的入射角度。根据公式(3)可知,系统色差不仅与透镜的阿贝数$ \upsilon $和光焦度$ \phi $有关,还与光线在透镜表面的入射高度有关,即要控制透镜在光路中的位置,因此,校正色差主要从材料和结构调整来实现[12-15]

    超低色散镜片具有高折射率、高阿贝尔系数,其独特的色散特性可以有效解决系统色散问题。而双胶合镜组不仅可以减少系统镜组数量,简化整体结构,而且有利于校正球差和色差。本文通过采用双胶合结构与超低色散镜片搭配来实现系统色差校正[8, 12]。在长焦状态,前固定组是色差的主要来源,通过采用单片ED镜片FCD100以及胶合镜组(TAFD5G+FCD100)搭配来进行色差优化。其中,选用阿贝尔系数相差较大的两种材料TAFD5G(Nd:1.8348,Vd:42.721)与FCD100(Nd:1.437,Vd:95.1)来进行胶合,不仅减小了前固定组的色差贡献,又避免了镜组光焦度过大导致入射角偏折而增加的高级球差[13]。与此同时,为了平衡变焦状态的色差分布,在补偿组中引入ED镜片FCD100进行短焦状态色差校正。最后通过优化操作数加以约束,调整各个透镜的曲率以及镜组间隔来改变光线的偏折角,从而减小系统的色差贡献。

    本文采用机械变焦结构设计了一款大变倍比、长焦距、高像质的变焦镜头。该系统对可见光波段成像,焦距变化范围50 mm~1 000 mm,20倍变焦,系统结构如图2所示。图2从上到下分别为短焦(50 mm)、中焦(300 mm、500 mm)、长焦(1 000 mm)4种状态下外形结构图。由图2可知,系统共有28片透镜组成,总长399.9 mm,最大口径为100 mm,后截距22 mm。其中,前固定组由5片球面透镜组成,为正光焦度,其主要作用是为系统提供相应的工作距以及平衡像差,减轻后固定组校正压力。变倍组由6片球面透镜组成,为负光焦度,通过移动位置来实现变焦系统倍率的改变。补偿组由4片球面透镜组成,为正光焦度,按照一定的曲线规律做非线性运动来补偿变倍组移动所引起的像面变化。后固定组由13片球面透镜组成,为正光焦度,主要采用由冕牌玻璃与火石玻璃搭配的双胶合以及三胶合透镜的结构形式来进行残余像差的矫正。

    图  2  变焦镜头结构图
    Figure  2.  Structure diagram of zoom lens

    调制传递函数(modulation transfer function,MTF)是所有光学系统性能判据中最全面的判据,特别是对于成像系统而言,它反映了光学系统对物体不同频率成分的传递能力。利用Zemax设计软件可以得到变焦镜头在短焦(50 mm)、中焦(300 mm、500 mm)、长焦(1 000 mm)4种状态下MTF曲线,如图3所示。由图3可知,系统在各个焦距位置均呈现良好的成像质量,在20 lp/mm空间频率时MTF>0.8,50 lp/mm空间频率时MTF>0.5,100 lp/mm空间频率下MTF>0.2,均逼近衍射极限。由此可知,物体在成像中信息传递损失少,有利于机场跑道微小外来物的探测识别。

    图  3  各组态下调制传递函数
    Figure  3.  MTF of each configuration

    弥散斑半径是一个重要的成像质量参数,其斑点半径越小,系统成像质量越好,各组态下弥散斑直径如表2所示。从表2中数据可知,整个光学系统的RMS弥散斑半径在中心视场下各个焦距位置处均小于4 μm,整个光学系统的GEO弥散斑半径在中心视场下各个位置处均小于7 μm,可以看出整个系统在各焦距位置都有比较好的成像质量。

    表  2  各组态下弥散斑半径
    Table  2.  Dispersed spots diameter of each configuration
    焦距/mm503005001 000
    RMS半径/μm1.0131.8973.3243.050
    GEO半径/μm1.9603.3455,5706.951
    下载: 导出CSV 
    | 显示表格

    系统畸变、场曲曲线如图4所示。图4(a)4(d)分别表示系统在短焦(50 mm)、中焦(300 mm、500 mm)、长焦(1 000 mm)4种状态下的畸变、场曲情况。由图4可看出,当系统焦距为50 mm时,系统处于广角状态,全视场为20°,畸变相对较大,接近1.0%;当系统处于中焦和长焦位置时,系统畸变均小于0.1%。与此同时,通过场曲曲线我们发现,无论系统处于短焦、中焦还是长焦状态下,系统场曲均小于0.1 mm,均满足系统对变焦镜头成像的要求。

    图  4  各组态下场曲与畸变图
    Figure  4.  Field curvature and distortion of each configuration

    系统在长焦(1 000 mm)状态下垂轴色差以及轴向像差如图5所示。由图5可看出,由F(0.65 mm)光、C(0.48 mm)光在轴上差异可知,系统在长焦状态下位置色差均在0.2 mm范围内,垂轴色差全视场均在艾里斑内,且垂轴色差最大值在2.5 μm内,保证了长焦状态下的成像质量,满足系统对变焦镜头成像的要求。

    图  5  长焦(1 000 mm)状态下垂轴色差与轴向像差图
    Figure  5.  Vertical axis color difference and axial aberration at long focus (1 000 mm)

    机械补偿的变焦系统需要绘制凸轮曲线,以此来检查变倍组和补偿组运动过程的合理性[10]。通过基于光线追迹法的Zemax宏命令[11],计算出系统变焦过程中变倍组与补偿组的位移量,运用MATLAB软件进行编程,代入初始参数,求得变焦系统变倍组与补偿组的运动变化曲线,如图6所示。图6中横坐标表示凸轮转动的角度,纵坐标表示随凸轮转角变化时变倍组和补偿组相对于像面的距离,其中光阑到像面的距离为零。变倍组随凸轮转角作线性运动,使系统焦距发生变化,补偿组作非线性运动,补偿变焦过程中像面移动,变倍组和补偿组的导程分别为55.48 mm和59.69 mm,变焦曲线平滑无断点,有利于凸轮加工。

    图  6  变倍补偿曲线
    Figure  6.  Zoom compensation curves

    根据中国民用航空局机场司《机场道面外来物探测设备》信息通告,通过选取合理的初始结构,计算光学参数,采用Zemax光学设计软件对变焦系统进行像质优化,在设计过程中利用超低色散镜片解决了长焦镜头色差难以纠正的问题,通过优化镜片间距以及镜片厚度较好地解决了现有国产大变倍、长焦距变焦镜头无法小型化的问题。经过优化设计的变焦镜头具有较好的成像质量,MTF接近衍射极限,此外,通过研究变焦理论与变焦运动方程,运用MATLAB软件绘制了变倍组与补偿组的运动曲线,证明了变焦运动过程的合理性。该设计也为下一步机场跑道外来物光电探测系统的研发设计提供了铺垫,为其他变焦镜头设计提供了依据。

  • 图  1   YOLO-V4算法框架

    Figure  1.   Algorithm framework of YOLO-V4

    图  2   改进的YOLO-V4算法框架

    Figure  2.   Algorithm framework of improved YOLO-V4

    图  3   基础残差模块

    Figure  3.   Basic residual module

    图  4   改进的DenseBlock结构

    Figure  4.   Improved DenseBlock structure

    图  5   改进的CSP2结构

    Figure  5.   Improved CSP2 structure

    图  6   三分支混合注意力机制

    Figure  6.   Three-branch mixed attention mechanism

    图  7   平均损失率和平均检测精度曲线

    Figure  7.   Curves of average loss rate and average detection accuracy

    图  8   测试集部分图像在本文算法上测试的结果

    Figure  8.   Test results of part of images in test set on algorithm

    表  1   各种模型性能指标对比

    Table  1   Performance indicators of various models

    Network modelP/%R/%mAP/%FPs
    SSD88.6191.7089.4753
    YOLO-V391.7993.2192.1050
    YOLO-V495.2197.3596.5358
    Improved YOLO-V498.16100.0099.4555
    下载: 导出CSV
  • [1] 牛乾. 二极管玻壳表面缺陷检测技术研究[D]. 绵阳: 西南科技大学, 2018.

    NIU Qian. Research on surface defect detection technology of diode glass shell[D]. Mianyang: Southwest University of Science and Technology, 2018.

    [2]

    GIRSHICK R. Fast R-CNN[C]//2015 IEEE International Conference on Computer Vision (ICCV). Santiago: IEEE, 2016: 1440-1448.

    [3]

    GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus: IEEE, 2014: 580-587.

    [4]

    REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(6):1137-1149. doi: 10.1109/TPAMI.2016.2577031

    [5]

    LIU W, ANGUELOV D, ERHAN D, et al. SSD: single shot multibox detector[EB/OL]. (2016-12-29) [2022-3-2]. https://arxiv.org/abs/1512.02325v1.

    [6]

    REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE, 2016: 779-788.

    [7]

    REDMON J, FARHADI A. YOLO9000: better, faster, stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu: IEEE, 2017: 6517-6525.

    [8]

    REDMON J, FARHADI A. YOLOv3: an incremental improvement[EB/OL]. (2018-04-08) [2022-3-2]. https://arxiv.org/abs/1804.02767.

    [9]

    BOCHKOVSKIY A, WANG C Y, LIAO H Y M. YOLOv4: optimal speed and accuracy of object detection[EB/OL]. (2020-04-23) [2022-3-2]. https://arxiv.org/abs/2004.10934.

    [10] 王浩雪, 曹杰, 邱诚, 等. 基于改进YOLOv4的航拍图像多目标检测方法[J]. 电光与控制,2022,29(5):23-27. doi: 10.3969/j.issn.1671-637X.2022.05.005

    WANG Haoxue, CAO Jie, QIU Cheng, et al. Multi-target detection method of aerial images based on improved YOLOv4 algorithm[J]. Electronics Optics and Control,2022,29(5):23-27. doi: 10.3969/j.issn.1671-637X.2022.05.005

    [11] 李彬, 汪诚, 丁相玉, 等. 改进YOLOv4的表面缺陷检测算法[J]. 北京航空航天大学学报,2023,49(3):710-717. doi: 10.13700/j.bh.1001-5965.2021.0301

    LI Bin, WANG Cheng, DING Xiangyu, et al. Surface defect detection algorithm based on improved YOLOv4[J]. Journal of Beijing University of Aeronautics and Astronautics,2023,49(3):710-717. doi: 10.13700/j.bh.1001-5965.2021.0301

    [12] 王程, 刘元盛, 刘圣杰. 基于改进YOLOv4的小目标行人检测算法[J]. 计算机工程,2023,49(2):296-302. doi: 10.19678/j.issn.1000-3428.0063623

    WANG Cheng, LIU Yuansheng, LIU Shengjie. Small target pedestrian detection algorithm based on improved YOLOv4[J]. Computer Engineering,2023,49(2):296-302. doi: 10.19678/j.issn.1000-3428.0063623

    [13]

    HUANG G, LIU Z, VAN DER MAATEN L, et al. Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu: IEEE, 2017: 2261-2269.

    [14]

    TAN M X, PANG R M, LE Q V. EfficientDet: scalable and efficient object detection[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle: IEEE, 2020: 10778-10787.

    [15]

    LIN T Y, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[C]//2017 IEEE International Conference on Computer Vision (ICCV). Venice: IEEE, 2017: 2999-3007.

  • 期刊类型引用(10)

    1. 胡长德,海书亮,徐小琴,王晨斌,马盛中. 一种调光调焦变倍训练系统的研究. 光学技术. 2025(01): 13-18 . 百度学术
    2. 杨玉霞,王艳云. 基于单运动组元的双视场像方远心显微镜设计. 光学技术. 2025(02): 183-188 . 百度学术
    3. 王起,张国芳. 基于同轴柯勒照明的大变倍比紧凑型显微镜设计. 中国光学(中英文). 2024(04): 921-931 . 百度学术
    4. 吴羽婷,林志强,王敏. 15 mm~300 mm宽光谱变焦光学系统设计. 应用光学. 2023(03): 491-499 . 本站查看
    5. 金鑫,肖作江. 大光斑激光眩目光学系统设计. 长春理工大学学报(自然科学版). 2023(04): 56-60 . 百度学术
    6. 张坤,曲正,钟兴,李京宸,张茜. 30倍轻小型变焦光学系统设计. 光学精密工程. 2022(11): 1263-1271 . 百度学术
    7. 陈鑫,甄胜来,方健,陶善静,俞本立. 用于偏振成像系统的20 mm~200 mm变焦物镜设计. 应用光学. 2022(05): 846-852 . 本站查看
    8. 宋鹏飞,王春艳,孙昊,王志强,刘欢. 10倍变焦安防镜头光学系统设计. 长春理工大学学报(自然科学版). 2022(04): 39-43 . 百度学术
    9. 王晓艳,徐高魁. 高隔离度激光通信终端光学系统设计. 红外与激光工程. 2021(07): 228-232 . 百度学术
    10. 赵迎,接长伟. 激光通信终端光学系统杂散光抑制技术研究. 激光与红外. 2021(10): 1378-1382 . 百度学术

    其他类型引用(5)

图(8)  /  表(1)
计量
  • 文章访问数:  204
  • HTML全文浏览量:  91
  • PDF下载量:  66
  • 被引次数: 15
出版历程
  • 收稿日期:  2022-06-12
  • 修回日期:  2022-09-04
  • 网络出版日期:  2023-04-05
  • 刊出日期:  2023-05-14

目录

/

返回文章
返回