基于规范化样本拆分的轴承缺陷检测

徐建桥, 吴俊, 陈向成, 吴丹超, 李兵

徐建桥, 吴俊, 陈向成, 吴丹超, 李兵. 基于规范化样本拆分的轴承缺陷检测[J]. 应用光学, 2021, 42(2): 327-333. DOI: 10.5768/JAO202142.0203006
引用本文: 徐建桥, 吴俊, 陈向成, 吴丹超, 李兵. 基于规范化样本拆分的轴承缺陷检测[J]. 应用光学, 2021, 42(2): 327-333. DOI: 10.5768/JAO202142.0203006
XU Jianqiao, WU Jun, CHEN Xiangcheng, WU Danchao, LI Bing. Bearing defects detection based on standardized sample split[J]. Journal of Applied Optics, 2021, 42(2): 327-333. DOI: 10.5768/JAO202142.0203006
Citation: XU Jianqiao, WU Jun, CHEN Xiangcheng, WU Danchao, LI Bing. Bearing defects detection based on standardized sample split[J]. Journal of Applied Optics, 2021, 42(2): 327-333. DOI: 10.5768/JAO202142.0203006

基于规范化样本拆分的轴承缺陷检测

基金项目: 湖北省自然科学基金(2018CFB656)
详细信息
    作者简介:

    徐建桥(1979−),男,硕士,讲师,主要从事信息安全、人工智能等方面的研究。E-mail:xujianqiao321@163.com

    通讯作者:

    陈向成(1984−),男,博士,副教授,主要从事机器视觉和人工智能方面的研究。E-mail:chenxgcg@whut.edu.cn

  • 中图分类号: TN206

Bearing defects detection based on standardized sample split

  • 摘要: 表面缺陷对轴承的性能和寿命存在严重影响。近年来,深度学习在缺陷检测中发挥了重要的作用,然而对于轴承检测而言,缺陷样本的采集耗时耗力。选择轴承内径作为研究对象,根据轴承的对称性特性提出一种规范化样本拆分方法,可有效扩充轴承样本数据集。分别采用不同的样本处理方法,而后利用ResNet网络训练轴承缺陷检测模型,进行多组对比实验,实验结果表明:直接采用原始图像进行网络训练,检测效果较差,模型的AUC (area under the curve)仅为0.558 0;对原始图像进行样本拆分,训练出的模型检测效果有所提升,其模型AUC提升为0.632 6;将原始图像进行4点透视变换校正后再进行网络训练,检测效果同样有所提升,其模型AUC提升为0.661 3;将原始图像进行透视变换校正且规范化样本拆分后,检测效果最好,其模型AUC增加为0.849 6。
    Abstract: Surface defects seriously affect the quality and service life of bearings. In recent years, deep learning has played an important role in defects detection, but for bearing detection, the collection of defects samples is time-consuming and labor-consuming. The bearing inner diameter was chosen as the detection object, a method of standardized sample split based on the symmetry of bearing was proposed, which could greatly increase the number of samples. Different sample processing methods were used respectively, and then the bearing defects detection model was trained by ResNet network to carry out several comparative experiments. The experimental results show that the detection effect is worse when the original images are directly used for training, and the area under the curve (AUC) of the model is only 0.558 0; after the samples are split, the trained model detection effect is better, and the model AUC is improved to 0.632 6; after the samples are corrected by four point perspective transformation, the detection effect is better, and the model AUC is increased to 0.661 3; after the original images are corrected by perspective transformation and the standardized samples are split, the detection effect is the best, and the model AUC is increased to 0.849 6.
  • 针对多光轴平行性检测,现有方法中十字分划一般通过分别照明产生,如柏公欣等人通过使用一个分光镜来生成红外和可见光的双波段十字分划[1-2],李思众将镂空的激光感应相纸卡箍在圆形的支架中作为靶板[3],詹启海选用了线径为0.09 mm的高电阻率钨丝制成十字分划线[4]。在检测中,保证检测精度的关键在于保证白微光和红外十字分划的位置严格重合,而通过更换分划板及照明光源的方法容易产生光轴失调,影响检测精度以及引入离焦的误差因子,避免靶板的频繁更换是提高检测精度的重要因素。

    二维振镜系统整体性能指标包括相应转角的范围、反射孔径的大小、小信号响应时间的长短、重复性、温度漂移和线性度等因素,使用中对振镜的性能要求主要是在高定位精度、高扫描速度、高可靠性、镜片偏角度大,其中高定位精度和高扫描速度是振镜的2个主要性能指标[5-6]

    国内对于双振镜激光扫描器的研究主要集中在系统误差分析及校正算法上面,并取得了很多优秀的成果。华中科技大学激光技术与工程研究院的郭飞等人通过讨论双振镜扫描系统的光学成像原理,推导出双振镜扫描系统的几何失真公式。上海交通大学塑性成型系的赵毅、西安交通大学机械工程学院卢秉恒针对双针系统固有的枕形畸变进行研究,分析了枕形畸变的产生机理,提出了一种软件校正算法和扫描控制算法。国外对于双振镜扫描系统的研究主要集中在振镜性能的提升、双振镜扫描系统的创新应用及系统集成等方面,因为光学器件的技术含量较高,促进了扫描技术整体水平的发展,并伴有成熟的产品。Cambridge Technology公司是目前振镜设计制作方面领先的公司,Cambridge Technology在转子结构、位置检测、伺服技术、控制技术等方面取得了很大成就,配合专业驱动器,可以使振镜扫描频率达到100 kHz,并且大幅降低了热漂移性和机械抖动。

    基于二维振镜扫描系统以上优点,提出一种多光谱集成靶标光轴平行性检测方法,运用反射镜来调整检测系统光轴方向,使其能够自动对准被测光轴,同时使检测系统和被测对象的十字分划图像均落于检测系统视场中心。该方法采用自动对准的方法可以免去人为瞄准过程,提高了检测效率和检测精度,为复合光电装备的多光谱光轴平行性野外在线检测提供了一种有效手段。

    设计的多光谱集成靶标主要由LED照明光源、多光谱集成靶板、准直系统和二维振镜组成, 其总体结构原理图如图 1所示。

    图  1  多光谱集成靶标原理图
    Figure  1.  Multi-spectral integrated target principle diagram

    准直系统采用卡塞格林结构,在其焦面处安装有多光谱集成靶板,靶板使用LED光源照明。LED照明光源在发射可见光的同时由于结温升高向外进行红外辐射,可同时为多光谱集成靶板提供白微光及红外照明。靶板上刻有多光轴平行性检测所需的十字分划图样,在LED光源的照明下生成十字分划图像。准直系统对透过多光谱集成靶板的光线进行准直,为待检光电装备提供无穷远目标或一束平行光。利用二维振镜系统的扫描特性使待测光轴十字中心与靶标十字分划中心对准,记录码盘数据,经过实时的图像处理与伺服控制完成光轴平行性检测。

    在多光谱光轴平行性检测中,要求准直系统能实现对多光谱集成靶标的共光路准直,且为了满足多光谱光轴平行性检测的需要,准直系统应具有质量体积小、无色差影响的特点,因此系统采用反射式的卡塞格林结构。准直系统采用卡塞格林结构,对入射光只进行反射,避免了透射式机构中的色散问题,而且反射式系统实现了光路的折叠,大大缩短了系统的体积。

    在现代光学设计中,光学传递函数是目前已被公认的最能充分反映系统实际成像质量的评价指标。所使用的卡塞格林准直系统是在标准卡塞格林结构的基础上,使用ZEMAX光学设计软件,利用软件缺省优化函数,并添加EFFL、MNCA、MNXA、COVA、MTFA等5个操作,控制焦距、主次镜距离、次镜与像面距离以及MTF曲线,通过将主次镜距离、次镜和像面距离、主镜和次镜的conic抛物面系数以及四次项和六次项非球面系数设置为变量进行优化。准直系统焦距控制为1 000 mm,长度小于300 mm,此时准直系统0视场下弥散斑接近艾里斑,轴外视场弥散斑也大幅缩小,系统MTF在0.707视场接近0.3。如图 2所示。

    图  2  准直系统MTF图
    Figure  2.  MTF diagram of collimation system

    靶板在光源的照明下生成十字分划图像,为实现多光谱集成靶标对多波段的检测要求,系统采用了能够同时透过可见光和红外光的材料作为基底,通过在基底上镀铬并刻画十字分划来实现靶板的设计。

    硫化锌(ZnS)晶体在可见光到远红外波长范围内都具有极高的透过率,因此采用ZnS晶体作为基底材料。加工时,首先在ZnS基底上镀铬,然后按照设计好的靶板图样进行光刻加工。设计靶板图样时,考虑人眼的极限分辨角为60″,以及像高与物高的关系,十字分划的宽度为0.5 mm,高度22 mm,如图 3所示。

    图  3  靶板设计
    Figure  3.  Target board design

    为了保证光源产生的光能的利用率以及光能量均匀分布,照明系统采用临界照明的方法。照明系统的优劣关系到整个系统的成像质量与检测精度。多光谱集成靶标最明显的特征是小型化、免更换、低成本、多用途。黑体辐射源体积大,成本高不符合系统的要求。LED照明光源相对于白炽灯、卤素灯而言具有较高的发光效率且寿命较长,经过选择比较,最终选择LED照明光源为多光谱集成靶板提供白微光及红外照明。

    二维振镜系统利用编程控制2个相互垂直的伺服旋转电机,从而控制平面反射镜围绕转轴转动,使光束按照一定角度向x, y轴2个方向进行偏转,实现光轴平行性检测中视场中心的空间偏转,从而达到自动对准靶板十字分划中心的要求。

    实验采用的二维振镜扫描系统为北京金海创公司的JS3808型扫描振镜,其最大扫描范围为±15°,分辨率为12 μrad,重复精度8 μrad,线性度99.9%。相应的伺服驱动板的输入电压为±15 V DC,模拟信号输入阻抗为200(1±1%)kΩ。二维振镜的安装如图 4所示,2台驱动电机的安装轴线相互垂直,图中位于下方的反射镜记为反射镜x,位于上方的反射镜记为反射镜y。基于二维振镜的多光谱集成靶标测量系统坐标系按左手坐标系建立。其中y轴指向测量系统的顶部,z轴沿测量系统纵轴指向前方,x轴按左手规则如图建立,反射镜x的初始反射面与xoz面成45°,反射镜y的初始反射面与xoy面成45°,两反射镜可绕其旋转轴转动。定义方位角α为光轴向量与其在yoz面投影的夹角,俯仰角β为光轴向量在yoz面投影与z轴的夹角。

    图  4  二维振镜扫描系统
    Figure  4.  Two dimensional vibration mirror scanning system

    由图可知,多光谱集成靶标光源发出的平行光经过二维振镜的2次反射,使靶标十字分划中心与待测光轴1中心重合,若x, y轴分别转动αβ角,则光束在空间内相对于二维振镜初始位置的出射光束偏转在x, y方向分别为2α和2β角,测量出待测光轴1的x, y轴转动角α1β1。之后移动光具座再对待测光轴2进行校准,得出待测光轴2的x, y轴分别转动α2β2角。已知α, β,则有下列关系:

    $$ y=d\text{tan}{{\theta }_{y}} $$ (2)
    $$ x = (\sqrt {{d^2} + {y^2}} + e){\rm{tan}}{\theta _x} $$ (3)

    式中:θ为光束经过偏转之后与原光束的夹角; ex镜与y镜的距离。将AC, COBO1移到同一端点上。由上述公式得出可知αβθ有以下关系:

    $$ \text{cos}\theta =\text{cos}2\alpha \times \text{cos}2\beta ~ $$ (4)
    图  5  光轴平行性计算示意图
    Figure  5.  Schematic diagram of optical axis parallelism

    其中BA1为对准待测系统1的十字分划时光束偏转形成的光线,BA2为对准待测系统2的十字分划时光束偏转形成的光线,平移两线,交于B点。BA1BA2的夹角记为γ,在对准过程中x, y轴分别转动αβ角,建立坐标系进行分析,可以得到:

    $$ B{{A}_{1}}=d/\text{cos}\theta ~ $$ (5)
    $$ B{{A}_{2}}=d/\text{cos}{{\theta }_{1}}~ $$ (6)

    A1A2可以由其相应的横纵坐标求出。由余弦定理有:

    $$ \text{cos}\gamma =\frac{BA_{1}^{2}+BA_{2}^{2}-{{A}_{1}}A_{2}^{2}}{~2B{{A}_{1}}B{{A}_{2}}} $$ (7)

    最终可以求得γ。其中α1α2β1β2角可以在控制二维振镜旋转电机的过程中由测控平台从二维振镜码盘中采集得到。

    目前,光电系统的接收方式主要有CCD成像类和目视成像类2种类型。对于CCD成像类型的光电系统,在进行十字分划中心对准的过程中,可以通过导出该光电系统的视频信号得到对准十字分划中心所需的图像。目视成像类型的光电系统通过在其焦平面上放置CCD进行图像的采集[7]。图像预处理是对得到的图像进行灰度转换,使其变成灰度图像。鉴于视频采集得到的图像是LED照明条件下的亮十字分划在暗背景中的像,待测系统十字分划一般为暗的细条纹。所得图像的特点为暗背景下的亮十字分划条纹和待测系统十字分划暗条纹。为了区分暗背景与待测系统十字分划,还需对图像进行线性灰度变换,将低灰度的灰度范围进行线性拓展,提高后续处理的效率[8-9]

    主要运用广义hough变换来进行提取。计算十字分划中心点位置时选取其纵向条纹的2个端点进行中心点的纵坐标计算;选取横向条纹的2个端点进行横坐标计算,得出2个十字分划中心点的位置之后,通过计算2个中心点之间的距离实现对扫描电机的控制,从而转动振镜并记录下x, y镜分别的转动角度,最终实现2个十字分划的对准。

    在实际测量中需分别对待测光轴1和2分别进行测量,并通过上述算法计算得出最终的结果。具体流程如图 6所示。

    图  6  系统软件流程图
    Figure  6.  System software flow chart

    实验室中搭建了图 7所示实验平台,使用研制的基于二维振镜的多光谱集成靶标原理样机进行了实验。

    图  7  实验平台
    Figure  7.  Experimental platform

    在多光谱光轴平行性检测实验中,首先利用大口径平行光管对红外热像仪和激光测距机的光轴平行性进行校准后,再由多光谱集成靶标原理样机对其进行光轴平行性检测。测距机望远镜目镜后面放置视频采集装置,提前将采集装置中心与望远镜中心进行对准,然后与带图像采集卡的计算机连接。

    打开计算机软件控制界面,观察经过实时采集、处理的图像。通过程序的控制并反馈给二维振镜系统,使其转动转轴对准多光谱集成靶标十字分划中心与待测光轴十字分划中心。记录下系统中光轴平行性γ的数值即可。

    通过多次对以上已经校准好的红外-可见光光轴平行性进行检测,记录软件系统中计算得出的光轴平行性γ,得到一组了光轴平行性偏差的数据,实验结果如表 1所示。

    表  1  光轴平行性检测结果
    Table  1.  Test results of optical axis parallelism
    序号 平行性偏差γ
    1 19″
    2 15″
    3 14″
    4 18″
    5 14″
    下载: 导出CSV 
    | 显示表格

    在实验中对平行光管的校准精度有着严格的要求,平行光管的准确与否直接决定了基于二维振镜的光轴平行性检测方法的检测精度,实验中选用的大口径平行光管检测设备的校准精度在10″以内。在图像处理过程中,十字分划中心对准精度可以达到像素级。检测方法采用十字分划图像中心对准的方法进行测量,减少传统基于CCD检测方法中的镜面曲率和焦距测量带来的误差。系统中的误差主要存在于平移待测系统时的平行度误差,这一点也是今后研究中要着重改善的一项研究内容。

    实验数据表明,基于二维振镜的LED照明多光谱集成靶标检测精度保持在19″以内,平均偏差为16″,大口径平行光管检测设备的校准精度在10″以内。因此,多光谱集成靶标的校准精度为$u=\sqrt{{{19}^{2}}+{{10}^{2}}}~=21.5''=0.10\text{ mard} $,工程中一般认为光轴平行性不超过0.2 mard为满足标准,所以基于二维振镜的多光谱集成靶标可以满足光轴平行性检测使用的需要。

    针对二维振镜的LED照明多光谱集成靶标在低成本、小型化、多用途的前提下,多光轴平行性检测中常出现精度不高等问题,提出了解决方案。通过使用像差优化的卡塞格林准直系统、LED照明的多光谱集成靶标和二维振镜技术使得光轴平行性检测更加简单合理。推导了在检测应用中的基本公式,给出了图像处理过程中的流程图。结合实验结果可知,该设计的检校精度可达到0.10 mard,满足野外在线条件下多光谱光轴平行性检测任务。

  • 图  1   测试装置原理图

    Figure  1.   Schematic diagram of measurement device

    图  2   轴承不同部分图像

    Figure  2.   Bearing images of different parts

    图  3   不同部位轴承内径图像

    Figure  3.   Image of bearing inner diameter of different parts

    图  4   轴承内径样本规范化算法

    Figure  4.   Standardized algorithm for bearing inner diameter samples

    图  5   基于对称性的样本拆分算法

    Figure  5.   Sample splitting algorithm based on symmetry

    图  6   ResNet18的两层残差学习模块

    Figure  6.   Two-layer residual learning module of ResNet18

    图  7   基于样本对称性拆分的轴承缺陷检测方法

    Figure  7.   Bearing defects detection method based on sample symmetry splitting

    图  8   实验1~4中实验样本

    Figure  8.   Experimental samples in experiment 1~4

    图  9   基于ResNet的不同模型的ROC曲线

    Figure  9.   ROC curves of different models based on ResNet

    表  1   基于ResNet网络的模型黑箱测试结果

    Table  1   Model black box test results based on ResNet network

    实验TPFNFPTNACCPRAUC
    实验19414460.550 00.692 3080.163 60.558 0
    实验2867147142440.750 00.859 2670.951 70.632 6
    实验396153164220.819 20.854 2220.977 60.661 3
    实验4837177521340.809 20.941 5070.862 00.849 6
    下载: 导出CSV
  • [1] 陈向伟, 张学军, 关山. 基于计算机视觉的微小轴承表面缺陷检测[J]. 机床与液压,2009,37(9):130-132. doi: 10.3969/j.issn.1001-3881.2009.09.044

    CHEN Xiangwei, ZHANG Xuejun, GUAN Shan. Inspection of surface defect of micro bearing based on computer vision[J]. Machine Tool & Hydraulics,2009,37(9):130-132. doi: 10.3969/j.issn.1001-3881.2009.09.044

    [2] 陈龙, 侯普华, 王进, 等. 轴承表面缺陷类型识别算法[J]. 计算机应用研究,2015,32(5):1549-1553. doi: 10.3969/j.issn.1001-3695.2015.05.068

    CHEN Long, HOU Puhua, WANG Jin, et al. Recognition algorithm on bearing surface defect type[J]. Application Research of Computers,2015,32(5):1549-1553. doi: 10.3969/j.issn.1001-3695.2015.05.068

    [3] 陈昊, 张奔, 黎明, 等. 基于图像光流的轴承滚子表面缺陷检测[J]. 仪器仪表学报,2018,39(6):198-206.

    CHEN Hao, ZHANG Ben, LI Ming, et al. Surface defect detection of bearing roller based on image optical flow[J]. Chinese Journal of Scientific Instrument,2018,39(6):198-206.

    [4] 张明辉, 王建武, 张文, 等. 机器视觉在轴承检测中的研究现状及发展趋势[J]. 机床与液压,2019,47(23):183-189.

    ZHANG Minghui, WANG Jianwu, ZHANG Wen, et al. Research status and development trend of machine vision in bearing inspection[J]. Machine Tool & Hydraulics,2019,47(23):183-189.

    [5] 韩志玮, 高美凤. 刹车片表面缺陷的图像检测方法[J]. 应用光学,2020,41(3):538-547.

    HAN Zhiwei, GAO Meifeng. Image detection method for surface defects of brake pads[J]. Journal of Applied Optics,2020,41(3):538-547.

    [6] 涂宏斌, 周新建. 基于支持向量机的轴承表面缺陷检测[J]. 现代制造工程,2006(9):90-92. doi: 10.3969/j.issn.1671-3133.2006.09.030

    TU Hongbin, ZHOU Xinjian. Bearing defects detection based on support vector machines[J]. Modern Manufacturing Engineering,2006(9):90-92. doi: 10.3969/j.issn.1671-3133.2006.09.030

    [7] 吴义权. 轴承外圈表面缺陷检测与分类方法研究[D]. 成都: 电子科技大学, 2019.

    WU Yiquan. Research on detection and classification of bearing outer ring surface defects[D]. Chengdu: University of Electronics Science and Technology of China, 2019.

    [8] 王恒迪, 郝琳博, 杨建玺, 等. 轴承外观缺陷设计与实现[J]. 现代制造工程,2018(5):156-161.

    WANG Hengdi, HAO Linbo, YANG Jianxi, et al. Design and implementation of detecting system for defects of bearing surface[J]. Modern Manufacturing Engineering,2018(5):156-161.

    [9]

    SHEN H, LI S, GU D, et al. Bearing defect inspection based on machine vision[J]. Measurement,2012,45(4):719-733. doi: 10.1016/j.measurement.2011.12.018

    [10] 鲍刚. 微小精密轴承表面缺陷检测关键技术[D]. 西安: 西安工业大学, 2016. .

    BAO Gang. Key technologies of surface defect detection of the tiny precision bearings[D]. Xi'An: Xi'An Technolgical University, 2016.

    [11] 王昆. 图像融合技术在微小轴承表面缺陷检测中的应用[D]. 长春: 吉林大学, 2011.

    WANG Kun. Application of image fusion in detection of micro bearing surface defect[D]. Changchun: Jilin University, 2011.

    [12] 陶青平, 吴锡生. 快速检测轴承表面缺陷方法的研究[J]. 微电子学与计算机,2011,28(10):98-100, 104.

    TAO Qingping, WU Xisheng. Rapid detection method of the bearing surface defects[J]. Microelectronics & Computer,2011,28(10):98-100, 104.

    [13] 刘怀广, 刘安逸, 周诗洋, 等. 基于深度神经网络的太阳能电池组件缺陷检测算法研究[J]. 应用光学,2020,41(2):327-336.

    LIU Huaiguang, LIU Anyi, ZHOU Shiyang, et al. Research on detection agorithm of solar cell component defects based on deep neural network[J]. Journal of Applied Optics,2020,41(2):327-336.

    [14]

    PENG G, ZHANG Z, LI W. Computer vision algorithm for measurement and inspection of O-rings[J]. Measurement,2016,94:828-836. doi: 10.1016/j.measurement.2016.09.012

    [15] 谷静, 张可帅, 朱漪曼. 基于卷积神经网络的焊缝缺陷图像分类研究[J]. 应用光学,2020,41(3):531-537.

    GU Jing, ZHANG Keshuai, ZHU Yiman. Research on weld defect image classification based on convolutional neural network[J]. Journal of Applied Optics,2020,41(3):531-537.

  • 期刊类型引用(3)

    1. 沈晓彦,朱懿,李炜娜,杜梦影. 军用光电检测设备模块化发展分析. 船舶标准化工程师. 2022(01): 13-19 . 百度学术
    2. 刘海洋,任双全. 振镜式激光扫描运动目标丢点检测与补偿方法研究. 激光杂志. 2020(07): 67-71 . 百度学术
    3. 陈志斌,范磊,肖文健,秦梦泽,肖程,张冬晓. 二维振镜扫描系统调向误差分析. 应用光学. 2018(02): 180-186 . 本站查看

    其他类型引用(2)

图(10)  /  表(1)
计量
  • 文章访问数:  1031
  • HTML全文浏览量:  644
  • PDF下载量:  45
  • 被引次数: 5
出版历程
  • 收稿日期:  2020-12-27
  • 修回日期:  2021-02-07
  • 网络出版日期:  2021-02-23
  • 刊出日期:  2021-03-30

目录

/

返回文章
返回