Structural texture defects detection method based on frequency domain texture elimination
-
摘要: 针对金属加工表面等结构纹理表面图像缺陷检测问题,结构纹理的存在会对缺陷(比如划痕)检测带来干扰,该文开展在频率域中消除背景纹理的方法来进行缺陷检测的研究。首先基于傅里叶变换的图像复原技术,空间域图像中的结构性纹理对应傅里叶域中高能频率分量,使用最小二乘法直线拟合操作去除,并将这些能量设置为零,经傅里叶逆变换为空间域图像。在复原的图像中,原始图像中的结构纹理区域将变为近似的均匀灰度级,但其中缺陷部分将被保留下来。再使用统计过程控制来设置阈值的方法就能从复原图像中分离出缺陷。最后在一系列的结构性纹理图像上的实验证实了所提方法可行且有效。Abstract: The existence of structural texture can interfere with the defects (such as scratches) detection for the surface texture images defects detection of machined surface. The method of eliminating background texture in frequency domain was studied for the defects detection. Firstly, based on the image restoration technology of Fourier transform, the structural texture in spatial domain image corresponded to the high energy frequency component in Fourier domain, which was removed by the least square method linear fitting, and these energies were set to zero finally transformed into the spatial domain image. In the restored image, the structural texture region in original image became an approximate uniform gray level, in which the defective region was preserved. And then the statistical process control was used to set threshold to separate the defects from the restored image. Finally, experiments on a series of structural texture images show that the proposed method is feasible and effective.
-
引言
在产品的检验过程中,表面缺陷检测是非常重要的一环,表面缺陷是指当物体表面局部的面积受到破坏而与周围的部分不一致,或是指物体表面受到污损,例如:孔洞、灰尘、刮伤、擦伤、凹痕等,如果物体的表面上有缺陷,在制造的过程中常会导致严重的问题,除了影响其外观,更有可能影响产品的内部功能,降低产品的经济价值。而基于机器视觉的表面缺陷检测技术逐渐成为当今世界信息科学的研究热点,已经有了诸多的研究与应用[1-3]。它是基于成像、图像处理与分析的自动检测和分析装备,已在多个领域取得发展。
常见的基于机器视觉的表面缺陷检测方法可以分为如下几类[4]:基于统计的方法,基于结构的方法,基于模型的方法,基于频谱的方法,其中最后一种是用得最多的方法。
常见的基于统计的方法有直方图法[5],灰度共生矩阵法[6]和局部二值模式(local binary patterns,LBP)[7]等,主要是通过测量像素空间分布的统计特征。但其2个主要的缺点是在较大尺寸基元组成的纹理上性能较差和计算机性能要求高,因为要计算大量的邻接像素。基于结构的方法主要是利用纹理图像中具有相似性重复纹理的特点[8],使用一个基元纹理作为基础,然后按照一定的规则将这个基元排列组合,得到完整的纹理图像。困难在于很多纹理变化多样,并不是简单的相似重复,不可能调整算法跟缺陷的特定几何形状匹配,也不适用于不具有规则性的结构。基于模型的方法主要包括基于分形的模型[9],自回归模型以及基于马尔科夫随机场的模型[10],此类方法的主要缺点在于模型往往只适应于某一类特定的对象。需要假定局部信息足以实现一个好的全局图像表示。并且需要高效率估计模型参数。
频谱法则通过时频转换变换到频率域,主要包含有傅里叶变换法[11]、Gabor变换法[12]和小波变换法[13]等。傅里叶变换法[14-15]是一种只包含频域信息的全局变换并不包含时间信息,而短时傅里叶变换即Gabor变换作为傅里叶变换的一种取代,但是Gabor变换往往需要设置复杂的参数,计算量非常大。
基于傅里叶变换的结构纹理图像的检测研究,这种方法很方便地在频域对图像进行处理,由于背景纹理具有周期性,这也能在傅里叶变换中得到突显,使用基于傅里叶的图像恢复删除纹理表面中的线条图案,再检测重建图像中的缺陷。
本文组织如下:第二部分首先讨论傅里叶变换和在傅立叶域图像中定向纹理的属性,然后最小二乘法用来检测在傅里叶域图像中高能频率分量相关的纹路。最后,提出了一个使用傅里叶反变换进行纹路去除的图像恢复过程。第三部分介绍在各种定向纹理包括纺织面料、加工表面和天然木材的实验结果。在第四部分中得出本文结论。
1 结构纹理的去除
1.1 基于傅里叶变换的图像结构性纹理的去除
傅里叶频谱适合于描述灰度图像具有周期性的方向图案。灰度图像的方向特征清晰地对应于高能频率分量,它们在傅里叶域图像中沿直线分布,与它们空间域图像中对应纹理成正交关系。傅立叶域图像中的高能频率分量相对应的直线通过使用最小二乘法拟合来检测。落在傅里叶域图像中检测直线的邻域频率分量通过将其设置为零来消除。清除特定区域后,对傅里叶域图像使用傅里叶反变换进行求逆。傅里叶反变换求逆过程将删除所有在原始灰度图像中均匀的定向纹理,并且仅保留出现在表面中的局部异常即缺陷。实现去除结构性纹理从而正确检测缺陷的目的。
傅里叶变换公式
$$F\left( {u,v} \right) = \frac{1}{N}\sum\limits_{x = 0}^{N - 1} {\sum\limits_{y = 0}^{N - 1} {f\left( {x,y} \right)} } \cdot \exp \left[ { - j \cdot 2\pi {{\left( {ux + vy} \right)}/N}} \right]$$ 1.2 基于最小二乘法的频域图像直线检测
最小二乘法是线性回归法中最常使用而且简单的一种拟合方法。用最小二乘法进行直线拟合时,要找到一条直线,让所有数据点带入这条直线后所得到的误差最小。傅里叶频谱是关于中心分量对称的,每个在傅里叶域图像中变换的线将通过中心频率点(x0,y0)=(N/2,N/2);图像的大小为N×N,如图1(b)所示。因此,在频谱中只需一个参数(即倾斜角θ)就能指定通过中心点的直线,通过将原点移动到图像的中心来进行。
最小二乘拟合结果如图1(c)所示,求得直线的倾斜角后,将直线附近邻域的高亮频率成分和该直线一起通过置零操作去除,邻域由和该直线平行对称且距离为宽度Δw的2条直线构成,形成一个凹槽如图1(d)所示。
将去除直线及邻域高亮成分的频谱图像经过傅里叶反变换后,整幅图像将变为不包含结构纹理的均匀表面,所获得的图像将保留出现在表面中的缺陷,再使用统计过程控制来设置阈值的方法就能分割出缺陷。
图1(a)显示了一个具有异常散点的结构纹理表面;图1(b)是对应的傅里叶域图像,在空间域内周期性的方向线对应于高能频域分量,并且都集中在过原点的斜直线附近,散点在频率域的中心附近产生一系列的模糊斑点;图1(d)展示了这个主线缺口,所有在缺口内频率分量F(u,v)被设置为零。复原的图像在图1(e)显示了周期线图像区域变成近似均匀灰度区域和非周期性斑点被保存在恢复的图像中。
从图1中可以观察到,对于结构性纹理,在复原的图像中变成了一致性的均匀灰度图,而异常点诸如散点等将会表现出明显的区别,因此可以使用简单的统计过程控制设置控制极限区分复原图像中异常和结构性纹理,如果一个像素点落在控制极限区域内,就被当作正常像素点,否则就当作缺陷,图1(f)是图1(a)的二值化后的缺陷检测结果,那些落在控制极限内的用白色示意,而在控制极限外的缺陷用黑色表示,从所示的结果可以看出,原图中的散点缺陷能够被正确检测出来。
2 实验和讨论
在这部分,我们将采用一系列的结构纹理图像对所提出的算法进行实验验证,所有的实验都是在PC机上用MATLAB语言实现。
图2所示在光照不均影响下的木材纹理缺陷的结构纹理图像(a1)和(b1),图2(a2)、(b2)所示的傅里叶频谱图,图示可知虽受不同光照影响,但结构纹理频域图几乎相同,所有的缺陷都在复原图像中体现如图2(a3)、图2(b3)所示,图2(a4)、(b4)显示根据不同的控制极限在受到光照不均影响下仍能可靠区分均匀部分和缺陷部分。
3 结论
在本文中,我们提出一种全局的结构性纹理自动检测方法,它是一种基于傅里叶变换的全局图像复原方法,根据傅里叶变换的性质,在空间域具有角度θ的周期性线纹理。将会在频率域中以与θ成垂直的高能直线出现,频率域中的高能分量用最小二乘法来识别,由于对应的高能分量都过原点,所以在用最小二乘法计算直线方程时只需要计算出角度就能得到高能分量直线的方程。在复原图像中,结构性纹理将会变为一致性的均匀区域,缺陷区域将被保留,统计过程决策被用于区分缺陷区域和结构纹理对应的均匀区域。
-
-
[1] 张静, 叶玉堂, 谢煜, 等. 金属圆柱工件缺陷的光电检测[J]. 光学精密工程,2014,22(7):1871-1876. doi: 10.3788/OPE.20142207.1871 ZHANG Jing, YE Yutang, XIE Yu, et al. Optoelectronic inspection of defects for metal cylindrical workpieces[J]. Optics and Precision Engineering,2014,22(7):1871-1876. doi: 10.3788/OPE.20142207.1871
[2] 徐科, 王磊, 王璟瑜. 基于 Tetrolet 变换的热轧钢板表面缺陷识别方法[J]. 机械工程学报,2016,52(4):13-19. doi: 10.3901/JME.2016.04.013 XU Ke, WANG Lei, WANG Jingyu. Surface defect recognition of hot-rolled steel plates based on tetrolet transform[J]. Journal of Mechanical Engineering,2016,52(4):13-19. doi: 10.3901/JME.2016.04.013
[3] 毕昕, 丁汉. TFT-LCD Mura 缺陷机器视觉检测方法[J]. 机械工程学报,2010,46(12):13-19. doi: 10.3901/JME.2010.12.013 BI Xin, DING Han. Machine vision inspection method of mura defect for TFT-LCD[J]. Journal of Mechanical Engineering,2010,46(12):13-19. doi: 10.3901/JME.2010.12.013
[4] XIE X. A review of recent advances in surface defect detection using texture analysis techniques[J]. ELCVIA:Electronic Letters on Computer Vision and Image Analysis,2008,7(3):1-22. doi: 10.5565/rev/elcvia.268
[5] NG H F. Automatic thresholding for defect detection[J]. Pattern recognition letters,2006,27(14):1644-1649. doi: 10.1016/j.patrec.2006.03.009
[6] WU W Y, HOU C C. Automated metal surface inspection through machine vision[J]. Imaging Science Journal,2003,51(2):79-88. doi: 10.1080/13682199.2003.11784415
[7] KO J S, RHEEM J Y. Defect detection of polycrystalline solar wafers using local binary mean[J]. The International Journal of Advanced Manufacturing Technology,2016,82(9-12):1753-1764. doi: 10.1007/s00170-015-7498-z
[8] SOILLE P. Morphological image analysis: principles and applications[M].[S.I]: Springer Science & Business Media, 2013.
[9] HANMANDIU M, CHOUDHURY D, DASH S. Detection of defects in fabrics using topothesy fractal dimension features[J]. Signal, Image and Video Processing,2015,9(7):1521-1530. doi: 10.1007/s11760-013-0604-5
[10] CAO J, WANG N, ZHANG J, et al. Detection of varied defects in diverse fabric images via modified RPCA with noise term and defect prior[J]. International Journal of Clothing Science and Technology,2016,28(4):516-529. doi: 10.1108/IJCST-10-2015-0117
[11] TSAI D M, WU S C, LI W C. Defect detection of solar cells in electroluminescence images using Fourier image reconstruction[J]. Solar Energy Materials and Solar Cells,2012,99:250-262. doi: 10.1016/j.solmat.2011.12.007
[12] BISSI L, BARUFFA G, PLACIDI P, et al. Automated defect detection in uniform and structured fabrics using gabor filters and PCA[J]. Journal of Visual Communication and Image Representation,2013,24(7):838-845. doi: 10.1016/j.jvcir.2013.05.011
[13] JEON Y J, CHOI D, LEE S J, et al. Defect detection for corner cracks in steel billets using a wavelet reconstruction method[J]. JOSA A,2014,31(2):227-237. doi: 10.1364/JOSAA.31.000227
[14] YANG Q, CHEN D, ZHAO T, et al. Fractional calculus in image processing: a review[J]. Fractional Calculus and Applied Analysis,2016,19(5):1222-1249.
[15] PARKER J A. Image reconstruction in radiology[M]. Boca Raton:CRC press, 2018.
-
期刊类型引用(3)
1. 何睿清,周鑫宇,张慧,郝飞,宋佳潼. 基于离焦图像的晶圆表面缺陷检测. 组合机床与自动化加工技术. 2023(07): 110-113+118 . 百度学术
2. 赵婷婷,白福忠,徐永祥,高晓娟. 一种基于参数标定的投影条纹周期简易校正方法. 应用光学. 2021(01): 119-124 . 本站查看
3. 汪永勇,侯俊,李梦思,薛彤,肖雄. 基于纹理消除的液晶屏缺陷检测. 电子测量技术. 2021(12): 93-96 . 百度学术
其他类型引用(7)