Structural texture defects detection method based on frequency domain texture elimination
-
摘要: 针对金属加工表面等结构纹理表面图像缺陷检测问题，结构纹理的存在会对缺陷（比如划痕）检测带来干扰，该文开展在频率域中消除背景纹理的方法来进行缺陷检测的研究。首先基于傅里叶变换的图像复原技术，空间域图像中的结构性纹理对应傅里叶域中高能频率分量，使用最小二乘法直线拟合操作去除，并将这些能量设置为零，经傅里叶逆变换为空间域图像。在复原的图像中，原始图像中的结构纹理区域将变为近似的均匀灰度级，但其中缺陷部分将被保留下来。再使用统计过程控制来设置阈值的方法就能从复原图像中分离出缺陷。最后在一系列的结构性纹理图像上的实验证实了所提方法可行且有效。Abstract: The existence of structural texture can interfere with the defects (such as scratches) detection for the surface texture images defects detection of machined surface. The method of eliminating background texture in frequency domain was studied for the defects detection. Firstly, based on the image restoration technology of Fourier transform, the structural texture in spatial domain image corresponded to the high energy frequency component in Fourier domain, which was removed by the least square method linear fitting, and these energies were set to zero finally transformed into the spatial domain image. In the restored image, the structural texture region in original image became an approximate uniform gray level, in which the defective region was preserved. And then the statistical process control was used to set threshold to separate the defects from the restored image. Finally, experiments on a series of structural texture images show that the proposed method is feasible and effective.
-
引言
在兵器靶场测试研究领域，对弹丸各项参数检测时能够得到弹丸清晰的飞行图像是非常重要的[1-2]。传统观测弹丸的飞行姿态有2种方法：一种是沿着外弹道方向放置多台高速CCD相机，通过分析每台摄像机单独拍摄弹丸图像，经过后续复杂的处理技术，得到较为完整的弹丸图像[1]。此方法受单个CCD相机视场范围的限制，且对多个相机所拍摄的图像进行分析时还涉及复杂的处理技术，更重要的是长距离测量时要花费很多的财力和物力[3-5]；另一种方法是将单个CCD相机系统固定在跟踪机架上，通过实时旋转CCD相机镜头来跟踪弹丸，但使用时，很难将设备用于测量小型高速飞行的弹丸。为了弥补这2种方法的缺陷，国外提出一种通过转镜和CCD相机实现对弹丸的实时跟踪技术，固定CCD相机位置，将它对准反射镜，通过拍摄反射镜中弹丸图像，以实现对高速弹丸的跟踪拍摄[6]。目前国外对此项技术的保密性非常高，国内相关产品还处于研发阶段，为了弥补我国在相关技术的空白，对于转镜跟踪测量系统的研究是非常有意义的[7]。基于高速CCD视场中点的转镜跟踪系统是通过计算机控制转镜转动来跟踪弹丸，同时弹丸的飞行姿态反射到CCD相机后，拍摄一组序列图像，从而实现对弹丸的同步跟踪[8-9]。因此，在跟踪系统中，建立弹丸运动以及转镜转动的数学模型对研究弹丸的飞行姿态有着重要的作用[10]。本文将研究基于高速CCD视场中点的转镜跟踪系统，主要包括建立弹丸和转镜的数学模型以及相关参数对系统的影响。
1 系统组成和工作原理
1.1 系统的结构组成
基于高速CCD相机视场中点的跟踪系统主要包含5个组成部分，如图 1所示。在系统能有效跟踪弹丸的视场前方设有测量弹丸速度的天幕靶，当弹丸穿过天幕靶后就能在计算机控制系统中获得弹丸的速度，此时计算机控制系统通过计算弹丸进入转镜的有效视场时间驱动伺服系统控制转镜在相应的时间段内转动。在整个跟踪过程中，转镜转动将运动弹丸的飞行姿态反射到CCD相机中，CCD相机拍摄的弹丸图像存储在计算机中，从而实现CCD相机对高速运动弹丸的同步跟踪测量。
1.2 系统的工作原理
一般情况下，转镜跟踪系统能跟踪90°视场的弹道线。跟踪系统在开始跟踪弹丸前有5°的缓冲角让反射镜预加速到一定速度，在跟踪结束时也有5°的缓冲角让反射镜停止。基于高速CCD相机视场中点的跟踪系统，工作原理图如图 2所示。当弹丸穿过天幕靶2后到达转镜-50°视场时，转镜缓慢加速转动。当弹丸到达-45°视场角时，转镜的条件满足同步跟踪弹丸的条件，系统开始同步跟踪弹丸运动。当弹丸到达+45°视场角时，反射镜开始缓慢减速，当到达转镜+50°视场时，系统停止工作，从而完成对90°转镜视场范围内弹丸的同步跟踪。
2 系统数学模型的建立
2.1 弹丸运动模型的建立
地球上任何飞行的物体都会受到地心引力和空气阻力的影响，在实际情况下弹丸发射后由于受到这2个力的作用，它不再是沿着弹道线的直线运动，而是作斜抛运动。由于弹丸的飞行速度很快，对弹丸实现实时跟踪的距离相比于整个运动过程较短，因此，在理论研究过程中，假设弹丸不受地心引力和空气阻力的影响，弹丸则沿着弹道线方向作匀速运动，且轨迹与地面平行。
假设弹丸沿弹道线方向作匀速直线运动，转镜视场中点跟踪弹丸的原理图如图 3所示。CCD相机主光轴与弹道线平行且与转镜相交于O点，OQ为相机主光轴到弹道线之间的垂直距离，记为H，垂足Q为坐标原点，规定弹丸沿弹道线运动的方向为x正方向，W点为要跟踪的弹丸，则弹丸距坐标原点的距离为|WQ|= S。CCD相机的视场角为2θ，转镜与主光轴的夹角为ϕ，OP=L1, AB段为转镜跟踪弹丸的有效范围。
由反射定理和几何关系并根据图 3可以得到弹丸运动模型：
$$ \begin{array}{*{20}{l}} {S\left( t \right) = \frac{H}{{\tan {\Phi _{\left( t \right)}}}} + } \\ {\;\;\;\;\;\;\;\;\;\;\frac{{\left( {0.5{L_1}\sin 2{\Phi _{\left( t \right)}}} \right) + H\cos {\Phi _{\left( t \right)}}{{\sin }^2}\theta }}{{\sin {\Phi _{\left( t \right)}} \times \sin \lambda \times \sin \beta }}} \end{array} $$ (1) 同时, A点坐标：
$$ {X_A} = \frac{H}{{\tan {\mathit{\Phi }_{\left( t \right)}}}} - \frac{{\left( {{L_1} + \frac{H}{{\sin {\mathit{\Phi }_{\left( t \right)}}}}} \right)\sin \theta }}{{\sin \beta }} $$ (2) B点坐标：
$$ {X_B} = \frac{H}{{\tan {{\Phi }_{\left( t \right)}}}} + \frac{{\left( {{L_1} + \frac{H}{{\sin {{\Phi }_{\left( t \right)}}}}} \right)\sin \theta }}{{\sin \lambda }} $$ (3) 由(2)、(3)式可得整个跟踪视场的范围为
$$ AB\left( t \right) = \left( {{L_1} + \frac{H}{{\sin {\mathit{\Phi }_{\left( t \right)}}}}} \right)\left( {\frac{{\sin \beta + \sin \lambda }}{{\sin \beta \sin \lambda }}} \right)\sin \theta $$ (4) (1) 式两边同时对t求导，则得出弹丸速度和转镜角速度的关系为
$$ \begin{array}{l} \frac{v}{w} = H\csc {\mathit{\Phi }_{\left( t \right)}}[ - 2\csc {\mathit{\Phi }_{\left( t \right)}} - \cot {\mathit{\Phi }_{\left( t \right)}} \cdot \\ \;\;\;\;\;\;\;\frac{{\sin \theta \left( {\sin \beta - \sin \lambda } \right)}}{{\sin \lambda \sin \beta }}] + \left( {{L_1} + H\csc {\mathit{\Phi }_{\left( t \right)}}} \right) \cdot \\ \;\;\;\;\;\;\;\frac{{\sin \theta \left( {{{\sin }^2}\lambda \cos \beta + {{\sin }^2}\beta \cos \lambda } \right)}}{{{{\sin }^2}\beta {{\sin }^2}\lambda }} \end{array} $$ (5) 式中：β=2ϕ(t)+θ；λ=2ϕ(t)-θ；Φ(t)=2ϕ(t)。
利用MATLAB对系统的数学模型进行仿真, 由于在对不同速度的弹丸进行跟踪时，系统开始工作的时间不同，则弹道宽度AB也不同，弹道宽度曲线随时间的变化曲线可由MATLAB仿真得到。当H=200 m, v=100 m/s时，转镜视场范围内的有效视场AB随时间变化的曲线如图 4所示。
![]()
图 4 转镜视场范围内有效跟踪范围随时间变化曲线Figure 4. Curves of effective tracking range over time within rotation mirror FOV根据图 4可以看出A、B点的坐标随着时间的变化而变化，系统能有效跟踪弹丸的范围也在随时间变化，它的曲线呈开口向上的抛物线，当弹丸到达转镜正上方时有效跟踪范围最小，且最小值约为14 m，远大于被观测高速目标的尺寸，可以满足系统跟踪弹丸的视场要求。
2.2 扫描速率的大小
扫描速率R定义为被测弹丸速度v和相机主光轴到弹道线的垂直距离H的比值，它可以表示为
$$ R = \frac{v}{H} $$ (6) 对于不同速度的弹丸，不同的相机位置，只要保证它们的比值相同，那么转镜的扫描速率都是相同的，可以采用同一扫描速率。联立(5)式和(6)式，可以得出在ϕ=45°时，转镜的最大角速度ωmax和R之间的关系为
$$ {\omega _{\max }} = \left| { - \frac{v}{{2H}}} \right| = \frac{R}{2} $$ (7) 由(7)式可知，转镜的最大角速度仅跟扫描速率相关。
在跟踪系统中，扫描速率R是有一定范围的，它跟CCD相机所能接收物体像大小的能力有关。它的最大值与电机的转速有关，最小值与CCD的视场范围有关。在对弹丸的跟踪过程中，选择合适的扫描曲线控制转镜转动，在CCD中对连续弹丸图像的成像效果有着极大的提高。
3 设置参数对跟踪效果影响
根据(1)式可知，同一个跟踪系统在跟踪弹丸时(即相机视场角和转镜转动角度相同)，CCD相机、转镜的所处位置对整个系统的跟踪效果有影响，也就是转镜到弹道线的垂直距离OQ(H)和CCD相机到转镜的距离OP(L1)对跟踪视场有影响。
3.1 弹道线到转镜的垂直距离H
根据(1)和(4)式可知H越大，能有效跟踪弹丸的范围就越大。如果想得到弹丸长时间的飞行轨迹，可以通过一直增大H来实现，但是转镜转动和相机的视场角都是有限制的，H不会一直增大。
对于图 3，现在假设相机的焦距为f，弹丸长度为d，弹丸成像在CCD上的长度为L, CCD的光敏面尺寸为l×ħ。根据物像关系可知：
$$ \frac{d}{L} = \frac{{{L_1} + H}}{f} $$ (8) 为了保证在跟踪过程中弹丸的像不脱离CCD的光敏面，一般要求弹丸长度占CCD光敏面长度的1/5~4/5，由此关系和(8)式可以得到转镜和相机的位置关系为
$$ \frac{{5df}}{l} - {L_1} \le H \le \frac{{5df}}{{4l}} - {L_1} $$ (9) 由(9)式可知：已知相机参数和弹丸长度，通过调整转镜到弹道线的距离H和相机到转镜的距离L1就可以使弹丸清晰成像。
3.2 最大离散速度的间隔值
假设天幕靶测得弹丸的速度为v0，CCD视场大小为l×ħ，弹丸的长度为d，在必须考虑地球引力对弹丸的影响时，弹丸脱离CCD视场范围的情况有2种，其示意图如图 5所示。
如图 5所示，曲线1是弹丸在水平方向上发生偏离的情况，曲线2是弹丸在竖直方向上发生偏离的情况。通过计算得到弹丸在水平方向上的离散速度为
$$ \Delta v = \frac{{\left( {3l + 5d} \right){v_0}}}{{5S}} $$ (10) 弹丸在竖直方向上的离散速度为
$$ \Delta v = \frac{ħ}{{\sqrt {\frac{{8\left( {{H_1} - H} \right)}}{8}} }} $$ (11) 式中：S为弹丸在CCD视场内飞行的距离；H1为弹丸偏移后距离相机主光轴的垂直距离。
4 系统跟踪效果误差分析
基于高速CCD相机视场中点跟踪弹丸的转镜系统，在弹道线方向跟踪弹丸时(图 3所示)，取L=300 mm, H=200 m, θ=2°，利用MATLAB得到的跟踪效果表如表 1所示。
表 1 相机中点跟踪效果表Table 1. Camera midpoint tracking effect table时间T/s 转镜角度/(°) 视场前点B/m 视场后点A/m 理论跟踪点/m 实际跟踪点/m Δ/m 2.0 66.5203 -174.0924 -200.2985 -187.1954 -187.1924 -0.003 2.5 63.1024 -135.9317 -157.4249 -146.6783 -146.6763 -0.002 3.0 57.8523 -87.8016 -105.0347 -96.4182 -96.4160 -0.0022 3.5 53.0235 -50.0291 -65.1764 -57.6028 -57.6012 -0.0016 4.0 45.0000 6.9946 -6.9946 0 0.002 -0.002 4.5 38.8521 50.9746 36.3204 43.6484 43.6463 0.0021 5.0 32.1578 104.9447 87.7175 96.3311 96.3283 0.0028 5.5 27.0357 155.8694 134.5268 145.1981 145.1956 0.0025 6.0 22.5278 214.0722 186.1262 200.0992 200.0962 0.003 由(1)式可知：在相机和电机的参数相同的条件下(即相机视场角和转镜的转动角度相同)，弹丸的位置只跟相机主光轴到弹道线的垂直距离H和OP的大小相关。弹丸的跟踪点坐标是按照(1)式的函数关系计算出的，根据函数的系统误差公式可以得到弹丸坐标的系统误差公式为
$$ \begin{array}{l} \Delta {S_{\left( t \right)}} = \left( {\frac{1}{{{\rm{tan}}{\mathit{\Phi }_{\left( t \right)}}}} + \frac{{\cos {\mathit{\Phi }_{\left( t \right)}} \times {{\sin }^2}\theta }}{{\sin {\mathit{\Phi }_{\left( t \right)}} \times \sin \lambda \times \sin \beta }}} \right)\Delta H + \\ \;\;\;\;\;\;\;\;\;\;\;\left( {\frac{{0.5\sin 2{\mathit{\Phi }_{\left( t \right)}} \times {{\sin }^2}\theta }}{{\sin {\mathit{\Phi }_{\left( t \right)}} \times \sin \lambda \times \sin \beta }}} \right)\Delta {L_1} \end{array} $$ (12) 已知ΔH=0.003 m, ΔL1=0.001 m，利用MATLAB得到弹丸坐标的系统误差随时间变化的曲线如图 6所示。
由上图看出系统的误差范围在±0.003 m的范围内变化，结合表 1所示的Δ值可知，测量误差在系统误差的范围内。也就是说，基于高速CCD相机视场中点的跟踪系统可以实现对弹丸的实时跟踪性能。
5 结论
通过建立高速CCD相机视场中点的转镜弹道跟踪系统的数学模型，并对其运动曲线进行了仿真，得出了能有效跟踪弹丸的视场范围。分析了主要参数转镜到弹道线的距离H和转镜到相机的距离L1对跟踪效果的影响，计算了扫描速率和速度的最大离散间隔值以及它们对成像效果造成的影响，进一步得到了转镜和相机空间布置的关系。在理想条件下，当弹丸飞行速度为100 m/s，转镜到弹道线的垂直距离H为200 m时，分析了系统存在的误差，结果证明该系统可以实现对弹丸的同步跟踪。
-
![]()
图 1 最小二乘法的频域图像直线检测法总流程
Figure 1. General process of frequency domain image straight line detection method based on least square method
-
[1] 张静, 叶玉堂, 谢煜, 等. 金属圆柱工件缺陷的光电检测[J]. 光学精密工程,2014,22(7):1871-1876. doi: 10.3788/OPE.20142207.1871 ZHANG Jing, YE Yutang, XIE Yu, et al. Optoelectronic inspection of defects for metal cylindrical workpieces[J]. Optics and Precision Engineering,2014,22(7):1871-1876. doi: 10.3788/OPE.20142207.1871
[2] 徐科, 王磊, 王璟瑜. 基于 Tetrolet 变换的热轧钢板表面缺陷识别方法[J]. 机械工程学报,2016,52(4):13-19. doi: 10.3901/JME.2016.04.013 XU Ke, WANG Lei, WANG Jingyu. Surface defect recognition of hot-rolled steel plates based on tetrolet transform[J]. Journal of Mechanical Engineering,2016,52(4):13-19. doi: 10.3901/JME.2016.04.013
[3] 毕昕, 丁汉. TFT-LCD Mura 缺陷机器视觉检测方法[J]. 机械工程学报,2010,46(12):13-19. doi: 10.3901/JME.2010.12.013 BI Xin, DING Han. Machine vision inspection method of mura defect for TFT-LCD[J]. Journal of Mechanical Engineering,2010,46(12):13-19. doi: 10.3901/JME.2010.12.013
[4] XIE X. A review of recent advances in surface defect detection using texture analysis techniques[J]. ELCVIA:Electronic Letters on Computer Vision and Image Analysis,2008,7(3):1-22. doi: 10.5565/rev/elcvia.268
[5] NG H F. Automatic thresholding for defect detection[J]. Pattern recognition letters,2006,27(14):1644-1649. doi: 10.1016/j.patrec.2006.03.009
[6] WU W Y, HOU C C. Automated metal surface inspection through machine vision[J]. Imaging Science Journal,2003,51(2):79-88. doi: 10.1080/13682199.2003.11784415
[7] KO J S, RHEEM J Y. Defect detection of polycrystalline solar wafers using local binary mean[J]. The International Journal of Advanced Manufacturing Technology,2016,82(9-12):1753-1764. doi: 10.1007/s00170-015-7498-z
[8] SOILLE P. Morphological image analysis: principles and applications[M].[S.I]: Springer Science & Business Media, 2013.
[9] HANMANDIU M, CHOUDHURY D, DASH S. Detection of defects in fabrics using topothesy fractal dimension features[J]. Signal, Image and Video Processing,2015,9(7):1521-1530. doi: 10.1007/s11760-013-0604-5
[10] CAO J, WANG N, ZHANG J, et al. Detection of varied defects in diverse fabric images via modified RPCA with noise term and defect prior[J]. International Journal of Clothing Science and Technology,2016,28(4):516-529. doi: 10.1108/IJCST-10-2015-0117
[11] TSAI D M, WU S C, LI W C. Defect detection of solar cells in electroluminescence images using Fourier image reconstruction[J]. Solar Energy Materials and Solar Cells,2012,99:250-262. doi: 10.1016/j.solmat.2011.12.007
[12] BISSI L, BARUFFA G, PLACIDI P, et al. Automated defect detection in uniform and structured fabrics using gabor filters and PCA[J]. Journal of Visual Communication and Image Representation,2013,24(7):838-845. doi: 10.1016/j.jvcir.2013.05.011
[13] JEON Y J, CHOI D, LEE S J, et al. Defect detection for corner cracks in steel billets using a wavelet reconstruction method[J]. JOSA A,2014,31(2):227-237. doi: 10.1364/JOSAA.31.000227
[14] YANG Q, CHEN D, ZHAO T, et al. Fractional calculus in image processing: a review[J]. Fractional Calculus and Applied Analysis,2016,19(5):1222-1249.
[15] PARKER J A. Image reconstruction in radiology[M]. Boca Raton:CRC press, 2018.
-
期刊类型引用(3)
1. 何睿清，周鑫宇，张慧，郝飞，宋佳潼. 基于离焦图像的晶圆表面缺陷检测. 组合机床与自动化加工技术. 2023(07): 110-113+118 . 
百度学术
2. 赵婷婷，白福忠，徐永祥，高晓娟. 一种基于参数标定的投影条纹周期简易校正方法. 应用光学. 2021(01): 119-124 . 本站查看
3. 汪永勇，侯俊，李梦思，薛彤，肖雄. 基于纹理消除的液晶屏缺陷检测. 电子测量技术. 2021(12): 93-96 . 百度学术
其他类型引用(7)
下载:
计量
- 文章访问数: 2008
- HTML全文浏览量: 499
- PDF下载量: 68
- 被引次数: 10
陕公网安备 61011302001501号 