Defect detection algorithm of MEMS acoustic film based on frequency domain transformation
-
摘要: 微机电系统（micro-electro-mechanical system，MEMS）声学薄膜对流片、存储和封装环境要求极高，其表面缺陷会影响MEMS器件的质量和性能。图像检测缺陷是一种有效的非接触光学检测手段，可以有效提高MEMS生产的良品率，然而MEMS器件表面的周期性结构纹理会对缺陷检测产生干扰。提出了一种基于频域变换的声学薄膜缺陷检测算法，通过计算频谱图的梯度分布和建立布尔掩码以消除图像中周期性结构纹理对应的主频分量，将剩余频谱图进行傅里叶逆变换重构缺陷图像，对重构图像采用单层Haar小波分解去噪获得低频子带图像，采用简单的阈值分割提取缺陷信息，展示了不同种类MEMS声学薄膜的缺陷检测效果。实验结果表明，缩放常数
${t_g}$ 的取值范围为0.7～1.0比较合理。Abstract: The micro-electro-mechanical system (MEMS) acoustic film has extremely high requirements for tape-out, storage and packaging environments, and its surface defects will affect the quality and performance of MEMS devices. The image defects detection is an effective non-contact optical detection means that can effectively improve the yield rate of MEMS production. However, the periodic structure texture of the MEMS devices surface will interfere with defect detection. A acoustic film defect detection algorithm based on frequency domain transformation was proposed. By calculating the gradient distribution of spectrogram and establishing the Boolean mask, the dominant frequency components corresponding to the periodic structure texture were eliminated. The residual spectrograms were subjected to a Fourier inversion to reconstruct the defect images. The reconstructed images were decomposed by single-layer Haar wavelet to obtain the low-frequency sub-band image and the defect information was extracted by simple threshold segmentation. The defect detection effects of different types of MEMS acoustic film were showed. The experimental results show that it is reasonable to set the zoom constant in the range of 0.7~1.0. -
引言
在激光光学系统中，发射孔径通常是圆形的。为了准确确定光斑的中心位置，传统的光斑中心识别方法包括质心法、Hough变换法和高斯拟合法等[1-5]。质心法算法简单且测量精度较高，可以达到0.5 pixel[6]，但是使用质心法对于非规则和不均匀光斑的精确定位会产生较大误差；Hough变换法通过投票算法检测光斑轮廓，由于参数空间离散化，其检测精度在1 pixel左右，并且算法速度较慢，不适用高精度和实时检测系统；高斯拟合法测量精度能达到0.1 pixel～0.3 pixel，仅适用于呈均匀高斯分布的光斑情况。
国内外众多学者做了很多改进工作。张秋佳[7]等提出了一种基于加权插值算法的激光光斑中心检测方法，对激光中心的定位精度和稳定性有很大提升，但是该方法容易受到饱和光斑的影响，且算法复杂度很高；VÁZQUEZ O A[8]提出了一种基于反应扩散的提取算法，该算法可以快速找到激光光斑，并且可提取到光斑精确的轮廓； 蔡旭明[9]等使用灰度直方图分割和灰度质心法定位的方式，对皮秒脉冲激光进行了良好定位。由于远场光斑存在光斑破碎、空洞和边缘模糊等情况，上述算法无法很好地进行高精度中心定位。
本文提出使用新型logistic边缘模型的Zernike矩亚像素级边缘检测算法和阶跃阈值自动提取算法，提高了边缘检测精度，最后通过最小二乘法椭圆拟合的方法获取高精度和稳定的远场激光中心。
1 传统Zernike矩亚像素边缘检测算法
1.1 Zernike矩检测原理
对于图像的n阶m次Zernike矩可以表示为[10]
$$ {Z_{nm}} = \frac{{n + 1}}{{\text{π }}}\int\limits_0^1 {\int\limits_0^{2{\text{π }}} {f(r,\theta )V_{nm}^ * (r,\theta )r{\text{d}}r{\text{d}}\theta } } $$ (1) 式中：n为非负整数；m为非零整数；$n - \left| m \right| \geqslant 0$且$n - \left| m \right|$为偶数；r为单位圆到点(x,y)的矢量长度，${V_{nm}^ *}(r,\theta )$是正交复数多项式。将图像旋转$\theta $角，由Zernike矩旋转不变性可知，旋转前图像的Zernike矩${Z_{nm}}$与旋转后Zernike矩${Z'_{nm}}$存在关系式$Z'_{nm} = {Z_{nm}}{{\text{e}}^{ - {\text{j}}m\theta }}$，因此可得$ {Z'_{00}} = {Z_{00}} $，$ {Z'_{11}}\;{\text{ = }}\;{Z_{11}}{{\text{e}}^{ - {\text{j}}\theta }} $和$ {Z'_{20}} = {Z_{20}} $。
在传统Zernike矩像素边缘定位算法中，采用如图1所示的理想阶跃模型。图1中h表示背景灰度，k表示背景与目标之间的灰度差，l表示图像坐标系原点到理想边缘之间的距离，θ表示旋转角度。图1(a)旋转之后的边缘模型如图1(b)所示。
根据图1所示的Zernike矩亚像素边缘检测理想模型，可以得到理想边缘的边缘参数[10]:
$$ l = \frac{{{Z_{20}}}}{{{{Z'}_{11}}}}{\text{ = }}\frac{{{Z_{20}}}}{{{Z_{11}}}}{{\text{e}}^{ - {\text{j}}\theta }} $$ (2) 考虑图1(a)中原点坐标为$(x,y)$和模板效应[11-13]，旋转后图1(b)中垂直点的亚像素坐标$({x_s},{y_s})$可以由式(3)得到：
$$ \left[ {\begin{array}{*{20}{l}} {{x_s}} \\ {{y_s}} \end{array}} \right] = \left[ {\begin{array}{*{20}{l}} x \\ y \end{array}} \right] + \frac{N}{2}l\left[ {\begin{array}{*{20}{c}} {\cos \theta } \\ {\sin \theta } \end{array}} \right] $$ (3) 1.2 算法局限性分析
1） 在实际成像过程中，真实的边缘过度往往不是阶跃式的，因此，传统Zernike矩使用阶跃灰度边缘模型进行检测得到的边缘较宽，误差较大。
2） 传统Zernike矩边缘检测算法的判定是通过参数模型k和l确定的，l是圆心到边缘像素的距离，k是边缘的阶跃强度，只有满足$k > {k_{\text{T}}}$和$l > {l_{\text{T}}}$时，该点被判定为边缘点。由于远场光斑的边缘存在对比度低、边缘不清晰等情况，如果采用传统算法中人为输入固定全局阈值的方法确定图像边缘，若选取的${k_{\text{T}}}$较大，则导致出现多边缘或者伪边缘；反之，则会出现边缘缺失、断裂等。
2 改进的Zernike矩边缘检测算法
2.1 logistic边缘模型
在光照过程中，受到光照角度、亮度和阴影等方面的影响，实际经过光学系统采样的边缘并不是理想的阶跃边缘，所以传统Zernike矩使用阶跃灰度边缘模型进行亚像素边缘检测会有较大的误差，为了解决上述问题，本文提出使用logistic边缘模型，并结合Zernike矩进行亚像素边缘检测，如图2所示。
文献[13]提出一种新的边缘解法，在考虑了光学系统的散焦和由于点扩散函数影响而产生的模糊，可以将边缘模型定义为$f\left( x \right) = {k^{ - 1}} + {k^{ - 1}}{{\text{e}}^{ - \sigma \left( {x - l} \right)}} + h$，其中$\sigma $是模糊因子，$l$是边缘位置，使用logistic函数进行模型建立。
根据上述边缘模型原理，在不考虑传感器噪声的条件下，将模型应用于Zernike矩像素的边缘定位：
$$ {f_{{\text{logistic}}}}\left( {x,{x_i},{y_i}} \right) = \left\{ {\begin{array}{*{20}{l}} h&{x \leqslant {l_1}\left( {x,y} \right)} \\ {h + \dfrac{k}{{1 + {{\text{e}}^{ - {\sigma _b}\left( {{x_i},{y_i}} \right)\left( {x - \left( {{l_1} + {l_2}} \right)/2} \right)}}}}}&{\;{l_1}\left( {{x_i},{y_i}} \right) < x < {l_2}\left( {{x_i},{y_i}} \right)} \\ {h + k}&{x \geqslant {l_2}\left( {x,y} \right)} \end{array}} \right. $$ (4) 式中${\sigma _b}\left( {x,y} \right)$表示边缘点$\left( {x,y} \right)$处边缘灰度分布模型的标准差。
对于接收光的探测器来说，每个探测器接收到光的角度和亮度是不同的，所以各个部分的成像规律是不同的。${\sigma _b}\left( {{x_i},{y_i}} \right)$为${x_i}$与${y_i}$的函数（$i = 1, \cdot \cdot \cdot ,8$），表示只选取目标图像的八邻域边缘灰度分布的标准差，并利用参数估计理论对图像边缘灰度分布模型的方差进行估计[14-16]。
根据边缘模型，重新计算得到的图像的Zernike矩公式为
$$ \left\{ \begin{gathered} {{Z'}_{00}} = 2\int_{ - 1}^1 {\int_0^{\sqrt {1 - {x^2}} } {h{\text{d}}y{\text{d}}x} } + 2\int_{{l_1}}^{{l_2}} {\int_0^{\sqrt {1 - {x^2}} } {{f_{{\text{logistic}}}}\left( x \right){\text{d}}y{\text{d}}x} } + 2\int_{{l_2}}^1 {\int_0^{\sqrt {1 - {x^2}} } {k{\text{d}}y{\text{d}}x} } \\ {{Z'}_{11}} = 2\int_{ - 1}^1 {\int_0^{\sqrt {1 - {x^2}} } {h\left( {x - {\text{j}}y} \right){\text{d}}y{\text{d}}x} } + 2\int_{{l_1}}^{{l_2}} {\int_0^{\sqrt {1 - {x^2}} } {{f_{{\text{logistic}}}}\left( x \right)\left( {x - {\text{j}}y} \right){\text{d}}y{\text{d}}x} } + 2\int_{{l_2}}^1 {\int_0^{\sqrt {1 - {x^2}} } {k\left( {x - {\text{j}}y} \right){\text{d}}y{\text{d}}x} } \\ {{Z'}_{20}} = 2\int_{ - 1}^1 {\int_0^{\sqrt {1 - {x^2}} } {h\left( {2{x^2} + 2{y^2} - 1} \right){\text{d}}y{\text{d}}x} } + 2\int_{{l_1}}^{{l_2}} {\int_0^{\sqrt {1 - {x^2}} } {{f_{{\text{logistic}}}}\left( x \right)\left( {{x^2} + 2{y^2} - 1} \right){\text{d}}y{\text{d}}x} } + 2\int_{{l_2}}^1 {\int_0^{\sqrt {1 - {x^2}} } {k\left( {{x^2} + 2{y^2} - 1} \right){\text{d}}y{\text{d}}x} } \\ \end{gathered} \right. $$ (5) 最终求解得到：
$$ \left\{ \begin{gathered} {{Z'}_{00}} = h{\text{π }} + \Delta k\left[ {\arcsin ({l_1}) - \arcsin ({l_2}) + {l_1}\sqrt {1 - l_1^2} - {l_2}\sqrt {1 - l_2^2} } \right] + k\left[ {\frac{{\text{π }}}{2} - {l_2}\sqrt {1 - l_2^2} - \arcsin ({l_2})} \right] \\ {{Z'}_{11}} = \frac{{2\Delta k}}{3}\left[ {\sqrt {{{\left( {1 - l_1^2} \right)}^3}} - \sqrt {{{\left( {1 - l_2^2} \right)}^3}} } \right] + \frac{{2k}}{3}\sqrt {{{\left( {1 - l_1^2} \right)}^3}} \\ {{Z'}_{20}} = \frac{2}{3}\left[ {k{l_2}\sqrt {{{\left( {1 - l_2^2} \right)}^3}} - \Delta k\left( {l_1^3\sqrt {1 - l_1^2} - l_2^3\sqrt {1 - l_2^2} - {l_1}\sqrt {1 - l_1^2} } \right) + {l_2}\sqrt {1 - l_2^2} } \right] \\ \end{gathered} \right. $$ (6) 式中：${l_1}$表示从图像原点到边缘部分下边界的距离；${l_2}$表示从图像原点到边缘上边界的距离；h 表示背景灰度；k 表示背景与前景之间的灰度差；$\Delta k$表示边缘区域灰度的均值。
按照式（6）求得新的子像素边缘为
$$ {l_m} = \dfrac{{{Z_{20}}}}{{{{Z'}_{11}}}} = \dfrac{{\left( {1 - \dfrac{{{\Delta }k}}{k}} \right){l_2}\left( {1 - l_2^2} \right)\sqrt {1 - l_2^2} + \dfrac{{{\Delta }k}}{k}{l_1}\left( {1 - l_1^2} \right)\sqrt {1 - l_1^2} }}{{\dfrac{{{\Delta }k}}{k}\sqrt {{{\left( {1 - l_2^2} \right)}^3}} + \left( {1 - \dfrac{{{\Delta }k}}{k}} \right)\sqrt {{{\left( {1 - l_2^2} \right)}^3}} }} $$ (7) 式中$\Delta k$为边缘过渡段灰度的平均值。根据式(2)和式(3)可以得到新模型下求解的亚像素坐标为
$$ \left[ {\begin{array}{*{20}{l}} {{x_s}} \\ {{y_s}} \end{array}} \right] = \left[ {\begin{array}{*{20}{l}} x \\ y \end{array}} \right] + \frac{N}{2}{l_m}\left[ {\begin{array}{*{20}{c}} {\cos \theta } \\ {\sin \theta } \end{array}} \right] $$ (8) 2.2 阶跃阈值自适应提取算法
针对传统Zernike矩需要人为输入阶跃阈值的问题，提出一种阶跃阈值自适应算法。首先得到所有候选点的k值，然后计算出每个点7×7范围内所有k值的均值m和标准差$\sigma $。在实际图像中边缘是连续分布的，根据正态分布规律，在1个标准差范围内的值可以代表68.2%的点，这样每个点的最终阶跃阈值范围为${k_{\text{T}}} = m \pm \sigma $，当点的k值在${k_{\text{T}}}$范围内，即可判断它为边缘点。
通过自适应计算得到阶跃阈值${k_{\text{T}}}$，解决了人工输入阈值可能造成边缘检测不准确的问题，在每个7×7小区域内的边缘都能被准确检测，得到的整幅光斑图像边缘更为精确,。因为阈值自适应提取的标准是7×7范围的均值和标准差，所以具有较强的普适性。
3 实验与数据分析
远场激光中心检测系统示意图如图3(a)所示。通过探测阵列靶中嵌入红外InGaAs探测器接收激光，并通过图像处理得到完整的激光光斑图像。由于大气的吸收、衰减和湍流等因素和激光器本身光学系统和结构的误差，获得的激光光斑并不是理想的圆形高斯光斑，而是一个不规则的形状，实验获得的图像如图3(b)所示。
![]()
图 3 远场激光中心检测系统实验示意图Figure 3. Experimental diagram of far-field laser spot center detection system本文通过使用logistic边缘模型的Zernike矩进行亚像素级边缘检测，可获得精确的亚像素边缘。最后通过最小二乘法椭圆拟合的方式，对亚像素边缘进行椭圆拟合[17]，确定光斑的中心位置。
为了能够正确评价所设计的算法识别中心的精确性，根据文献[18]中的方法，将激光光斑的中心理解为最大能量覆盖圆的圆心，作为标称值，检测到的光斑中心精度在1 pixel级别。首先建立1个面积和原始图像面积相同的圆形掩模，然后圆形掩模在原始图像上滑动遍历，能量之和最大的圆的圆心就是检测到的光斑中心，算法过程示意图如图4所示。
通过使用质心法、传统Zernike边缘检测椭圆拟合和以及改进后Zernike边缘检测椭圆拟合三种方法对光斑进行分析，给出了5帧光斑图像三种算法识别中心的坐标以及与文献[18]方法之间的误差，如表1所示。由表1可以看出，质心法易受边缘离群值影响，误差在4 pixel左右；传统Zernike矩因对边缘的识别精度不高，误差在2 pixel左右；本文算法引入logistic边缘模型和阶跃阈值自适应算法，精确识别边缘，误差在0.5 pixel左右，对比其他算法误差最小，识别最优。
表 1 不同算法识别中心的坐标以及误差Table 1. Coordinate recognition of centers using different algorithms and errors算法 坐标 光斑1 光斑2 光斑3 光斑4 光斑5 文献[18] 标准坐标 (78,93) (79,93) (78,93) (78,93) (78,93) 质心法 坐标 (75.1424, (74.8204, (75.2993, (76.5744, (75.7874, 91.9414) 91.9414) 92.2102) 91.3654) 92.7104) 误差/pixel 3.047 4.259 2.813 2.169 2.231 传统Zernike矩方法 坐标 (76.2123, (77.9677, (75.9912, (77.7795, (76.8907, 93.6194) 91.8535) 93.4039) 94.1819) 91.7429) 误差/pixel 1.892 1.542 2.450 1.202 1.6765 本文算法 坐标 (78.3731, (78.3854, (78.3901, (78.3546, (78.3781, 93.4190) 93.4112) 93.4050) 93.4190) 93.4052) 误差/pixel 0.561 0.563 0.562 0.535 0.554 在远场大气传输过程中，会受到大气微小扰动的影响。为了验证算法的抗干扰能力，通过不同算法对连续40帧光斑识别中心偏差进行实验，如图5所示。
由图5可知，质心法中心偏差在1.5 pixel以内，在非精密测量领域具有良好的实用性；传统Zernike边缘检测椭圆拟合后中心偏差在2 pixel以内；改进后的Zernike边缘检测算法进行最小二乘法椭圆拟合后，得到的光斑中心偏差在1 pixel以内，表明改进后的算法具有优异的鲁棒性。
![]()
图 5 不同算法在多帧情况下的中心偏移量Figure 5. Center offset of different algorithms at multi frame scenarios4 结论
针对激光系统在远场下受大气影响发生光斑能量不均和边界发散情况，本文在传统Zernike矩边缘检测基础上，使用logistic边缘模型替代传统的阶跃式灰度边缘模型，同时设计自适应阶跃阈值提取算法，减少了人为选择阶跃阈值带来的误差。对传统和改进后算法进行对比实验，实验结果表明：改进后算法的单帧误差在0.5 pixel左右；连续40帧光斑图像采用改进后的算法，中心偏差在1 pixel以内，拥有较高的精度和较强的鲁棒性，在实际工程中有广泛的应用价值。
-
![]()
图 5 小波变换子图像分解示意图
Figure 5. Schematic diagram of wavelet transform sub-image decomposition
![]()
图 8 放射状缺陷图像背景纹理去除效果图
Figure 8. Removal effect diagrams of background texture for radial defect images
-
[1] 宋宇, 张海霞. 微电子机械系统研究领域的最新进展——IEEE MEMS 2018国际会议综述[J]. 太赫兹科学与电子信息学报,2018,16(2):372-378. SONG Yu, ZHANG Haixia. The latest progress in the research field of MEMS—Overview of IEEE MEMS 2018 International Conference[J]. ,2018,16(2):372-378.
[2] 申小萌. MEMS技术在电子通信产业中的意义初探[J]. 中国新通信,2016,18(7):98-99. doi: 10.3969/j.issn.1673-4866.2016.07.074 SHEN X M. The significance of MEMS technology in electronic communication industry[J]. China New Telecommunications,2016,18(7):98-99. doi: 10.3969/j.issn.1673-4866.2016.07.074
[3] 宗艳芬. 基于计算机视觉的微小零件质量检测系统和方法研究[D]. 哈尔滨: 哈尔滨理工大学, 2017. ZONG Yanfen. The quality detection system and method of computer based on microscopic vision[D]. Harbin: Harbin University of Science and Technology, 2017.
[4] XIE Xianghua. A review of recent advances in surface defect detection using texture analysis techniques[J]. ELCVIA Electronic Letters on Computer Vision and Image Analysis,2008,7(3):1-22. doi: 10.5565/rev/elcvia.268
[5] PAN Zhongliang, CHEN Ling, ZHANG Guangzhao. IC wafer defect detection using image segmentation based on cultural algorithms[J]. SPIE,2008,7130:713046-1-6.
[6] HU Guanghua, WANG Qinghui, ZHANG Guohui. Unsupervised defect detection in textiles based on Fourier analysis and wavelet shrinkage[J]. Applied Optics,2015,54(10):2963-2980. doi: 10.1364/AO.54.002963
[7] 刘西峰. 基于图像配准的晶圆表面缺陷检测[J]. 仪器仪表与分析监测,2020(3):1-4. doi: 10.3969/j.issn.1002-3720.2020.03.001 LIU Xifeng. Inspection of IC wafer defects based on image[J]. Instrumentation·Analysis·Monitoring,2020(3):1-4. doi: 10.3969/j.issn.1002-3720.2020.03.001
[8] TSAI D M, WU S C, LI W C. Defect detection of solar cells in electroluminescence images using Fourier image reconstruction[J]. Solar Energy Materials and Solar Cells,2012,99:250-262. doi: 10.1016/j.solmat.2011.12.007
[9] 刘丽, 匡纲要. 图像纹理特征提取方法综述[J]. 中国图象图形学报,2009,14(4):622-635. doi: 10.11834/jig.20090409 LIU Li, KUANG Gangyao. Overview of image textural feature extraction methods[J]. Journal of Image and Graphics,2009,14(4):622-635. doi: 10.11834/jig.20090409
[10] HARIKUMAR R, VINOTH KUMAR B. Performance analysis of neural networks for classification of medical images with wavelets as a feature extractor[J]. International Journal of Imaging Systems and Technology,2015,25(1):33-40. doi: 10.1002/ima.22118
[11] HU Guanghua. Optimal ring Gabor filter design for texture defect detection using a simulated annealing algorithm[C]//2014 International Conference on Information Science, Electronics and Electrical Engineering. April 26-28, 2014, Sapporo, Japan: IEEE, 2014: 860-864.
[12] 丛家慧, 颜云辉, 董德威. Gabor滤波器在带钢表面缺陷检测中的应用[J]. 东北大学学报(自然科学版),2010,31(2):257-260. doi: 10.3969/j.issn.1005-3026.2010.02.027 CONG Jiahui, YAN Yunhui, DONG Dewei. Application of Gabor filter to strip surface defect detection[J]. Journal of Northeastern University (Natural Science),2010,31(2):257-260. doi: 10.3969/j.issn.1005-3026.2010.02.027
[13] JING Junfeng, CHEN Shan, LI Pengfei. Fabric defect detection based on golden image subtraction[J]. Coloration Technology,2017,133(1):26-39. doi: 10.1111/cote.12239
[14] TSAI Z D, PERNG M H. Defect detection in periodic patterns using a multi-band-pass filter[J]. Machine Vision and Applications,2013,24(3):551-565. doi: 10.1007/s00138-012-0425-5
[15] OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems, Man, and Cybernetics,1979,9(1):62-66. doi: 10.1109/TSMC.1979.4310076
-
期刊类型引用(5)
1. 郭俊超，韩耀锋，张晓辉，李龙骧，王诚，寿少峻，马世伟，孙翌乔. 机载130 mJ激光照射器的脉冲驱动电源设计. 激光杂志. 2024(09): 14-18 . 
百度学术
2. 邹景岚，梁广，高俊光，张启鹏. 基于重要目标防护激光诱偏弹道仿真分析与运用研究. 激光与红外. 2023(06): 927-932 . 百度学术
3. 孙春生，张爽，张晓晖，唐勇. 自然地物假目标的有效引偏空域及应用. 兵工学报. 2021(03): 581-587 . 百度学术
4. 余慧娟，韦学中，刘相新，黎兰. 地面军事车辆主动对抗技术需求与应用. 现代防御技术. 2021(03): 86-91+114 . 百度学术
5. 梁巍巍，殷瑞光，郭豪. 激光角度欺骗干扰诱饵设备测试仿真研究. 激光与红外. 2021(12): 1654-1658 . 百度学术
其他类型引用(1)
下载:
计量
- 文章访问数: 550
- HTML全文浏览量: 241
- PDF下载量: 35
- 被引次数: 6
陕公网安备 61011302001501号 