Extraction of incoherent linear structured light stripe center on metal surface
-
摘要:
采用线结构光法测量金属表面形貌时,由于受到金属表面光学特性和散斑噪声的影响,条纹中心的提取误差往往较大。为此,提出了一种非相干线结构光形貌测量方法,避免了散斑噪声的影响。通过分析该方法测量金属表面形貌时的条纹图像特点,提出一种适合非相干线结构光条纹的中心提取方法。该方法首先采用结合积分图像原理的自适应阈值分割算法,对原条纹图像进行分割。采用灰度重心法粗提取原条纹中心坐标,以该坐标为基准向条纹宽度方向延伸,从而确定阈值分割后条纹图的感兴趣区和背景区,并去除背景区的噪声。经中值滤波后,采用几何中心法提取条纹中心。实验结果表明:采用该方法提取粗糙度样块表面非相干光条纹中心的平均误差为1.5 μm,提取齿轮渐开线样板表面非相干光条纹中心的平均误差为0.9 μm,均比其线激光条纹中心的提取误差小。所提方法能实现金属表面非相干线结构光条纹中心的精确提取。
Abstract:When the metal surface profile is measured by the linear structured light method, the extraction error of stripe center is often large due to the influence of optical properties and speckle noise of metal surface. Therefore, a profile measurement method that used incoherent linear structured light was proposed, which could avoid the influence of speckle noise. A corresponding method for extracting the center of incoherent linear structured light stripe was proposed by analyzing the characteristics of metal surface profile stripe images. Firstly, the original stripe image was segmented using adaptive threshold segmentation algorithm combined with integral image principle. Then, the center coordinates of original stripe were roughly extracted by gray centroid method. The regions of interest and background of stripe image after threshold segmentation were determined by extending the roughly center to stripe width direction, and the noise in the background region was removed. Finally, the stripe center was extracted by geometric center method after median filtering. The experimental results show that the average error of incoherent light stripe center of roughness specimen surface extracted by proposed method was 1.5 μm and that of involute gear was 0.9 μm, which are both smaller than those of line laser stripes. The proposed method can accurately extract the center of incoherent linear structured light stripe on metal surface.
-
引言
在热能工程、航空航天工程、空调制冷等领域中,广泛存在着液膜流动现象。例如喷雾冷却中的液膜[1]、柴油机气缸中的油膜[2]以及磁约束核聚变实验堆中的液态金属锂膜[3]等。液膜形成的位置、厚度及流速等能够显著影响工业过程中的流动特性、换热特性、燃烧特性及摩擦特性等性能。比如,航天推力器的燃烧室中推进剂在雾化过程中形成了液膜,对燃烧室壁面温度和内流场有重要影响[4];柴油机气缸油膜变薄易使接触面处于干摩擦状态,从而导致温度升高磨损加剧[2];汽车尾气选择性催化还原系统中,尿素溶液吸附在尾气管壁上,影响SCR系统的催化反应效率[5]。因此,液膜三维形貌的精确测量对于优化工业过程至关重要。国内外学者借助电导法、半导体激光吸收光谱法和激光诱导荧光法等对液膜的厚度场进行了分析[6-8]。工业过程中的液膜具有流动速度快,变化剧烈,厚度不均匀等特点,适用于动态液膜三维形貌高速精确测量的方法有待进一步研究。
结构光三维形貌测量技术具有非接触,灵活性好,精度高和易于计算机控制等优点[9],被广泛应用于生物医学、人脸识别、显微成像等领域[10-12]。傅里叶变换轮廓术是目前应用最为广泛的结构光相位测量技术之一,由Takeda等人首先提出[13]。傅里叶变换轮廓术仅需一帧正弦结构光图像,便可重建物体表面三维形貌,可用于测量动态液膜全场形貌。部分学者已经利用傅里叶变换轮廓术,对动态液面涡旋,自由表面水波,溃坝问题中的水流状况等进行了研究[14-16]。但其在应用过程中,存在着各级频谱混叠、受限于表面光学性能等问题[9]。Li等[17]提出的π相移法能够提高傅里叶变换轮廓术可测的表面高度斜率变化范围,达到了未改进时的3倍。Lin等[18]改进了二维傅里叶变换轮廓术,实现了其对三维砂体形状物体的自动测量。Guo等[19]在傅里叶变换中采用绝对相位图,取得了较好的相坐标转换精度。孔祥俊等[20]提出了一种椭圆形的二维非对称滤波器,提高了三维形貌的复原精度。高速三维动态过程测量对正弦条纹投影速率提出了更高的要求。普通投影仪进行灰度投影时,投影速率较慢,无法满足高速测量需求。Zhang等[21]提出了一种利用数字条纹投影技术的超高速结构光三维测量技术,测量频率达到了667 Hz。Liu等[22]提出的快速算法可以以228.3帧/s 的频率生成完整的三维坐标点云。王张颖等[23]将并行四颜色通道条纹投影与傅里叶变换结合,可快速重建非连续复杂面形的形貌。二值条纹离焦投影技术[24]能够减小条纹非线性误差,采用数字投影时极大地提高了投影速率,这一方法在实现高速三维动态过程重建上的优势得以展现[25, 26]。
尽管前人的研究取得了长足进展,采用傅里叶变换方法对液膜三维形貌进行测量时,仍受到物体表面高度变化率、随机噪声以及条纹频率等限制,且液膜的高速动态测量还受到投影频率的影响。为了研究以上因素对物体表面形貌重建精度的影响,本文选用傅里叶变换轮廓术,对缓变表面和非缓变表面进行了模拟分析,并根据模拟结果优化了实验参数,研发构建了高速三维结构光测量系统,测量了竖直壁面下降液膜的表面形貌,重建了其三维动态过程。
1 基本原理
结构光的测量原理如图1所示。投影仪将正弦光栅图形投影到漫反射物体表面,可利用探测器从另一个方向拍摄,得到受物体高度调制的变形光栅图。傅里叶变换轮廓术能够从变形光栅图中获取受高度调制的条纹相位信息,从而得到物体的三维测量结果。
物体表面高度可由相位差分布
$\Delta \phi \left( {x,y} \right)$ 确定[27]$$h\left( {x,y} \right) = \frac{{{l_0}\Delta \phi \left( {x,y} \right)}}{{\Delta \phi \left( {x,y} \right) + 2{{\text{π}}}{f_0}d}}$$ (1) 式中:
$h\left( {x,y} \right)$ 为物体表面高度分布;${l_0}$ 为参考平面与探测器间距;${f_0}$ 为条纹的空间频率;$d$ 为投射光轴与探测器光轴间距。当投射正弦条纹时,探测器获取的条纹分布
$I\left( {x,y} \right)$ 可表示为[27]$$I\left( {x,y} \right) = I'\left( {x,y} \right) + I''\left( {x,y} \right)\cos \left[ {2{{\text{π}}}{f_0}x + \phi \left( {x,y} \right)} \right]$$ (2) 式中:
$I'\left( {x,y} \right)$ 为背景光强;$I''\left( {x,y} \right)$ 为条纹的对比度;$\phi \left( {x,y} \right)$ 为变形条纹图的相位信息。沿x方向采用傅里叶变换,可得频谱表达式[27]$$G\left( {{f_x},y} \right) = A\left( {{f_x},y} \right) + Q\left( {{f_x} - {f_0},y} \right) + {Q^*}\left( {{f_x} + {f_0},y} \right)$$ (3) 从频谱中提取基频分量,并进行傅里叶逆变换得函数
$q\left( {x,y} \right)$ ,${\phi _0}\left( {x,y} \right)$ 代表参考平面条纹的相位信息,则相位差$\Delta \phi \left( {x,y} \right)$ 为[28]$$\Delta \phi \left( {x,y} \right) \!=\! \phi \left( {x,y} \right) \!-\! {\phi _0}\left( {x,y} \right) \!=\! \arctan \left\{ {\frac{{{\rm{Im}} \left[ {\hat q\left( {x,y} \right)\! \cdot \!{{\hat q}^*}\left( {x,y} \right)} \right]}}{{{\rm{Re}} \left[ {\hat q\left( {x,y} \right)\! \cdot\! {{\hat q}^*}\left( {x,y} \right)} \right]}}} \right\}$$ (4) 式中Im和Re分别为取虚部和实部的函数。物体表面高度的倒数和相位差的倒数之间为线性关系,可以通过下式来拟合[29]
$$\frac{1}{{h\left( {x,y} \right)}} = a\left( {x,y} \right) + b\left( {x,y} \right)\frac{1}{{\Delta \phi \left( {x,y} \right)}}$$ (5) 通过最小二乘法,可确定式中系数
$a\left( {x,y} \right)$ 和$b\left( {x,y} \right)$ 的最优值。2 模拟仿真
2.1 物体高度变化率的影响
高度变化率是影响傅里叶变换轮廓术可测范围的主要因素之一。Takeda等[13]提出仅当物体表面高度变化率符合(6)式时,才能通过傅里叶变换轮廓术进行准确的三维重建。
$${\left| {\frac{{\partial h\left( {x,y} \right)}}{{\partial x}}} \right|_{\max }} < \frac{{{l_0}}}{{3d}}$$ (6) 模拟计算中,假设投影仪和探测器的间距
$d{\rm{ = }}100\;{\rm{mm}}$ ,探测器和参考平面间距${l_0}{\rm{ = }}100\;{\rm{mm}}$ ,正弦条纹的周期为20像素,探测器的分辨率为500×500像素。缓变表面的高度变化率满足(6)式,假设其形状为
$$z\left( {x,y} \right) = \cos \left( {2{{\text{π}}}x/50} \right)$$ (7) 假设视场实际大小为50×50 mm2,图2(a)为(7)式的缓变表面实际形貌,图2(b)为受其高度调制后的条纹图。三维结构重建的相位误差分布和高度误差分布如图2(c)和图2(d)所示。三维结构重建的平均相位误差为−4.99×10−16 rad,平均高度误差为−1.55×10−15 mm。缓变表面的各级频谱之间不易混叠,因此采用傅里叶变换轮廓术可以准确地重建三维结构。
非缓变表面的高度变化率不满足(6)式,假设其模拟形状为
$$\begin{array}{l} z\left( {x,y} \right) = 3{\left( {1 - x} \right)^2}{\rm{exp}}\left[ { - {x^2} - {{\left( {y + 1} \right)}^2}} \right] - 10\left( {\dfrac{x}{5} - {x^3} - {y^5}} \right)\\ \;\;\;\;\;\;\;\;\;\;{\rm{exp}}\left( { - {x^2} - {y^2}} \right) - \dfrac{1}{3}{\rm{exp}}\left[ { - {{\left( {x + 1} \right)}^2} - {y^2}} \right] \end{array} $$ (8) 假设视场实际大小为60×60 mm2,图3(a)为(8)式所代表的非缓变表面实际形貌,图3(b)为受其高度调制后的条纹图。三维结构重建的相位误差分布和高度误差分布如图3(c)、图3(d)所示,平均相位误差为6.05×10−6 rad,平均高度误差为2.09×10−5 mm,最大绝对相位误差为0.078 8 rad,最大绝对高度误差为0.25 mm。由图3可以看出,非缓变表面的重建误差在两端急剧增大,这主要是因为矩形滤波窗存在边缘截断误差,导致了吉布斯效应。
2.2 随机噪声的影响
为了研究随机噪声对三维结构重建精度的影响,将均值为0,标准差为
$\sigma $ 的高斯分布随机噪声添加到条纹图中。当随机噪声标准差$\sigma {\rm{ = }}0.1$ 时,缓变表面和非缓变表面加入噪声后的变形条纹图如图4(a)和图4(c)所示,图4(b)和图4(d)给出了它们的三维结构重建图。由于噪声的存在,重建后的面形变得粗糙不光滑。对随机噪声标准差
$\sigma $ 为0~0.2范围内的11个工况点进行了模拟研究,得到了表面重建误差与随机噪声标准差之间的关系。图5给出了二者的关系曲线。结果表明,三维重建的相位均方根误差和高度均方根误差均与随机噪声标准差成正相关。2.3 条纹频率的影响
针对上述非缓变表面,探测器的分辨率设为512×512像素,在假设随机噪声的影响可忽略的条件下,研究高度均方根误差随条纹频率的变化规律。模拟中采用矩形滤波窗,窗口半宽为基频与零频间距的2/3。图6给出了高度均方根误差与条纹频率的关系曲线。随着条纹频率增大,重建的高度均方根误差逐渐减小。这是由于条纹频率的增大,致使频谱间距变大,减小了各级频谱之间的混叠的可能性。
3 实验结果及分析
图7为动态液膜测量实验装置,采用高速相机(Phantom v2512)和投影仪(德州仪器DLP4500)搭建了高速三维结构光测量系统。投影仪与高速相机之间通过投影仪的触发信号实现同步拍摄。实验测量液体选用水,针对液面反射率低,具有透射性这一难点,采用微小二氧化钛粉末增强水表面的成像性能。下降壁面选取了玻璃板,并在表面喷涂氧化铝薄层,液膜在壁面上的下降速度控制在0.3 m/s左右。竖直壁面下降液膜流动速度快,普通的灰度投影无法达到所需的投影速率。DLP4500投影仪投影二值图像的最大帧率为4 225 Hz,利用离焦投影技术对黑白二值条纹进行处理,可获取高速投影的正弦条纹,从而满足竖直壁面液膜流动的动态过程测量要求。实验中,高速相机的帧率约为1 600 Hz,投影仪的条纹曝光时间约为330.0 μs。根据模拟仿真结果,投射高频条纹有利于提高测量精度,实验中选择的投射条纹周期为16像素。
为验证高度方向的测量精度,实验选取高度为5 mm的标准量块进行检验。图8给出了量块某截面的高度分布曲线。结果表明高度方向的平均测量误差为0.1 mm,均方根误差为0.081 mm。测量结果与真实值相吻合,具有较高的精度。
图9(a)、图9(b)分别为参考平面条纹图和某时刻t的液膜条纹图。通过对比可以发现,液膜的存在导致条纹出现了变形。图9(c)、图9(d)给出了二者的二维频谱图。采用汉宁窗对基频分量进行分离,求得解包裹后的相位差
$\Delta \phi $ 。进一步对高度方向进行标定,得到其相位分布和三维结构,分别在图10(a)、图10(b)中给出。假设相机初始
$t = 0$ ,${t_1} = 12.47\;{\rm{ms}}$ 、${t_2} = 62.47\;{\rm{ms}}$ 、${t_3} = 112.27\;{\rm{ms}}$ 、${t_4} = 162.16\;{\rm{ms}}$ ,图11给出了以上4个时刻的液膜形貌分布图,图12给出了x方向第260列的截面形状分布曲线,图中${t_5} = 212.06\;{\rm{ms}}$ 。图12表明,随着液膜沿竖直壁面向下流动,液膜厚度呈现先增大后逐步减小的趋势。采用高速相机分析液膜的运动形貌变化,能够准确地重建液膜形貌,具有监测绘制动态过程3D动画的优势。4 结论
基于傅里叶变换轮廓术,研究了物体表面形貌重建精度的影响因素,包括物体表面高度变化率、环境随机噪声以及条纹频率。结果表明,对于高度变化率大于l0/3d的非缓变表面,其重建误差较之缓变表面明显增大。三维结构重建的误差随着环境随机噪声标准差的增大而增大,随着条纹频率的增大而减小。基于模拟仿真结果优化了实验参数,研发构建了高速三维结构光测量系统。使用投影仪高速投影离焦二值条纹,利用高速相机同步拍摄,对竖直壁面下降液膜的表面形貌进行了测量,液膜高度的最大值呈现先增大后减小的趋势。结果表明傅里叶变换轮廓术可以精确测量获得液膜形貌的高速三维动态变化,能够准确地重建其三维结构及其动态过程。
-
[1] YOSHINO H, ABBAS A, KAMINSKI P M, et al. Measurement of thin film interfacial surface roughness by coherence scanning interferometry[J]. Journal of Applied Physics,2017,121(10):105303. doi: 10.1063/1.4978066
[2] SUN J H, ZHANG Y, CHENG X Q. A high precision 3D reconstruction method for bend tube axis based on binocular stereo vision[J]. Optics Express,2019,27(3):2292-2304. doi: 10.1364/OE.27.002292
[3] SCHÖCH A, SAVIO E. High-speed measurement of complex shaped parts by laser triangulation for in-line inspection[M]. Germany: Springer, 2019: 1-22.
[4] 程鑫, 凌鹤, 李硕. 汽车焊缝密封胶条的光条中心提取算法研究[J]. 应用光学,2019,40(5):823-828. doi: 10.5768/JAO201940.0502006 CHENG Xin, LING He, LI Shuo. Light bar center extraction algorithm for automotive weld sealant strips[J]. Journal of Applied Optics,2019,40(5):823-828. doi: 10.5768/JAO201940.0502006
[5] 唐瑞尹. 复杂光学特性表面视觉测量关键技术研究[D]. 天津: 天津大学, 2017. TANG Ruiyin. Study on key techniques of vision measurement for complex optical surface[D]. Tianjin: Tianjin University, 2017.
[6] 余瑞华. 基于线结构光的镜面目标轮廓测量[D]. 成都: 电子科技大学, 2016. YU Ruihua. Contour measurement of specular target based on line structured light[D]. Chengdu: University of Electronic Science and Technology of China, 2016.
[7] 陈宏远, 许小进, 庞静珠, 等. 核燃料棒反光表面条纹自适应中心提取方法[J]. 应用光学,2021,42(1):86-94. doi: 10.5768/JAO202142.0102006 CHEN Hongyuan, XU Xiaojin, PANG Jingzhu, et al. Adaptive center extraction method for reflective surface stripes of nuclear fuel rods[J]. Journal of Applied Optics,2021,42(1):86-94. doi: 10.5768/JAO202142.0102006
[8] ZHANG L, ZHANG Y J, CHEN B. Improving the extracting precision of stripe center for structured light measurement[J]. Optik,2020,207:163816. doi: 10.1016/j.ijleo.2019.163816
[9] 李伟明, 彭国, 高兴宇, 等. 线激光光条中心快速提取算法[J]. 中国激光,2020,47(3):192-199. LI Weiming, PENG Guo, GAO Xingyu, et al. Fast extraction algorithm for line laser strip centers[J]. Chinese Journal of Lasers,2020,47(3):192-199.
[10] 郭雁蓉, 杨剑, 宋文爱, 等. 复杂环境中的线结构光中心提取方法[J]. 计算机工程与设计,2019,40(4):1133-1138. GUO Yanrong, YANG Jian, SONG Wenai, et al. Method for extracting line structured light center in complex environment[J]. Computer Engineering and Design,2019,40(4):1133-1138.
[11] WANG H F, WANG Y F, ZHANG J J, et al. Laser stripe center detection under the condition of uneven scattering metal surface for geometric measurement[J]. IEEE Transactions on Instrumentation and Measurement,2020,69(5):2182-2192. doi: 10.1109/TIM.2019.2921440
[12] 李凤娇, 李小菁, 刘震. 基于多尺度分析的激光光条中心点坐标提取方法[J]. 光学学报,2014,34(11):111-116. LI Fengjiao, LI Xiaojing, LIU Zhen. A multi-scale analysis based method for extracting coordinates of laser light stripe centers[J]. Acta Optica Sinica,2014,34(11):111-116.
[13] 赵博华, 王伯雄, 张金, 等. 粗糙金属表面光条中心提取方法[J]. 光学精密工程,2011,19(9):2138-2145. doi: 10.3788/OPE.20111909.2138 ZHAO Bohua, WANG Boxiong, ZHANG Jin, et al. Extraction of laser stripe center on rough metal surface[J]. Optics and Precision Engineering,2011,19(9):2138-2145. doi: 10.3788/OPE.20111909.2138
[14] 李涛涛, 杨峰, 李石庚, 等. 基于高斯-洛伦兹分峰拟合的线结构光条中心的提取方法[J]. 激光与光电子学进展,2019,56(7):175-184. LI Taotao, YANG Feng, LI Shigeng, et al. Extraction method of line-structured light stripe center based on Gauss-Lorenz decomposition peak fitting[J]. Laser & Optoelectronics Progress,2019,56(7):175-184.
[15] 董磊. 激光三维显示中散斑抑制及散斑测量[D]. 合肥: 中国科学技术大学, 2013. DONG Lei. Speckle suppression in laser three-dimension display and speckle measurement[D]. Hefei: University of Science and Technology of China, 2013.
[16] GOODMAN J W. Speckle phenomena in optics: theory and applications[J]. Kogaku,2009,38(9):482.
[17] 符翔, 张剑, 王维, 等. 一种新的局部阈值分割算法[J]. 计算机应用与软件,2015,32(4):195-197. doi: 10.3969/j.issn.1000-386x.2015.04.046 FU Xiang, ZHANG Jian, WANG Wei, et al. A new local threshold segmentation algorithm[J]. Computer Applications and Software,2015,32(4):195-197. doi: 10.3969/j.issn.1000-386x.2015.04.046
[18] 郎咸朋, 朱枫, 郝颖明, 等. 基于积分图像的快速二维Otsu算法[J]. 仪器仪表学报,2009,30(1):39-43. LANG Xianpeng, ZHU Feng, HAO Yingming, et al. Fast two-dimensional Otsu algorithm based on integral image[J]. Chinese Journal of Scientific Instrument,2009,30(1):39-43.
-
期刊类型引用(7)
1. 王凯,李得睿,向升,程斌. 基于光斑投影3D-DIC的动态液面波高场测量方法研究. 力学学报. 2023(10): 2427-2438 . 百度学术
2. 杜连续,金永. 小波变换轮廓术测量精度影响因素的研究. 机械与电子. 2022(03): 13-16 . 百度学术
3. 张申华,杨延西. 非静态物体的光栅图像投影3D测量方法. 电子测量与仪器学报. 2022(08): 158-166 . 百度学术
4. 夏桂书,吴虹星,魏永超,武兴焜. 旋转状态下的航空发动机叶片形变测量. 中国测试. 2022(12): 40-44 . 百度学术
5. 李雪,陶曾杰,雷琳. 傅里叶变换轮廓术在通信原理课程的教学应用. 实验室研究与探索. 2022(11): 140-144 . 百度学术
6. 夏桂书,武兴焜,魏永超,吴虹星. FTP动态测量航空发动机叶片三维型面. 中国测试. 2021(03): 30-35 . 百度学术
7. 朱荣刚,周健杰,张敏涛,陈鹏. 基于傅里叶变换迭代的条纹延拓方法研究. 金陵科技学院学报. 2021(03): 22-27 . 百度学术
其他类型引用(15)