Nonlinear errors correction based on trapezoidal plus sinusoidal phase shifting algorithm
-
摘要:
相移轮廓术是一种广泛使用的光学三维测量方法，其精度不仅受相位展开算法本身的影响，也受测量系统中投影仪和摄像机的非线性影响。理论上，投射更多的相移条纹可减弱非线性误差的影响，但是增加了测量时间。为了提高误差校正的效率，提出了一种基于梯形正弦相移的测量方法。该方法需要两组改进的梯形相移条纹和一幅正弦条纹。梯形条纹提供图像强度信息和条纹级次信息，图像强度信息用来求取系统的非线性响应曲线，进一步消除系统的非线性。正弦条纹经过希尔伯特变换可求得额外的条纹图像，用来计算截断相位信息。经过校正的截断相位信息，可进一步获取精度较高的三维信息。相较于先前的梯形与正弦误差校正方法，该方法的测量效率提高了28%。
Abstract:The phase shifting profilometry (PSP) is a widely used optical three-dimensional measurement method. Its accuracy is affected not only by the phase unwrapping algorithm, but also by the nonlinearity of the projector and camera in the measurement system. Theoretically, the effect of nonlinear errors can be reduced by projecting more fringes, but definitely increases the measuring time. To improve the efficiency of errors correction, a measurement method based on trapezoidal plus sinusoidal phase shifting was proposed. This method required two groups of improved trapezoidal phase shifting fringes and only one sinusoidal fringe. The trapezoidal fringe provided the information of image intensity and fringe order. The image intensity information could be used to obtain the nonlinear response curve of the system and further eliminate the nonlinearity of the system. The sinusoidal fringe could obtain the additional fringe by Hilbert transform to calculate the truncated phase information, and the corrected truncated phase information could be used to obtain the three-dimensional information with higher precision. Compared with the previous trapezoidal plus sinusoidal errors correction method, the measurement efficiency of proposed method increased by 28%.
-
引言
相移轮廓术（phase shifting profilometry，PSP）是一种有效的光学三维测量方法，在生物医学、工业检测和逆向工程等领域有着广泛的应用[1-3]。通常，PSP系统由投影仪和摄像机构成，投影仪投射一系列周期性图案至目标物体，同时使用摄像机捕捉经过物体调制后的条纹图像[4-5]。在系统无非线性的假设下，调制后的条纹可以通过条纹分析方法获取物体相貌信息[6-7]。但在实际的系统中，由于投影仪和摄像机的使用，获取的图像强度值会发生截断，从而产生非线性误差[8]。
为了获取高精度的三维测量结果，很多学者针对系统的非线性误差提出了解决方案[9]。Huang等人提出对测量系统的亮度进行预标定，获取输入输出亮度值，构建查找表（lookup table，LUT）[10]。这样整个系统的非线性可以通过LUT法进行有效的校正。但是，该校正法针对的是某一固定不变的系统。当测量系统某一变量发生变化时，预标定的参数就无法使用。所以主动校正方法不具有通用性，同时需要人工干预标定。为了减少人工标定操作，Zhang提出使用投射的条纹图像获取系统输入输出强度的LUT[11]。该方法同样会由于环境变化而产生偏离误差。随后Pan推导了N步相移的相位与非线性相位误差的关系，并使用迭代法进行较正[12]，但是该方法需要大量的计算。为了避免非线性对测量的影响，Lei提出了离焦二值条纹测量技术[13]。离焦效应相当于低通滤波器，通过较大程度的透镜离焦可以显著降低投影仪的非线性。一般来说，二值条纹对离焦程度和频率较为敏感，测量精度很大程度上取决于条纹的质量，精度不稳定。
为了解决上述问题，Mo等人提出了复合梯形正弦方法来减少图像的数量，同时能够保证该方法的通用性[14]。但该方法在测量过程中，仍然需要3组相移条纹共9幅图像。对于快速测量来说，9幅图像仍显冗余。基于此，本文提出了优化的梯形正弦相移算法，引入希尔伯特变换，使得一次测量只需要7幅图像，测量的效率提高了28%。
1 相关理论
1.1 三步相移法
N步相移算法因其测量速度快、测量精度高和非接触的优点[15]，而被广泛地应用于相位测量中。在N步相移算法中，三步相移算法是高速三维测量应用中的最佳选择，因为它需要最少的图像来获得绝对相位图。三步相移算法的步长是2π/3，每个条纹的强度值可以表示为
$$ \left\{ \begin{array}{l} {I_1}(x,y) = A(x,y) + B(x,y)\cos (\phi (x,y) - {{2\pi } \mathord{\left/ {\vphantom {{2\pi } 3}} \right. } 3}) \\ {I_2}(x,y) = A(x,y) + B(x,y)\cos (\phi (x,y)) \\ {I_3}(x,y) = A(x,y) + B(x,y)\cos (\phi (x,y) + {{2\pi } \mathord{\left/ {\vphantom {{2\pi } 3}} \right. } 3}) \end{array} \right. $$ (1) 式中：$ A(x,y) $是测量环境背景光强；$ B(x,y) $是条纹的调制度；$ \phi (x,y) $是截断相位；$ (x,y) $是图像坐标点。依据相移算法，$ A(x,y) $、$ B(x,y) $、$ \phi (x,y) $可分别通过下式计算得到（为了公式简洁，后文省略坐标$ (x,y) $）：
$$ A = {{({I_1} + {I_2} + {I_3})} \mathord{\left/ {\vphantom {{({I_1} + {I_2} + {I_3})} 3}} \right. } 3} $$ (2) $$ B = \frac{{\sqrt {3{{({I_1} - {I_3})}^2} + {{(2{I_2} - {I_1} - {I_3})}^2}} }}{3} $$ (3) $$ \phi = \arctan \frac{{\sqrt 3 ({I_1} - {I_3})}}{{2{I_2} - {I_1} - {I_3}}} $$ (4) 通过求解方程（4）可得到截断相位，因为反正切函数的值域范围只有−π到π。2π相位跳变点需要通过相位展开算法消除。相位展开算法的核心问题是获得条纹级次$ k(x,y) $。最终绝对相位可以由（5）式得到。
$$ {\mathit{\Phi }} = \phi + 2\pi \times k $$ (5) 1.2 系统非线性分析
系统非线性引起的误差会影响伪摄像机投影仪标定法的精度，在标定过程中需要对非线性误差进行补偿。一般的结构光系统使用的是基于DMD开发的DLP数字投影仪。它在一定程度上消除了机械光栅的相移步进的相移误差，但引进了由于自身Gamma非线性导致的光栅非正弦化。同时摄像机本身也存在非线性响应，在实际实验中将两者非线性作为一个整体考虑。在测量过程中，摄像机拍摄的过程如图1所示。
忽略环境光对被测物体表面的影响，假设生成的正弦条纹为$ I(x,y) $，那么摄像机拍摄的图像强度分布可表示为
$$ {I_c} = {F_c}\left[ {{F_p}(I)} \right] $$ (6) 式中：$ {F_{\text{c}}} $、$ {F_p} $分别为投影仪和摄像机的非线性响应函数；$ {I_{\text{c}}} $为拍摄得到的图像。经过两次非线性响应后，拍摄图像的非正弦表现为图像的高次谐波。为了简化校正模型，本文中使用多项式模型来表示非正弦化，其中二阶和三阶因素对结果影响最大。该模型可表示为
$$ {I_c} = {e_3}{I^3} + {e_2}{I^2} + {e_1}I + {e_0} $$ (7) 式中：$ {e_{\text{3}}} $、$ {e_{\text{2}}} $、$ {e_{\text{1}}} $、$ {e_{\text{0}}} $为常系数，需要通过拟合得到，在本文中非线性模型的阶数为三。
1.3 希尔伯特变换
希尔伯特变换被广泛地应用在信号处理领域中，一个实函数$ \mu {\text{(}}t{\text{)}} $的希尔伯特变换是将$ \mu {\text{(}}t{\text{)}} $与$ {1 \mathord{\left/{\vphantom {1 {\pi t}}} \right.} {\pi t}} $做卷积，得到另一个实函数$ H(\mu ){\text{(}}t{\text{)}} $：
$$ H(u)(t) = \frac{1}{\pi }\int_{ - \infty }^\infty {\frac{{u(\tau )}}{{t - \tau }}{d_\tau }} $$ (8) 希尔伯特变换可以看作是频域乘法操作：
$$ \mathbb{F}(H(u))(\omega ) = {\delta _H}(\omega ) \times \mathbb{F}(u)(\omega ) $$ (9) 式中：$ \mathbb{F} $表示傅里叶变换操作，$ {\delta _H}(\omega ) $可被定义为
$${\delta _H}(\omega ) = \left\{ {\begin{array}{*{20}{l}} {i = {{\rm{e}}^{i{\pi / 2}}},}&{{\rm{if}}\;\omega {\rm{ < 0}}}\\ {0,}&{{\rm{if}}\;\omega = {\rm{0}}}\\ { - i = {{\rm{e}}^{{{ - i\pi } / 2}}},}&{{\rm{if}}\;\omega > {\rm{0}}} \end{array}} \right. $$ (10) 由上式可知，希尔伯特变换可使信号相位滞后$ {\pi \mathord{\left/{\vphantom {\pi 2}} \right.} 2} $。那么对于正弦信号$ I(x,y) = B(x,y)\cos [\phi (x,y)] $，希尔伯特变换后可得：
$$ H[I(x,y)] = B(x,y)\sin \left[ {\phi (x,y)} \right] $$ (11) 最终截断相位可以由下式计算得到：
$$ \phi (x,y) = \arctan \left\{ {\frac{{H[I(x,y)]}}{{I(x,y)}}} \right\} $$ (12) 1.4 优化的梯形条纹
为了提高条纹解析的效率，Huang提出了梯形相移算法[16]。梯形相移条纹在图像强度变化上不再是正弦曲线，而是呈梯形变化。梯形条纹是基于图像强度编码的，条纹处理速度较快。本文提出使用正弦曲线代替梯形过渡的斜线，通过正弦编码，将其解析的值域扩展为0~6π。改进后的梯形条纹强度可表示为
$$ {T_1}(x,y) = \left\{ \begin{array}{l} A + B \\ A - B\cos [\phi (x,y)] \\ A - B \end{array} \right.\quad \begin{array}{*{20}{l}} {\phi \in [0,\pi ) \cup [5\pi,6\pi ]} \\ {\phi \in [\pi,2\pi ) \cup [4\pi,5\pi ]} \\ {\phi \in [2\pi,4\pi )} \end{array}{\text{ }} $$ (13) $$ {T_2}(x,y) = \left\{ \begin{array}{l} A + B \\ A - B\cos [\phi (x,y)] \\ A - B \end{array} \right.\quad \begin{array}{*{20}{l}} {\phi \in [0,3\pi )} \\ {\phi \in [0,\pi ) \cup [3\pi,4\pi ]} \\ {\phi \in [4\pi,6\pi )} \end{array}{\text{ }} $$ (14) $$ {T_3}(x,y) = \left\{ \begin{array}{l} A + B \\ A - B\cos [\phi (x,y)] \\ A - B \end{array} \right.\quad \begin{array}{*{20}{l}} {\phi \in [3\pi,5\pi )} \\ {\phi \in [2\pi,3\pi ) \cup [5\pi,6\pi ]} \\ {\phi \in [0,2\pi )} \end{array}{\text{ }} $$ (15) 式中：T1、T2、T3为三步相移的梯形条纹，A、B、$ \phi $同上文。三步相移梯形条纹强度分布如图2（a）～（c）所示。将三步相移的梯形条纹相加后，其强度分布如图2（d）所示，同时其可视为如图2（e）～（g）所示3幅图像的复合。所以在获取上述3幅梯形条纹后，可通过下式获取图像最大和最小强度分布图。
$$ {F_{\max}} = \max ({T_1},{T_2},{T_3}) $$ (16) $$ {F_{\min}} = \min ({T_1},{T_2},{T_3}) $$ (17) 从图像生成的原理，可知梯形条纹的区域由6个局部区域组成，这6个局部区域的级次可通过图像强度在局部区域的不同获取，如图3所示。
$$ M(x,y) = \left\{ \begin{array}{l} 1\;, \\ 2\;, \\ 3\;, \\ 4\;, \\ 5\;, \\ 6\;, \\ \end{array} \right.\;\quad \begin{array}{*{20}{l}} {{\rm{if}}\;({T_{\text{1}}} > {T_2} > {T_3})} \\ {{\rm{if}}\;({T_{\text{2}}} > {T_1} > {T_3})} \\ {{\rm{if}}\;({T_2} > {T_3} > {T_1})} \\ {{\rm{if}}\;({T_3} > {T_2} > {T_1})} \\ {{\rm{if}}\;({T_3} > {T_1} > {T_2})} \\ {{\rm{if}}\;({T_{\text{1}}} > {T_3} > {T_2})} \end{array}{\text{ }} $$ (18) 获取的局部级次信息是0、1、2、3、4、5，如果2幅局部级次信息，1幅图像中周期是另一幅图像的6倍，那么可唯一确定36个条纹级次。具体的原理由文中第2节给出。
2 基于梯形与正弦相移的测量方法
为了消除系统非线性对测量精度影响，并进一步提高测量速度，本文提出了梯形与正弦相移相结合的非线性误差校正算法。该方法使用2组改进的梯形相移条纹$ ({T_1},{T_2},{T_3};{T_4},{T_5},{T_6}) $和1幅正弦条纹图$ (I) $。2组改进的梯形相移条纹频率不同，高频条纹频率是低频条纹的6倍。假设图像的深度是8位，高频梯形条纹中$ A + B = 195 $和$ A - B = 55 $;低频梯形条纹中$ A + B = 255 $和$ A - B = 0 $。正弦条纹的背景强度和调制度与低频条纹相同，而其条纹频率是高频梯形条纹6倍，低频梯形条纹的36倍。该方法的流程图如图4所示，图中低频梯形条纹的频率为1。
文中所提方法的主要步骤如下：
1） 使用2组复合梯形条纹是用公式可以获得4幅图像强度不一的图像$ ({F_0},{F_1},{F_2},{F_3}) $，同时利用$ A = {{({F_0} + {F_3})} \mathord{\left/{\vphantom {{({F_0} + {F_3})} 2}} \right.} 2} $可以获取低频条纹图像的背景强度。
2） 4幅图像强度不一的图像作为输出，图像生成时给定的强度值作为输入。由此可建立系统的非线性响应曲线[14]。
3） 利用希尔伯特变换，可以获取原正弦条纹相位滞后的条纹。文中正弦条纹为$ I $，希尔伯特变换后获取的条纹可表示为$ H(I) $，截断相位可以通过公式(12)获取，并使用步骤2获取的非线性响应曲线去校正截断相位。
$$ \phi = \frac{{H(I)}}{{I - A}}{\text{ }} $$ (19) 4） 利用公式，分别获取低频和高频梯形条纹的局部级次$ {M_1} $和$ {M_2}$，那么条纹级次可表示为
$$ k = 6{M_1} + {M_2}{\text{ }} $$ (20) 5）在完成上述步骤后，使用文献[17]方法对条纹级次$ k $存在的相位误差进行消除。利用公式（5），可直接获取非线性校正后的绝对相位。
3 实验结果与分析
为了验证文中方法在实际测量中的有效性，搭建了条纹投影系统。该系统包括DLP Light-Crafter 4500和摄像机Balser a2A1920-160ucBAS，其中投影仪的分辨率为912 pixel×1 140 pixel，摄像机的分辨率为1 920 pixel ×1 280 pixel。实验过程中，梯形低频条纹的频率为1，周期为1 140像素；高频条纹频率为6，周期为190像素；正弦条纹的频率为36。
为了验证文中方法的性能，首先对一个平面进行了测量。将生成的条纹图像，依次投射到光滑的平板上，摄像机同步拍摄经过平板调制后的图像。调制后的低高频条纹及正弦条纹图像分别如图5（a）~（c）所示。利用第2节中所述算法步骤，首先求取非线性响应函数$ y = - 1.31 \times {10^{ - 5}}{x^3} + 0.004\;6{x^2} + x - 1 $。然后获取高频条纹图像的背景强度。正弦条纹图像经过希尔伯特变换后，利用公式（13）可以求取截断相位$ \phi $，如图5（d）所示。随后利用公式，可求得局部级次$ {M_1} $和$ {M_2} $，最终获取整幅图像的条纹级次分布$ k $。$ {M_1} $、$ {M_2} $和$ k $分别如图5（e）~（g）所示。将上述$ \phi $和$ k $代入公式（5），可求得最终的绝对相位${\mathit{ \Phi}} $，如图5（h）所示。
图6展示了对上述平面的重建结果，分别为非线性校正前后的结果。图中可以看出校正后的结果表面更为平滑。为了更清楚地表明校正的效果，图6（c）～（d）显示了校正前后重建结果的第840列的横截面。图中可以看出，校正后的结果，其表面明显更为光滑，而校正前的表面会出现些许的纹波。此外，实验中也对比了文中方法与文献[14]方法的结果，如图6（d）所示。在第840列的横截面上，两种方法的结果几乎完全吻合，再一次佐证了本文方法的有效性。
使用文中方法测量了表面较为复杂的单个雕塑。摄像机采集的图像如图7（a）～（c）所示，依照第2节的算法，可以求出其条纹级次和绝对相位，分别如图7（d）和7（e）所示。依据所求取的非线性响应曲线，可消除表面纹波，重建结果如图7（f）所示。本节实验结果证明了该方法的有效性。
4 结论
本文提出了一种基于梯形与正弦条纹组合使用的非线性校正方法。文中使用2组图像强度不同的梯形条纹，其强度值作为输入求取系统的非线性响应曲线，然后完成系统的校正。希尔伯特变换的使用减少了正弦条纹的数量。与传统方法相比，文中方法使用更少的图像，仍然能够有效获取被测物体的三维形貌，同时测量效率提高了28%。
-
[1] SU Xianyu, ZHANG Qican. Dynamic 3-D shape measurement method: a review[J]. Optics Laser Engineering,2010,48:191-204. doi: 10.1016/j.optlaseng.2009.03.012
[2] GENG J. Structured-light 3D surface imaging: a tutorial[J]. Advances in Opt ics Photonics,2011,3:128-160. doi: 10.1364/AOP.3.000128
[3] DAS AJ, VALDEZ TA, VARGAS JA, et al. Volume estimation of tonsil phantoms using an oral camera with 3D imaging[J]. Biomed Optics Expressss.,2016,7:1445-1457. doi: 10.1364/BOE.7.001445
[4] 刘路, 潘艳娟, 奚冬冬, 等. 相位编码条纹投影轮廓术的相位展开误差校正方法[J]. 应用光学,2020,41(5):910-916. LIU Lu, PAN Yanjuan, XI Dongdong, et al. Phase unwrapping errors correction for phase-encoding based on fringe projection profilometry[J]. Journal of Applied Optics,2020,41(5):910-916.
[5] 王霖, 韩旭, 伏燕军, 等. 用于三维测量的快速相位解包裹算法[J]. 应用光学,2019,40(2):217-277. WANG Lin, HAN Xu, FU Yanjun, et al. Fast phase unwrapping algorithm for 3D measurement[J]. Journal of Applied Optics,2019,40(2):217-277.
[6] 张启灿, 苏显渝. 动态三维面形测量的研究进展[J]. 激光与光电子学进展,2013,50(1):4-17. ZHANG Qican, SU Xianyu. Research progress of dynamic three-dimensional shape measurement[J]. Lasers & Optoelectronics Progress,2013,50(1):4-17.
[7] 马孟超, 邓华夏, 张进, 等. 快速离焦投影三维测量技术[J]. 仪器仪表学报,2017,38(10):2564-2572. doi: 10.3969/j.issn.0254-3087.2017.10.026 MA Mengchao, DENG Huaxia, ZHANG Jin, et al. High speed 3-D shape measurement using projector defocusing[J]. Chinese Journal of Scientific Instrument,2017,38(10):2564-2572. doi: 10.3969/j.issn.0254-3087.2017.10.026
[8] 周利兵. PMP中相移算法与误差分析研究[D]. 成都: 四川大学, 2003. ZHOU Libing. Research on phase shift algorithm and error analysis in PMP [D]. Chengdu: Sichuan university, 2003.
[9] HUANG P S. High-speed 3D shape measurement based on digital fringe projection[J]. Optical Engineering,2003,42(1):163-168. doi: 10.1117/1.1525272
[10] ZHANG Song. Comparative study on passive and active projector nonlinear gamma calibration [J]. 2015, 54(13): 3834-3841.
[11] ZHANG Song, YAU S. Generic nonsinusoidal phase error correction for three-dimensional shape measurement using a digital video projector[J]. Appled Optics,2007,46(1):36-43. doi: 10.1364/AO.46.000036
[12] PAN, BING, QIAN K, et al. Phase error analysis and compensation for nonsinusoidal waveforms in phase-shifting digital fringe projection profilometry[J]. Optics Letters,2009,34(4):416-418. doi: 10.1364/OL.34.000416
[13] LEI Shuangyan, ZHANG Song. Flexible 3D shape measurement using projector defocusing[J]. Optics Letters,2009,34(2):3080-3082.
[14] MO Jianhua, GAO Jian, ZHENG Zhuojun, et al. Robust composite sine-trapezoidal phase-shifting algorithm for nonlinear intensity[J]. Opt Laser Eng.,2020,128:106048. doi: 10.1016/j.optlaseng.2020.106048
[15] ZUO Chao, HUANG Lei, ZHANG Minliang, et al. Temporal phase unwrapping algorithms for fringe projection profilometry: a comparative review[J]. Optics Lasers Engineering.ng.,2016,85:84-103. doi: 10.1016/j.optlaseng.2016.04.022
[16] HUANG Peisen, ZHANG Song, CHIANG Fupen. Trapezoidal phase-shifting method for three-dimensional shape measurement[J]. Optical Engineering,2005,44(12):123601. doi: 10.1117/1.2147311
[17] MA Mengchao, YAO Pengcheng, DENG Huaxia, et al. A simple and practical jump error removal method for fringe projection profilometry based on self-alignment technique[J]. Review of Scientific Instruments,2018,89:123109. doi: 10.1063/1.5051635
-
期刊类型引用(2)
1. 江锐，刘锋，江勇. 基于等间距线的远距离激光测距传感器误差校正. 激光杂志. 2025(02): 88-93 . 
百度学术
2. 吴珊丹，阮福. 基于Hough变换的动态目标物体识别算法研究. 计算机仿真. 2024(08): 200-203+227 . 百度学术
其他类型引用(0)
下载:
计量
- 文章访问数: 629
- HTML全文浏览量: 272
- PDF下载量: 63
- 被引次数: 2
陕公网安备 61011302001501号 