Alignment automation of observation point in automatic measurement on parallax of helmet mounted display
-
摘要: 自动测量头盔显示器的视差时,用CCD相机取代人眼的主观读取,由于机器视觉不如人眼灵活,CCD相机在人眼观察点才能确保移动时采集的图像是完整的,从而保证全视场的视差测量。该文提出采用模式搜索法在头盔显示器光学平面内实现CCD相机自动对准人眼观察点(眼位点),从而实现头盔显示器全视场视差的自动测量。对该自动测量系统的测量原理,以及CCD相机自动对准眼位点的实现过程进行了详细论述与说明,对测量精度与效率,对准精度与重复定位精度进行了实验分析。实验结果表明,该方法能够快速、准确、自动地对准眼位点,定位精度为±0.071°,与摆头法测量视差系统进行对比实验,全视场视差测量效率高,重复精度高。Abstract: In order to ensure the whole field of view parallax can be measured, the charged-coupled device (CCD) camera which replaces eye must be located at the observation position (eye point) because the machine vision is not as flexible as the human eye, when the parallax of helmet mounted display is measured automatically. A pattern search method was proposed to make CCD camera locate at the observation position automatically in the optical plane of the helmet mounted display (HMD). Thus, the parallax of the helmet mounted display in the whole field of view can be measured automatically. The principle of the automatic measurement system was discussed in detail, and the process of CCD camera aligning observation point automatically was introduced in detail. Then the measurement precision and efficiency were also analyzed experimentally, as well as the alignment accuracy and repetitive positioning accuracy. The experimental results show that the method can ensure the CCD locate at eye point accurately with high efficiency. The positioning accuracy is ±0.071°.Compared with the pendulum method to measure parallax, it has high measuring efficiency and high repetitive positioning precision.
-
引言
在工程领域,单一参量的测量往往比较容易,有多种成熟的技术可以选择,而多参量的同时测量则较为困难。通常通过组合多种测量技术进行多参量的测量,但如此则无法满足多技术同时同位置测量的要求。而工程中多参量的测量非常必要,比如当测量材料和结构的力学特性时,通常需要同时测量其全场形貌和微变形的分布,如此可以更加全面地反映被测对象的特性,同时还可以提高检测效率。例如在航天领域,航天器高精度抛物面天线是航天器与地面沟通的唯一装置,主要用于传导天地之间的电信号,其型面精度和变形量直接关系到传导精度。因此,在制造过程中对形貌和变形量的全场测量非常关键。又比如用于抓取捕获对接舱的航天机械臂末端关节,其结构尺寸精度和变形量直接关系到能否成功抓取,因此需要对形貌和变形进行精确测量。在其他领域同样存在许多例子需要进行全场形貌和变形的同时测量。可见,全场形貌和变形的同时测量技术能够满足包括国家重大工程在内的众多工程的测试需求,具有重要的研究价值。光学测量方法容易实现全场测量,同时具有高精度和非接触等优点,是理想的全场形貌和变形测量方法。
随着工业技术的飞速发展以及现代工艺生产水平的提高,物体的外形设计趋于多样化,物体表面形貌的测量备受广大研究者的关注。典型的形貌测量方法采用三坐标测量机和柔性关节臂等工具进行扫描测量,无法实现全场测量,测量精度虽高,但却存在测量速度慢、价格昂贵、对环境较敏感及易对物体造成损伤等缺点。形貌的全场测量主要采用光学测量方法,主要包括激光干涉法和数字条纹投影法(digital fringe projection, DFP)等。激光干涉法测量精度高,但主要针对光学器件,测量对象较少,且难以实现大面积物体的测量[1]。数字条纹投影法通过主动向被测物投射光栅条纹,根据所得到的图像分布并结合光学三角原理计算表面形貌,具有系统简单、成本低、容易实现等优点,广泛应用于物体形貌测量中[2-3],并在计算机视觉、生物医学、考古、逆向工程等实际应用中发挥了重要作用[4-5]。
物体表面微变形的测量方法有很多,包括莫尔条纹法、数字图像相关法和数字散斑干涉法(digital speckle pattern interferometry, DSPI)等等。莫尔条纹法是利用莫尔条纹的光学放大原理,实现表面变形的全场测量,方法简单,抗干扰能力强,但测试灵敏度低[6]。数字图像相关法通过图像相关运算跟踪物体表面的随机散斑,计算全场变形和应变,方法简单,但散斑不易制造且容易改变被测物本身的属性,测试灵敏度也偏低[7]。数字散斑干涉法基于光学干涉原理进行测量,利用变形引起的干涉相位变化进行测量,具有适用对象广,测量灵敏度高等特点,其三维变形测试分辨率达到数十纳米,是理想的微变形测试技术[8-10],在航空航天[11]、精密机械[12]以及其他精密测量领域都有重要的应用。
本文设计一种集成光路,通过光路复用方法在一个光路中同时实现数字条纹投影和数字散斑干涉技术,利用一个相机采集物体表面图像,从而实现了物体表面形貌和变形的同时同位置测量。测试系统简单,并且可靠性较高。
1 数字条纹投影技术原理
1.1 形貌测量原理
图 1是数字条纹投影系统的结构图,由计算机编码正弦条纹图案,投影仪对参考平面和物体分别投影正弦条纹图,由CCD相机采集条纹图并提取相位,参考相位与被测物体相位相减后得到表示物体高度的相位,物体相位分布与高度关系为
$$ h\left( {x, y} \right) = \frac{{L \cdot \Delta \varphi \left( {x, y} \right)}}{{2{\rm{ \mathit{ π} }} \cdot \frac{d}{P} + \Delta \varphi \left( {x, y} \right)}} $$ (1) 式中:h(x, y)为物体的高度分布;Δφ(x, y)为物体的相位变化量;L为相机光心到参考平面的垂直距离;d为投影光源与相机光心之间的距离;P为投影条纹间距。
1.2 相位提取技术
数字条纹投影通过建立相位与物体高度信息之间的关系,从而求取物体表面形貌,因此相位求解是关键技术。
求解相位的方法有很多,其中最常用的是时间相移技术,即在时间序列上采集多幅条纹图,通过在相邻2幅图像之间引入特定的相位变化来实现相移。根据相移量和算法的不同,该技术可分为三步相移、四步相移、五步相移等等,其中四步相移法是目前应用比较广泛且计算相对简便的方法。
四步相移法通过控制投影光栅的移动,在相邻两幅图之间引入π/2(即P/4条纹移动量)的相移量,当条纹投影到参考平面时记录4幅条纹图,其强度分别为
$$ \begin{array}{l} {I_{0i}}\left( {x, y} \right) = a\left( {x, y} \right) + b\left( {x, y} \right)\cos \left[ {{\varphi _0}\left( {x, y} \right) + \frac{{\rm{ \mathit{ π} }}}{2}\left( {i - 1} \right)} \right]\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\left( {i = 1, 2, 3, 4} \right) \end{array} $$ (2) 式中:a(x, y)是背景光强;b(x, y)是与对比度相关的系数;φ0(x, y)是参考相位。联立以上式子可得相位:
$$ {\varphi _0}\left( {x, y} \right) = \arctan \frac{{{I_{04}} - {I_{02}}}}{{{I_{01}} - {I_{03}}}} $$ (3) 同理将参考平面更换为被测物体,可得相位φ1(x, y)。
最终得到相位变化量为
$$ \Delta \varphi \left( {x, y} \right) = {\varphi _1}\left( {x, y} \right) - {\varphi _0}\left( {x, y} \right) $$ (4) 由于在求解相位的过程中用到了反正切函数,得到的相位值是在[-π, π)之间的包裹相位,并非实际相位值,因此需要对其进行解包裹运算,得到连续相位才能用于物体形貌测量中。
2 数字散斑干涉技术原理
在数字散斑干涉测量过程中,激光器发出相干光经分光镜分成两束:一束作为物光经扩束镜扩束照亮物体表面后产生漫反射;另一束作为参考光与反射的物光在相机图像传感器表面发生干涉,由相机记录散斑干涉图。
相机采集到的物体变形前的散斑图强度为
$$ I = {I_0}\left( {I + \gamma \cos \theta } \right) $$ (5) 式中:θ=ϕ0-ϕr为物光和参考光之间的相位差;${I_0} = a_o^2 + a_r^2 $为背景强度;$\gamma = \frac{{2{a_o}{a_r}}}{{a_o^2 + a_r^2}} $为对比度。
物体变形后的光强为
$$ I' = {I_0}\left[ {1 + \gamma \cos \left( {\theta + \mathit{\Delta }} \right)} \right] $$ (6) 式中,Δ=(ϕo-ϕr)-(ϕ′o-ϕ′r)=ϕo-ϕ′o是物体变形后引起的相位变化。
相位差与物体变形之间的关系为
$$ \begin{array}{l} \mathit{\Delta } = \frac{{2{\rm{ \mathit{ π} }}}}{\mathit{\lambda }}d \cdot s = \frac{{2{\rm{ \mathit{ π} }}}}{\mathit{\lambda }}\left( {Au + B\upsilon + Cw} \right) = \\ \;\;\;\;\;\frac{{2{\rm{ \mathit{ π} }}}}{\mathit{\lambda }}\left[ {\left( {\sin \alpha } \right)u + \left( {1 + \cos \alpha } \right)w} \right] \end{array} $$ (7) 式中:s=(A, B, C)T为灵敏度矢量;而d=(u, v, w)为物体的变形矢量;u, v为面内变形量;w为面外变形量;λ为激光波长;α为入射角。当α非常小时,可得:$ \mathit{\Delta } = \frac{{4{\rm{ \mathit{ π} }}}}{\mathit{\lambda }}w$。由此可以得到物体面外变形量为
$$ w = \frac{\lambda }{{4{\rm{ \mathit{ π} }}}}\mathit{\Delta } $$ (8) 根据(8)式可知,要想求得物体变形量,关键是要对相位进行求解。数字散斑干涉法采用与数字条纹投影类似的方法进行相位求解,不同的是,数字散斑干涉通过压电陶瓷驱动平面镜移动来改变参考光的光程,从而引入特定的相位变化产生四步相移;而数字条纹投影则是通过光栅条纹移动,即每次移动光栅周期的1/4来产生相移。
数字散斑干涉测量光路分两种:面外变形测量和面内变形测量。本文讨论面外变形测量,其光路原理图如图 2所示,当激光光源、相机和被测物中心组成的平面在xoz平面时,其灵敏度矢量为(sinα, 0, 1+cosα)。
3 测量实验及结果
实验光路如图 3所示。由计算机生成4幅条纹图,由投影仪投影到物体表面,然后由相机记录这些条纹图;同时激光器发出的光经分光镜分成2束:物光和参考光,2束光发生干涉产生散斑干涉图,由相机采集,即利用一个相机分别采集四步相移条纹图和散斑干涉图,然后由计算机进行处理。实验用到的投影仪型号是EPSON EB-C301MN,分辨率为1 280 pixel×800 pixel,采用CCD相机,其分辨率为1 040 pixel×1 360 pixel,激光器中心波长为532 nm。被测物是由铜片制成的曲率半径为200 mm的曲面。
3.1 物体形貌测量结果
首先由计算机生成4幅正弦光栅条纹图。图 4(a)是相机采集到的投影在被测物体上的条纹图。图 4 (b)是通过计算得到的物体相位包裹图,再应用相位解包裹技术得到被测物体的连续相位图,如图 4(c)所示。将被测物连续相位减去参考平面连续相位即可得到对应于物体表面高度信息的相位差分布图,如图 5(a)所示。最后通过标定得到如图 5(b)所示的物体形貌图。
本实验中条纹间距P=32像素,L=100 mm, d=900 mm, 通过公式(1)可知,每移动一级条纹,高度变化145 μm,而四步相移法的测相分辨率至少可以达到π/10,因此该系统形貌测量分辨率可达7 μm,优于10 μm的测量分辨率。
3.2 物体面外变形测量结果
通过搭建实验光路,对被测物变形进行测量,实验过程中通过旋转螺旋测微丝杆可以使被测物产生一个微小变形,此时相机分别采集物体变形前后的4幅散斑图,通过四步相移技术解相位得到物体的面外变形相位图如图 6所示。相位图解包裹后得到连续相位,最后得到二维面外变形图和三维面外变形图,如图 7(a)、(b)所示。从图 7中可以看出变形量分布在0.11 μm~4.44 μm之间。
数字散斑干涉技术能够实现高精度的变形测量,根据公式(8)可知,其相位图中每一级条纹对应半个波长的变形量,即相位变化2π,变形量为半个波长。考虑到相移技术至少能够实现π/10的测相分辨率,因此传统上该技术能够实现λ/20的变形测量分辨率。本实验系统测量变形的光路与传统数字散斑干涉技术一致,其中激光波长为532 nm,其测量分辨率达到27 nm,优于30 nm的离面变形测量分辨率。
4 结论
本文将数字散斑干涉与数字条纹投影2种技术集成到一个光路中, 从而实现了物体形貌与微变形的同时测量,提高了在实际测量中的工作效率。在本文研究的基础上,未来可基于所测得的表面形貌数据,对微变形数据进行修正,减小数字散斑干涉技术测量非平面物体的测量误差。
-
表 1 自动对准实验结果
Table 1 Automatic alignment experiment results
头盔显示器型号 搜索次数 对准时间 失败次数 成功次数 最快/s 最慢/s A1 1 28 20.1 30.2 A2 0 30 33.4 42.4 B3 0 30 10.2 12.4 B4 1 29 18.2 20.1 C5 1 26 40.9 48.2 C6 0 30 32.6 36.7 表 2 测量结果
Table 2 Measurement result
型号 视场角度度/° 测量次数 自动测量 摆头法测量 时间平均/min 视差值 时间平均/min 视差值 平均 最大/(′) 最小/(′) 平均 最大/(′) 最小/(′) A1 0~8 10 3.8 4.184 4.432 4.033 11 4 6 3 8~20 10 4.6 6.596 6.698 6.384 10 5 7 3 A2 0~8 10 3.7 4.391 4.581 4.200 12 4 5 3 8~20 10 3.5 8.199 8.307 8.011 13 4 8 3 B1 0~8 10 4.0 4.612 4.788 4.434 12 5 8 4 8~20 10 4.1 12.279 12.456 12.011 13 5 7 3 B2 0~8 10 4.1 7.087 7.411 6.909 10 5 7 4 8~20 10 4.9 11.314 11.502 11.186 11 5 8 3 C1 0~8 10 3.9 10.245 10.332 10.019 10 4 6 3 8~20 10 3.5 15.506 15.781 15.413 11 3 5 2 C2 0~8 10 4.1 3.708 3.864 3.581 0 13 4 5 3 8~20 10 4.6 9.626 9.798 9.439 0 13 5 8 4 -
[1] 李华, 张新, 王超, 等.自由曲面机载头盔显示器光学系统设计[J].光学学报, 2014, 34(3): 0322001. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=gxxb201403034 LI Hua, ZHANG Xin, WANG Chao, et al. Optical design of an avionic Helmet-Mounted displays using freeform surface[J]. Acta Optica Sinica, 2014, 34(3): 0322001. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=gxxb201403034
[2] 卢海平, 刘伟奇, 康玉思, 等.全景三维立体头盔显示光学系统设计[J].光学学报, 2012, 32(5): 0522002. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=gxxb201205031 LU Haiping, LIU Weiqi, KANG Yusi, et al. Design of compact optical system in panoramic three-dimensional head mounted display[J]. Acta Optica Sinica, 2012, 32(5):0522002. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=gxxb201205031
[3] TUNG K, MILLER M, COLOMBI J, et al. Effect of vibration on eye, head and helmet movements while wearing a helmet mounted display[J]. Journal of the Society for Information Display, 2015, 22(10):535-544. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=10.1002/jsid.286
[4] 杨胜杰, 李晓霞, 刘春华.头盔显示器视差调校的量化研究[J].电光与控制, 2009, 16(5): 86-89. doi: 10.3969/j.issn.1671-637X.2009.05.023 YANG Shengjie, LI Xiaoxia, LIU Chunhua. Study on quantization of parallax adjustment for HMDs[J]. Electronics Optics & Control, 2009, 16(5): 86-89. doi: 10.3969/j.issn.1671-637X.2009.05.023
[5] 刘同明, 夏祖勋, 解洪成.数据融合技术及其应用[M].北京:国防工业出版社, 1998:19l-216. LIU Tongming, XIA Zuxun, XIE Hongcheng.Data fusion technique and its application[M]. BeiJing:National Defense Tndustry Press, 1998:191-216.
[6] 田苗, 刘钧, 高明.基于计算机视觉的平视显示器视差测量方法的研究[J].应用光学, 2008, 29(5): 0740. http://yygx.xml-journal.net/article/id/8425 TIAN Miao, LIU Jun, GAO Ming. Parallax measurement of HUD based on computer vision[J]. Journal of Applied Optics, 2008, 29(5): 0740. http://yygx.xml-journal.net/article/id/8425
[7] 周凤利, 徐丹旸.平视显示器视差自动测量技术研究[J].光电工程, 2012, 39(8): 135-140. doi: 10.3969/j.issn.1003-501X.2012.08.021 ZHOU Fengli, XU Danyang. Auto-testing technology of the HUD optical parallax[J]. Opto-Electronic Engineering, 2012, 39(8): 135-140. doi: 10.3969/j.issn.1003-501X.2012.08.021
[8] 李建超, 高明, 张维光, 等.平显视差测量系统的设计与实现[J].应用光学, 2011, 32(4): 718-722. doi: 10.3969/j.issn.1002-2082.2011.04.025 LI jianchao, GAO Ming, ZHANG Weiguang, et al. Design and implementation of parallax measuring apparatus for head-up display[J]. Journal of Applied Optics, 2011, 32(4): 718-722. doi: 10.3969/j.issn.1002-2082.2011.04.025
[9] 王立伟, 汪健甄.国外军用飞机平视显示器的发展[J].红外与激光工程, 2007, 36(z2):578-582. doi: 10.3969/j.issn.1007-2276.2007.z2.149 WANG Liwei, WANG Jianzhen. Development of HUDs on military aircraft in advanced countries[J]. Infrared and Laser Engineering, 2007, 36(z2):578-582. doi: 10.3969/j.issn.1007-2276.2007.z2.149
[10] 刘钧, 田苗.平视显示器视差测量仪的光学系统设计[J].西安工业大学学报, 2008, 28(6):521-525. doi: 10.3969/j.issn.1673-9965.2008.06.003 LIU Jun, TIAN Miao.The optical system design of the HUD parallax measurement[J]. Journal of Xi'an Technological University, 2008, 28(6):521-525. doi: 10.3969/j.issn.1673-9965.2008.06.003
[11] 佟静波, 崔庆丰, 薛常喜, 等.离轴双通道头盔显示器光学系统设计[J].光学学报, 2010, 30(9): 2662-2667. http://d.old.wanfangdata.com.cn/Periodical/jgzz201806023 TONG Jingbo, CUI Qingfeng, XUE Changxi, et al. Optical design of a offaxis dualchannel helmet mounted display[J]. Acta Optica Sinica, 2010, 30(9): 2662-2667. http://d.old.wanfangdata.com.cn/Periodical/jgzz201806023
[12] ZHANG X L, ZHOU Q H, WANG Y. An efficient pattern search method[J]. Journal of Applied Mathematics and Physics, 2013, 01(4):68-72. http://d.old.wanfangdata.com.cn/NSTLQK/NSTL_QKJJ028006139/
[13] LI P L, LU H. Pattern search method and artificial neural network prediction of double ellipsoid Heat source of submerged arc welding[J]. Advanced Materials Research, 2011, 201-203:1825-1833. doi: 10.4028/www.scientific.net/AMR.201-203.1825
[14] MILOUA R, KEBBAB Z, CHIKER F, et al.Determination of layer thickness and optical constants of thin films by using a modified pattern search method[J]. Optics Letters, 2012, 37(4):449-51. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=24ca038670d0050b8bc8c11174c55a14
-
期刊类型引用(4)
1. 袁烨,冯奇斌,吕国强. 用于头盔显示液晶像源的透镜薄膜设计与制备. 应用光学. 2021(01): 182-187 . 本站查看
2. 冯奇斌,李德华,肖慧丽,王梓,吕国强. 基于扩展光源的视角偏转膜表面微结构设计. 光学精密工程. 2021(06): 1329-1336 . 百度学术
3. 季洪雷,陈乃军,王代青,张彦,葛子义. Mini-LED背光技术在电视产品应用中的进展和挑战. 液晶与显示. 2021(07): 983-992 . 百度学术
4. 张昕,吴佩雯,肖书平,陈琦,邱天,符晓,宁洪龙. 显示驱动芯片原理及发展现状. 液晶与显示. 2020(11): 1156-1167 . 百度学术
其他类型引用(2)