Visual locating of mobile robot based on adaptive down sampling
-
摘要: 视觉定位是移动机器人定位的一个主要发展方向,针对传统视觉定位技术实时性差的问题,提出一种基于自适应下采样的快速视觉定位技术。通过预先得到的尺寸特征,并根据最小分辨尺寸计算下采样率,而后对下一副图像进行下采样及图像分割,根据对象坐标和下采样率确定对象在源图像中所处区域,对源图像该区域进行图像分割和特征提取。将提取的尺寸特征作为下一幅图像的输入,提取的视觉定位所需特征用于机器人的定位解算,由此在保证视觉定位精度的前提下有效减少视觉定位的时间。实验表明,对文中给定图像,传统方法处理100幅图像时间为20.23 s,而文中所述技术对应图像处理时间为1.78 s,仅为传统技术的8.8%,有效减少了图像处理时间,提高了机器人视觉定位的实时性。Abstract: Visual locating technology is one of main development direction of mobile robot locating. Aiming at problem of poor real-time performance of traditional visual positioning technology, this paper proposes a fast visual locating technology based on adaptive down sampling. Down sampling rate is calculated firstly based on previous size characteristic and minimum resolution size. Secondly down sampling and image segmentation are made on next image. Object locating zone in original source image are determined according to coordinates of object and down sampling rate. Then image segmentation and feature extraction of source image of the area are made. Size of feature extraction is taken as an image input, and required features extraction of visual location are taken as robot locating solution. Thus visual positioning time is effectively reduced with ensured visual positioning accuracy. Experiments show that it takes 20.23 s for traditional technology to process 100 figures while it takes 1.78 s for technology given out by this paper, which is only 8.8% of traditional technology. This technology can reduce image processing time effectively and improve real-time performance of mobile robot locating.
-
Keywords:
- mobile robot /
- visual locating /
- figure processing /
- adaptive down sampling
-
引言
在工程领域,单一参量的测量往往比较容易,有多种成熟的技术可以选择,而多参量的同时测量则较为困难。通常通过组合多种测量技术进行多参量的测量,但如此则无法满足多技术同时同位置测量的要求。而工程中多参量的测量非常必要,比如当测量材料和结构的力学特性时,通常需要同时测量其全场形貌和微变形的分布,如此可以更加全面地反映被测对象的特性,同时还可以提高检测效率。例如在航天领域,航天器高精度抛物面天线是航天器与地面沟通的唯一装置,主要用于传导天地之间的电信号,其型面精度和变形量直接关系到传导精度。因此,在制造过程中对形貌和变形量的全场测量非常关键。又比如用于抓取捕获对接舱的航天机械臂末端关节,其结构尺寸精度和变形量直接关系到能否成功抓取,因此需要对形貌和变形进行精确测量。在其他领域同样存在许多例子需要进行全场形貌和变形的同时测量。可见,全场形貌和变形的同时测量技术能够满足包括国家重大工程在内的众多工程的测试需求,具有重要的研究价值。光学测量方法容易实现全场测量,同时具有高精度和非接触等优点,是理想的全场形貌和变形测量方法。
随着工业技术的飞速发展以及现代工艺生产水平的提高,物体的外形设计趋于多样化,物体表面形貌的测量备受广大研究者的关注。典型的形貌测量方法采用三坐标测量机和柔性关节臂等工具进行扫描测量,无法实现全场测量,测量精度虽高,但却存在测量速度慢、价格昂贵、对环境较敏感及易对物体造成损伤等缺点。形貌的全场测量主要采用光学测量方法,主要包括激光干涉法和数字条纹投影法(digital fringe projection, DFP)等。激光干涉法测量精度高,但主要针对光学器件,测量对象较少,且难以实现大面积物体的测量[1]。数字条纹投影法通过主动向被测物投射光栅条纹,根据所得到的图像分布并结合光学三角原理计算表面形貌,具有系统简单、成本低、容易实现等优点,广泛应用于物体形貌测量中[2-3],并在计算机视觉、生物医学、考古、逆向工程等实际应用中发挥了重要作用[4-5]。
物体表面微变形的测量方法有很多,包括莫尔条纹法、数字图像相关法和数字散斑干涉法(digital speckle pattern interferometry, DSPI)等等。莫尔条纹法是利用莫尔条纹的光学放大原理,实现表面变形的全场测量,方法简单,抗干扰能力强,但测试灵敏度低[6]。数字图像相关法通过图像相关运算跟踪物体表面的随机散斑,计算全场变形和应变,方法简单,但散斑不易制造且容易改变被测物本身的属性,测试灵敏度也偏低[7]。数字散斑干涉法基于光学干涉原理进行测量,利用变形引起的干涉相位变化进行测量,具有适用对象广,测量灵敏度高等特点,其三维变形测试分辨率达到数十纳米,是理想的微变形测试技术[8-10],在航空航天[11]、精密机械[12]以及其他精密测量领域都有重要的应用。
本文设计一种集成光路,通过光路复用方法在一个光路中同时实现数字条纹投影和数字散斑干涉技术,利用一个相机采集物体表面图像,从而实现了物体表面形貌和变形的同时同位置测量。测试系统简单,并且可靠性较高。
1 数字条纹投影技术原理
1.1 形貌测量原理
图 1是数字条纹投影系统的结构图,由计算机编码正弦条纹图案,投影仪对参考平面和物体分别投影正弦条纹图,由CCD相机采集条纹图并提取相位,参考相位与被测物体相位相减后得到表示物体高度的相位,物体相位分布与高度关系为
$$ h\left( {x, y} \right) = \frac{{L \cdot \Delta \varphi \left( {x, y} \right)}}{{2{\rm{ \mathit{ π} }} \cdot \frac{d}{P} + \Delta \varphi \left( {x, y} \right)}} $$ (1) 式中:h(x, y)为物体的高度分布;Δφ(x, y)为物体的相位变化量;L为相机光心到参考平面的垂直距离;d为投影光源与相机光心之间的距离;P为投影条纹间距。
1.2 相位提取技术
数字条纹投影通过建立相位与物体高度信息之间的关系,从而求取物体表面形貌,因此相位求解是关键技术。
求解相位的方法有很多,其中最常用的是时间相移技术,即在时间序列上采集多幅条纹图,通过在相邻2幅图像之间引入特定的相位变化来实现相移。根据相移量和算法的不同,该技术可分为三步相移、四步相移、五步相移等等,其中四步相移法是目前应用比较广泛且计算相对简便的方法。
四步相移法通过控制投影光栅的移动,在相邻两幅图之间引入π/2(即P/4条纹移动量)的相移量,当条纹投影到参考平面时记录4幅条纹图,其强度分别为
$$ \begin{array}{l} {I_{0i}}\left( {x, y} \right) = a\left( {x, y} \right) + b\left( {x, y} \right)\cos \left[ {{\varphi _0}\left( {x, y} \right) + \frac{{\rm{ \mathit{ π} }}}{2}\left( {i - 1} \right)} \right]\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\left( {i = 1, 2, 3, 4} \right) \end{array} $$ (2) 式中:a(x, y)是背景光强;b(x, y)是与对比度相关的系数;φ0(x, y)是参考相位。联立以上式子可得相位:
$$ {\varphi _0}\left( {x, y} \right) = \arctan \frac{{{I_{04}} - {I_{02}}}}{{{I_{01}} - {I_{03}}}} $$ (3) 同理将参考平面更换为被测物体,可得相位φ1(x, y)。
最终得到相位变化量为
$$ \Delta \varphi \left( {x, y} \right) = {\varphi _1}\left( {x, y} \right) - {\varphi _0}\left( {x, y} \right) $$ (4) 由于在求解相位的过程中用到了反正切函数,得到的相位值是在[-π, π)之间的包裹相位,并非实际相位值,因此需要对其进行解包裹运算,得到连续相位才能用于物体形貌测量中。
2 数字散斑干涉技术原理
在数字散斑干涉测量过程中,激光器发出相干光经分光镜分成两束:一束作为物光经扩束镜扩束照亮物体表面后产生漫反射;另一束作为参考光与反射的物光在相机图像传感器表面发生干涉,由相机记录散斑干涉图。
相机采集到的物体变形前的散斑图强度为
$$ I = {I_0}\left( {I + \gamma \cos \theta } \right) $$ (5) 式中:θ=ϕ0-ϕr为物光和参考光之间的相位差;${I_0} = a_o^2 + a_r^2 $为背景强度;$\gamma = \frac{{2{a_o}{a_r}}}{{a_o^2 + a_r^2}} $为对比度。
物体变形后的光强为
$$ I' = {I_0}\left[ {1 + \gamma \cos \left( {\theta + \mathit{\Delta }} \right)} \right] $$ (6) 式中,Δ=(ϕo-ϕr)-(ϕ′o-ϕ′r)=ϕo-ϕ′o是物体变形后引起的相位变化。
相位差与物体变形之间的关系为
$$ \begin{array}{l} \mathit{\Delta } = \frac{{2{\rm{ \mathit{ π} }}}}{\mathit{\lambda }}d \cdot s = \frac{{2{\rm{ \mathit{ π} }}}}{\mathit{\lambda }}\left( {Au + B\upsilon + Cw} \right) = \\ \;\;\;\;\;\frac{{2{\rm{ \mathit{ π} }}}}{\mathit{\lambda }}\left[ {\left( {\sin \alpha } \right)u + \left( {1 + \cos \alpha } \right)w} \right] \end{array} $$ (7) 式中:s=(A, B, C)T为灵敏度矢量;而d=(u, v, w)为物体的变形矢量;u, v为面内变形量;w为面外变形量;λ为激光波长;α为入射角。当α非常小时,可得:$ \mathit{\Delta } = \frac{{4{\rm{ \mathit{ π} }}}}{\mathit{\lambda }}w$。由此可以得到物体面外变形量为
$$ w = \frac{\lambda }{{4{\rm{ \mathit{ π} }}}}\mathit{\Delta } $$ (8) 根据(8)式可知,要想求得物体变形量,关键是要对相位进行求解。数字散斑干涉法采用与数字条纹投影类似的方法进行相位求解,不同的是,数字散斑干涉通过压电陶瓷驱动平面镜移动来改变参考光的光程,从而引入特定的相位变化产生四步相移;而数字条纹投影则是通过光栅条纹移动,即每次移动光栅周期的1/4来产生相移。
数字散斑干涉测量光路分两种:面外变形测量和面内变形测量。本文讨论面外变形测量,其光路原理图如图 2所示,当激光光源、相机和被测物中心组成的平面在xoz平面时,其灵敏度矢量为(sinα, 0, 1+cosα)。
3 测量实验及结果
实验光路如图 3所示。由计算机生成4幅条纹图,由投影仪投影到物体表面,然后由相机记录这些条纹图;同时激光器发出的光经分光镜分成2束:物光和参考光,2束光发生干涉产生散斑干涉图,由相机采集,即利用一个相机分别采集四步相移条纹图和散斑干涉图,然后由计算机进行处理。实验用到的投影仪型号是EPSON EB-C301MN,分辨率为1 280 pixel×800 pixel,采用CCD相机,其分辨率为1 040 pixel×1 360 pixel,激光器中心波长为532 nm。被测物是由铜片制成的曲率半径为200 mm的曲面。
3.1 物体形貌测量结果
首先由计算机生成4幅正弦光栅条纹图。图 4(a)是相机采集到的投影在被测物体上的条纹图。图 4 (b)是通过计算得到的物体相位包裹图,再应用相位解包裹技术得到被测物体的连续相位图,如图 4(c)所示。将被测物连续相位减去参考平面连续相位即可得到对应于物体表面高度信息的相位差分布图,如图 5(a)所示。最后通过标定得到如图 5(b)所示的物体形貌图。
本实验中条纹间距P=32像素,L=100 mm, d=900 mm, 通过公式(1)可知,每移动一级条纹,高度变化145 μm,而四步相移法的测相分辨率至少可以达到π/10,因此该系统形貌测量分辨率可达7 μm,优于10 μm的测量分辨率。
3.2 物体面外变形测量结果
通过搭建实验光路,对被测物变形进行测量,实验过程中通过旋转螺旋测微丝杆可以使被测物产生一个微小变形,此时相机分别采集物体变形前后的4幅散斑图,通过四步相移技术解相位得到物体的面外变形相位图如图 6所示。相位图解包裹后得到连续相位,最后得到二维面外变形图和三维面外变形图,如图 7(a)、(b)所示。从图 7中可以看出变形量分布在0.11 μm~4.44 μm之间。
数字散斑干涉技术能够实现高精度的变形测量,根据公式(8)可知,其相位图中每一级条纹对应半个波长的变形量,即相位变化2π,变形量为半个波长。考虑到相移技术至少能够实现π/10的测相分辨率,因此传统上该技术能够实现λ/20的变形测量分辨率。本实验系统测量变形的光路与传统数字散斑干涉技术一致,其中激光波长为532 nm,其测量分辨率达到27 nm,优于30 nm的离面变形测量分辨率。
4 结论
本文将数字散斑干涉与数字条纹投影2种技术集成到一个光路中, 从而实现了物体形貌与微变形的同时测量,提高了在实际测量中的工作效率。在本文研究的基础上,未来可基于所测得的表面形貌数据,对微变形数据进行修正,减小数字散斑干涉技术测量非平面物体的测量误差。
-
-
[1] Nilsson N J. A mobius automation: an application of artificial intelligence techniques[C]// International Joint Conference on Artificial Intelligence, DBLP, 1969: 509-520.
[2] 李磊, 叶涛, 谭民, 等.移动机器人技术研究现状与未来[J].机器人, 2002, 24(5):475-480. doi: 10.3321/j.issn:1002-0446.2002.05.020 Li Lei, Ye Tao, Tan Min, et al. present state and future developent of mobile robot technolog research[J].Robot, 2002, 24(5):475-480. doi: 10.3321/j.issn:1002-0446.2002.05.020
[3] Jirawimut R, Prakoonwit S, Cecelja F, et al. Visual odometer for pedestrian navigation[J]. IEEE Transactions on Instrumentation & Measurement, 2003, 52(4):1166-1173. http://cn.bing.com/academic/profile?id=55b9892e54db0088fa6c23a7a0a382c6&encoded=0&v=paper_preview&mkt=zh-cn
[4] 王景川, 陈卫东, 曹其新.基于全景视觉与里程计的移动机器人自定位方法研究[J].机器人, 2005, 27(1):41-45. doi: 10.3321/j.issn:1002-0446.2005.01.009 Wang Jingchuan, Chen Weidong, Cao Qixin. Omni-vision and odometer based self-localization for mobile robot[J].robot, 2005, 27(1):41-45. doi: 10.3321/j.issn:1002-0446.2005.01.009
[5] Dellaert F, Thrun S, Thorpe C. Mosaicing a large number of widely dispersed, noisy, and distorted images: A bayesian approach[R]. USA: Camegie Mellon Universiy, 1999.
[6] 迟健男, 徐心和.移动机器人即时定位与地图创建问题研究[J].机器人, 2004, 26(1):92-96. doi: 10.3321/j.issn:1002-0446.2004.01.020 Chi Jiannan, Xu Xinhe. research on simultaneous localization and mapping of mobile robot[J].Robot, 2004, 26(1):92-96. doi: 10.3321/j.issn:1002-0446.2004.01.020
[7] 段宏伟, 兰虎, 郑红艳, 等.典型接头的机器人视觉传感图像处理技术[J].哈尔滨理工大学学报, 2012, 17(4):52-56. doi: 10.3969/j.issn.1007-2683.2012.04.009 Duan Hongwei, Lan Hu, Zheng Hongyan, et al. Image Processing of Robotic Vision Sensing for Typical Joints[J]. journal of harbin university of science and technology, 2012, 17(4):52-56. doi: 10.3969/j.issn.1007-2683.2012.04.009
[8] 潘良晨, 陈卫东.室内移动机器人的视觉定位方法研究[J].机器人, 2006, 28(5):504-509. doi: 10.3321/j.issn:1002-0446.2006.05.009 Pan Liangchen, Chen Weidong. Vision lased Localization of indoor mobile robot[J].Robot, 2006, 28(5):504-509. doi: 10.3321/j.issn:1002-0446.2006.05.009
[9] 高亮.类人机器人视觉系统研究实现[D].大连: 大连理工大学, 2009. Gao Liang. Humanoid robot vision system implementation[D]. Dalian: Dalian University of Technology.2009
[10] 刘晓敏, 崔月盟.基于图像处理的移动机器人视觉定位方法[J].天津职业大学学报, 2007, 17(3):75-78. doi: 10.3969/j.issn.1008-8415.2007.03.025 Liu Xiaomin, Cui Yuemeng. The visual location system of mobile robot based on image processing[J]. Journal of Tianjin Professional College, 2007, 17(3):75-78. doi: 10.3969/j.issn.1008-8415.2007.03.025
[11] 朱虹.机器视觉的核心[J].应用光学, 2007, 28(1):130-133. http://d.old.wanfangdata.com.cn/Periodical/yygx200701028 Zhu Hong.Key points of machine vision[J]. Journal of Applied Optics, 2007, 28(1):130-133. http://d.old.wanfangdata.com.cn/Periodical/yygx200701028
[12] 马礼举, 杨向群.一种改进的块匹配运动目标识别算法[J].应用光学, 2013, 34(5):791-795. http://d.old.wanfangdata.com.cn/Periodical/yygx201305014 Ma Liju, Yang Xiangqun. Improved moving target recognition algorithm based on block matching[J]. Journal of Applied Optics, 2013, 34(5):791-795. http://d.old.wanfangdata.com.cn/Periodical/yygx201305014
-
期刊类型引用(4)
1. 袁烨,冯奇斌,吕国强. 用于头盔显示液晶像源的透镜薄膜设计与制备. 应用光学. 2021(01): 182-187 . 本站查看
2. 冯奇斌,李德华,肖慧丽,王梓,吕国强. 基于扩展光源的视角偏转膜表面微结构设计. 光学精密工程. 2021(06): 1329-1336 . 百度学术
3. 季洪雷,陈乃军,王代青,张彦,葛子义. Mini-LED背光技术在电视产品应用中的进展和挑战. 液晶与显示. 2021(07): 983-992 . 百度学术
4. 张昕,吴佩雯,肖书平,陈琦,邱天,符晓,宁洪龙. 显示驱动芯片原理及发展现状. 液晶与显示. 2020(11): 1156-1167 . 百度学术
其他类型引用(2)