Visual locating of mobile robot based on adaptive down sampling
-
摘要: 视觉定位是移动机器人定位的一个主要发展方向，针对传统视觉定位技术实时性差的问题，提出一种基于自适应下采样的快速视觉定位技术。通过预先得到的尺寸特征，并根据最小分辨尺寸计算下采样率，而后对下一副图像进行下采样及图像分割，根据对象坐标和下采样率确定对象在源图像中所处区域，对源图像该区域进行图像分割和特征提取。将提取的尺寸特征作为下一幅图像的输入，提取的视觉定位所需特征用于机器人的定位解算，由此在保证视觉定位精度的前提下有效减少视觉定位的时间。实验表明，对文中给定图像，传统方法处理100幅图像时间为20.23 s，而文中所述技术对应图像处理时间为1.78 s，仅为传统技术的8.8%，有效减少了图像处理时间，提高了机器人视觉定位的实时性。Abstract: Visual locating technology is one of main development direction of mobile robot locating. Aiming at problem of poor real-time performance of traditional visual positioning technology, this paper proposes a fast visual locating technology based on adaptive down sampling. Down sampling rate is calculated firstly based on previous size characteristic and minimum resolution size. Secondly down sampling and image segmentation are made on next image. Object locating zone in original source image are determined according to coordinates of object and down sampling rate. Then image segmentation and feature extraction of source image of the area are made. Size of feature extraction is taken as an image input, and required features extraction of visual location are taken as robot locating solution. Thus visual positioning time is effectively reduced with ensured visual positioning accuracy. Experiments show that it takes 20.23 s for traditional technology to process 100 figures while it takes 1.78 s for technology given out by this paper, which is only 8.8% of traditional technology. This technology can reduce image processing time effectively and improve real-time performance of mobile robot locating.
-
Keywords:
- mobile robot /
- visual locating /
- figure processing /
- adaptive down sampling
-
引言
双光子荧光显微成像系统是对标记的样品进行双光子激发后产生的荧光进行成像，以实现对样品的三维扫描。双光子荧光显微镜是目前对活体生物细胞等进行观测的有效工具[1-3]，具有探测深度大、分辨率高、对生物组织光损伤小等优点。生物神经信号传导时，神经纤维两侧的钙离子浓度会发生变化，用荧光蛋白等物质标记钙离子，经激光激发产生荧光，探测荧光的变化即可观察钙离子浓度的变化，相应地观察神经信号的传导过程。神经信号分布在三维空间中，其传导速度很快，一般在ms量级，在探测激光激发荧光信号的时候，荧光显微成像系统的扫描速度要尽可能地快。
在双光子荧光显微成像系统的三维扫描结构中，横向二维扫描因研究时间相对较长，目前已经比较成熟。而轴向扫描虽然已有多种方案提出，但都存在一定的缺陷。传统的采用移动物镜的方法，受限于驱动器以及物镜的机械惯性，其扫描速度很难达到kHz量级[4]。根据运动液体变焦透镜的变焦功能[5]，基于这种透镜的扫描方法受限于液体表面曲率精度不足，对温度变化敏感，以及液体的迟滞效应，扫描速度有限。利用空间光调制器的相位调制能力，模拟不同焦距透镜的相位来改变焦距以实现焦点在光轴上的移动[6]，但空间光调制器的刷新率一般只有几十到几百Hz。采用可变形镜的扫描方法，利用可变形镜的镜面变形能力改变镜面曲率，进而改变光束的发散角，光束聚焦后有不同的焦点[7-8]。这种方法受限于可变形镜所使用的压电陶瓷等驱动器，在大冲程的情况下速度很慢，致使镜面曲率在改变较大时速度较慢，达不到快速扫描，无法满足脑神经功能成像等领域的扫描速度要求。电光晶体的扫描方法[9-10]受限于电光晶体的通光孔径，而采用多个声光偏转器的扫描方法为保证衍射效率，轴向扫描范围较小，同时多个声光偏转器引入较多的色散，激光脉冲展宽明显，无法满足一般的扫描要求[11-13]。本文提出一种以克服以上缺点的快速轴向扫描方法，并进行了详细计算和仿真。
1 基于DMD的快速轴向扫描系统
数字微镜器件(digital micromirror device，DMD)是一种高速光开关器件，主要由多个高速数字式光反射开关组成。这些光反射开关通过一定的排列方式集成光开关阵列，工作原理如图 1所示。DMD的核心工作单元是微反射镜，这种微反射镜体积很小，大部分为正方形。利用集成电路技术在硅衬底上制出随机存储器(random access memory, RAM)，微镜的转动由它下面的存储器单元的状态来控制，当存储器单元处于“1”状态即“on”状态时，微反射镜绕着其下面的铰链偏转+12°，当存储器单元处于“0”状态即“off”状态时，微反射镜偏转-12°。微反射镜片的尺寸仅有数十μm，因此在工作时其响应速度极快，其响应时间可达到十几μs。
基于DMD的轴向扫描系统原理图如图 2所示。以DMD来选择光路，DMD作为光开关有2种状态，相对应的有2条光路可以选择，这2条光路中一条放置一定焦距的透镜组，一条不放置任何透镜或者放置与前面一条光路中的透镜组焦距不同的透镜组。因此光束在DMD的不同选通状态下通过不同的光路后，光束的发散角将会不同，通过聚焦物镜后得到不同的聚焦点，即对应不同的轴向扫描深度。
对于单独的模块来说，DMD的工作方式决定单独模块只能有2个轴上扫描点，这远远达不到成像扫描的需求，因此采用多模块级联的方式来增加扫描深度。模块级联的方式为在一个模块的后面根据需求依次加上多个模块，光束通过每一个模块都有2种不同的发散角，相对应的2个不同的聚焦点。通过n个模块之后整套系统就有2n个焦距，相对应的就有2n个轴上聚焦点。
1.1 轴向扫描距离
对整个系统而言，其由多个单独模块集成而成，根据光学传输矩阵理论，理想球面透镜近轴光线变换矩阵为
$$ {\rm{F}} = \left[ {\begin{array}{*{20}{c}} 1&0\\ { - \frac{1}{f}}&1 \end{array}} \right] $$ (1) 式中f为透镜的焦距。
空气中光线传播一段距离l的变换矩阵为
$$ {\rm{L = }}\left[ {\begin{array}{*{20}{c}} 1&l\\ 0&1 \end{array}} \right] $$ (2) 光线经过n个模块之后，在最后一个透镜的表面上有：
$$ \begin{array}{l} \left[ {\begin{array}{*{20}{c}} {{r_{2n - 1}}}\\ {{\theta _{2n - 1}}} \end{array}} \right] = {F_1}{L_{_1}}{F_2}{L_2} \cdots {F_{n - 1}}{L_{n - 1}}{F_n}\left[ {\begin{array}{*{20}{c}} {{r_1}}\\ {{\theta _1}} \end{array}} \right] = \\ \;\;\;\;\;\;\;\;\;\;\;\;\;{T_1}{T_2} \cdots {T_{n - 1}}{F_n}\left[ {\begin{array}{*{20}{c}} {{r_1}}\\ {{\theta _1}} \end{array}} \right] \end{array} $$ (3) 对于薄透镜，从透镜出射的光线在光轴上的焦点到出射面的距离表示为
$$ L = \frac{r}{{\tan \theta }} $$ (4) 根据(1)式~(4)式即可计算每一个轴向扫描点在光轴上的位置。
一般在实际应用中，为了匹配物镜，将扫描器件通过扫描镜和筒镜成像于物镜的前焦面上，其简化光路图如3所示。图中，f0为透镜组焦距，fx为透镜组像的焦距，fs为扫描镜焦距，ft为筒镜的焦距，fw为物镜的焦距。以透镜组的模型替代轴向系统中n个模块对光束发散角的改变效果。
透镜组经扫描镜和筒镜组成的光束准直装置成像于物镜的前焦面上，其像为图 3中的透镜组像，根据几何光学原理：
$$ {f_x} = {m^2}{f_0} $$ (5) 式中m为扫描镜和筒镜的放大倍数。
成像透镜可以等效为一个实际的透镜，根据透镜成像公式得到系统的焦距：
$$ f = \frac{{{f_w}\left( {{f_w} - {f_x}} \right)}}{{d - f{'_0} - {f_w}}} $$ (6) 则轴向扫描距离为
$$ \Delta z = {f_w} - f = \frac{{f_w^2}}{{f{'_0}}} $$ (7) 将(5)式代入(7)式中，系统轴向扫描范围表示为
$$ \Delta z = \frac{{f_w^2}}{{{m^2}{f_0}}} $$ (8) 因此，对整个轴向扫描系统，根据系统中模块的个数以及模块的工作状态，利用(8)式即可求得其轴向扫描范围。
1.2 衍射效率
由于DMD是由多个微镜组装在一起，微镜的尺寸很小，因此光束照射到DMD上时衍射现象明显，可以将微镜看作是一个二维衍射光栅。假设DMD在2个方向的个数分别为N和P，DMD的边长为a, 相邻微镜中心距离为d，根据二维光栅理论[14]，以单位振幅的光波入射到DMD的平面上时，频谱面上的复振幅可以表示为
$$ \begin{array}{l} T\left( {u, \upsilon } \right) = {T_u}\left( {u, \upsilon } \right){\rm{comb}}\left( {{\mathit{\Lambda }_x}u} \right){\rm{comb}}\left( {{\mathit{\Lambda }_y}\upsilon } \right) = \\ \;\;\;\;\;\;\;\;\;\;\;\;\;{T_u}\left( {u, \upsilon } \right)\frac{1}{{{\mathit{\Lambda }_x}}}\mathop \Sigma \limits_{N = - \infty }^\infty \delta \left( {u - \frac{N}{{{\mathit{\Lambda }_x}}}} \right)\frac{1}{{{\mathit{\Lambda }_y}}} \cdot \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\mathop \Sigma \limits_{M = - \infty }^\infty \delta \left( {\upsilon - \frac{P}{{{\mathit{\Lambda }_y}}}} \right) \end{array} $$ (9) 式中：Λx, Λy分别表示x方向和y方向的光栅周期；Tu为透过率函数的傅里叶变换。则衍射级次(n1, n2)的衍射效率可以表示为
$$ {{\eta }_{n}}{{_{_{1}}}_{\cdot }}_{{{n}_{2}}}={{\left| T\left( u, \upsilon \right) \right|}^{2}}={{\left| \frac{1}{{{\mathit{\Lambda }}_{x}}{{\mathit{\Lambda }}_{y}}}{{T}_{u}}\left( \frac{{{n}_{1}}}{{{\mathit{\Lambda }}_{x}}}, \frac{{{n}_{2}}}{{{\mathit{\Lambda }}_{y}}} \right) \right|}^{2}} $$ (10) 对于DMD, Λx=d, Λy=d, 则有：
$$ \begin{array}{l} {t_0}\left( {x, y} \right) = {\rm{rect}}\left( {\frac{x}{{{F_x}{\mathit{\Lambda }_x}}}, \frac{y}{{{F_y}{\mathit{\Lambda }_y}}}} \right)\left( {{{\rm{e}}^{ - {\rm{i}}\varphi }} - 1} \right) + \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;{\rm{rect}}\left( {\frac{x}{{{\mathit{\Lambda }_x}}}, \frac{y}{{{\mathit{\Lambda }_y}}}} \right) \end{array} $$ (11) 式中Fx, Fy为2个方向的占空比，${F_x} = {F_y} = \frac{a}{d} $。
则衍射效率：
$$ \begin{align} & {{\eta }_{n}}{{_{_{1}}}_{\cdot }}_{{{n}_{2}}}={{\left| \frac{1}{{{\mathit{\Lambda }}_{x}}{{\mathit{\Lambda }}_{y}}}Tu\left( \frac{{{n}_{1}}}{{{\mathit{\Lambda }}_{x}}}, \frac{{{n}_{2}}}{{{\mathit{\Lambda }}_{y}}} \right) \right|}^{2}}=4{{\left( \frac{\sin \left( \text{ }\!\!\pi\!\!\text{ }{{n}_{1}}{{F}_{x}} \right)}{\text{ }\!\!\pi\!\!\text{ }{{n}_{1}}}\cdot \frac{\sin \left( \text{ }\!\!\pi\!\!\text{ }{{n}_{2}}{{F}_{y}} \right)}{\text{ }\!\!\pi\!\!\text{ }{{n}_{2}}} \right)}^{2}} \\ & \ \ \ \ \ \ \ \ \ \ {{\left( \sin \frac{\varphi }{2} \right)}^{2}}+4\left( \frac{\sin \left( \text{ }\!\!\pi\!\!\text{ }{{\mathit{n}}_{\text{1}}} \right)}{\text{ }\!\!\pi\!\!\text{ }{{n}_{1}}}\cdot \frac{\sin \left( \text{ }\!\!\pi\!\!\text{ }{{\mathit{n}}_{\text{1}}} \right)}{\text{ }\!\!\pi\!\!\text{ }{{n}_{1}}} \right)\left( \frac{\sin \left( \text{ }\!\!\pi\!\!\text{ }{{\mathit{n}}_{\text{1}}}{{F}_{x}} \right)}{\text{ }\!\!\pi\!\!\text{ }{{n}_{1}}}\frac{\sin \left( \text{ }\!\!\pi\!\!\text{ }{{\mathit{n}}_{\text{2}}}{{F}_{y}} \right)}{\text{ }\!\!\pi\!\!\text{ }{{n}_{2}}} \right)\cdot \\ & \ \ \ \ \ \ \ \ \ \ {{\left( \sin \frac{\varphi }{2} \right)}^{2}}+{{\left[ \frac{\sin \left( \text{ }\!\!\pi\!\!\text{ }{{\mathit{n}}_{\text{1}}} \right)}{\text{ }\!\!\pi\!\!\text{ }{{n}_{1}}}\frac{\sin \left( \text{ }\!\!\pi\!\!\text{ }{{\mathit{n}}_{\text{2}}} \right)}{\text{ }\!\!\pi\!\!\text{ }{{n}_{2}}} \right]}^{2}} \\ \end{align} $$ (12) 2 仿真分析
2.1 系统光路仿真分析
在ZEMAX中，对系统单个模块的光路进行仿真，DMD处于on和off状态下的光路如5图所示。
在ZEMAX中对整个系统进行仿真，每一个模块对光束发散角的作用等效于一个透镜，模块内部光程为10 mm，物镜采用奥林巴斯公司的UMPLFLN20XW显微物镜, 其工作距为3.5 mm，放大倍率为20×，其匹配筒镜的焦距为180 mm，根据(8)式轴向扫描距离与筒镜和扫描镜的放大倍数的平方成反比，DMD有较大的通光孔径，因此并不需要对光束放大，所以m=1。一般双光子荧光显微镜的样品穿透距离在1 mm，假定轴向扫描距离为1 mm，采用4个模块，距离物镜最近的轴上扫描点为4个模块里面的DMD都处于off状态，经过计算每一个模块等效透镜的焦距为297.3 mm，光路图 5如所示。以轴上扫描点距离物镜最后一个面的距离表示轴上扫描点的位置，以轴上扫描点距离物镜最后一个面的距离的大小对轴上扫描点进行排序，图 6所示为轴上各扫描点在轴上的位置分布图，可以看到，除了边缘点之外，轴上扫描点基本上呈线性分布。
模块数增加为5个，若要达到1 mm的轴向扫描距离，经过计算模块等效透镜的焦距为361.47 mm，系统光路图如图 7所示，系统的轴向扫描点有25=32个。
图 8所示为32个轴向扫描点在光轴上的位置，可以看出，除了边缘扫描点之外，其余轴向扫描点具有良好的线性关系。
对比图 6和图 8可以得知，在轴向扫描距离一定的情况下，模块数越多，轴向扫描点的间距就越小，可以获得接近连续的轴向扫描。
2.2 衍射效率分析
选用超高速V系列DMD(型号为V-7001)，在实际应用中需要考虑衍射效率以及微反射镜的吸收等问题，因此根据相关资料及计算，单个DMD的光能利用率为70%。采用多个模块级联时的光能利用率与模块数的关系如图 9所示，随着系统中DMD数量的增加，系统的光能利用效率降低。
![]()
图 9 系统光能利用率与系统中DMD的个数关系Figure 9. Relationship between system energy utilization and DMD numbers3 结论
基于数字微镜器件，本文提出了一种快速轴向扫描系统。该系统使用DMD作为光开关切换光路，不同光路对光束发散角的改变不同，经聚焦后具有不同深度的轴向扫描点。对该系统的轴向扫描距离、扫描点位置及衍射效率进行了理论计算仿真，结果表明：系统中有4个模块以及5个模块时轴向扫描距离均可达到1 mm，并且轴向扫描点除边缘点外具有良好的线性，轴向扫描频率达到几十kHz，满足脑神经成像方面的要求。系统的光能利用效率随着系统中模块数的增加而减少，因此在实际运用中需要根据扫描距离及样品能够承受的光强度等方面综合考虑轴向扫描系统中的模块个数。本文提出的轴向扫描系统克服了已有的扫描方法的一些缺点，扫描频率高，轴向扫描距离长。采用模块化的设计，方便用户升级改造并且可以和不同的显微镜系统匹配集成，从而广泛应用于超高分辨率光学探测、生物荧光显微、细胞三维成像、超精密加工等前沿科学和工程领域中。
-
![]()
图 3 基于自适应下采样技术的移动机器人快速视觉定位流程框图
Figure 3. Flow block diagram of mobile robot fast visual locating based on adaptive down sampling
-
[1] Nilsson N J. A mobius automation: an application of artificial intelligence techniques[C]// International Joint Conference on Artificial Intelligence, DBLP, 1969: 509-520.
[2] 李磊, 叶涛, 谭民, 等.移动机器人技术研究现状与未来[J].机器人, 2002, 24(5):475-480. doi: 10.3321/j.issn:1002-0446.2002.05.020 Li Lei, Ye Tao, Tan Min, et al. present state and future developent of mobile robot technolog research[J].Robot, 2002, 24(5):475-480. doi: 10.3321/j.issn:1002-0446.2002.05.020
[3] Jirawimut R, Prakoonwit S, Cecelja F, et al. Visual odometer for pedestrian navigation[J]. IEEE Transactions on Instrumentation & Measurement, 2003, 52(4):1166-1173. http://cn.bing.com/academic/profile?id=55b9892e54db0088fa6c23a7a0a382c6&encoded=0&v=paper_preview&mkt=zh-cn
[4] 王景川, 陈卫东, 曹其新.基于全景视觉与里程计的移动机器人自定位方法研究[J].机器人, 2005, 27(1):41-45. doi: 10.3321/j.issn:1002-0446.2005.01.009 Wang Jingchuan, Chen Weidong, Cao Qixin. Omni-vision and odometer based self-localization for mobile robot[J].robot, 2005, 27(1):41-45. doi: 10.3321/j.issn:1002-0446.2005.01.009
[5] Dellaert F, Thrun S, Thorpe C. Mosaicing a large number of widely dispersed, noisy, and distorted images: A bayesian approach[R]. USA: Camegie Mellon Universiy, 1999.
[6] 迟健男, 徐心和.移动机器人即时定位与地图创建问题研究[J].机器人, 2004, 26(1):92-96. doi: 10.3321/j.issn:1002-0446.2004.01.020 Chi Jiannan, Xu Xinhe. research on simultaneous localization and mapping of mobile robot[J].Robot, 2004, 26(1):92-96. doi: 10.3321/j.issn:1002-0446.2004.01.020
[7] 段宏伟, 兰虎, 郑红艳, 等.典型接头的机器人视觉传感图像处理技术[J].哈尔滨理工大学学报, 2012, 17(4):52-56. doi: 10.3969/j.issn.1007-2683.2012.04.009 Duan Hongwei, Lan Hu, Zheng Hongyan, et al. Image Processing of Robotic Vision Sensing for Typical Joints[J]. journal of harbin university of science and technology, 2012, 17(4):52-56. doi: 10.3969/j.issn.1007-2683.2012.04.009
[8] 潘良晨, 陈卫东.室内移动机器人的视觉定位方法研究[J].机器人, 2006, 28(5):504-509. doi: 10.3321/j.issn:1002-0446.2006.05.009 Pan Liangchen, Chen Weidong. Vision lased Localization of indoor mobile robot[J].Robot, 2006, 28(5):504-509. doi: 10.3321/j.issn:1002-0446.2006.05.009
[9] 高亮.类人机器人视觉系统研究实现[D].大连: 大连理工大学, 2009. Gao Liang. Humanoid robot vision system implementation[D]. Dalian: Dalian University of Technology.2009
[10] 刘晓敏, 崔月盟.基于图像处理的移动机器人视觉定位方法[J].天津职业大学学报, 2007, 17(3):75-78. doi: 10.3969/j.issn.1008-8415.2007.03.025 Liu Xiaomin, Cui Yuemeng. The visual location system of mobile robot based on image processing[J]. Journal of Tianjin Professional College, 2007, 17(3):75-78. doi: 10.3969/j.issn.1008-8415.2007.03.025
[11] 朱虹.机器视觉的核心[J].应用光学, 2007, 28(1):130-133. http://d.old.wanfangdata.com.cn/Periodical/yygx200701028 Zhu Hong.Key points of machine vision[J]. Journal of Applied Optics, 2007, 28(1):130-133. http://d.old.wanfangdata.com.cn/Periodical/yygx200701028
[12] 马礼举, 杨向群.一种改进的块匹配运动目标识别算法[J].应用光学, 2013, 34(5):791-795. http://d.old.wanfangdata.com.cn/Periodical/yygx201305014 Ma Liju, Yang Xiangqun. Improved moving target recognition algorithm based on block matching[J]. Journal of Applied Optics, 2013, 34(5):791-795. http://d.old.wanfangdata.com.cn/Periodical/yygx201305014
下载:
计量
- 文章访问数: 621
- HTML全文浏览量: 160
- PDF下载量: 67
陕公网安备 61011302001501号 