基于传像束的小视场双目结构光三维形貌恢复

袁卓凡, 刘元坤, 赖姗姗, 李剑, 王旭

袁卓凡, 刘元坤, 赖姗姗, 李剑, 王旭. 基于传像束的小视场双目结构光三维形貌恢复[J]. 应用光学, 2021, 42(1): 113-118. DOI: 10.5768/JAO202142.0103003
引用本文: 袁卓凡, 刘元坤, 赖姗姗, 李剑, 王旭. 基于传像束的小视场双目结构光三维形貌恢复[J]. 应用光学, 2021, 42(1): 113-118. DOI: 10.5768/JAO202142.0103003
YUAN Zhuofan, LIU Yuankun, LAI Shanshan, LI Jian, WANG Xu. 3D shape restoration of binocular structure light in small field of view based on image bundles[J]. Journal of Applied Optics, 2021, 42(1): 113-118. DOI: 10.5768/JAO202142.0103003
Citation: YUAN Zhuofan, LIU Yuankun, LAI Shanshan, LI Jian, WANG Xu. 3D shape restoration of binocular structure light in small field of view based on image bundles[J]. Journal of Applied Optics, 2021, 42(1): 113-118. DOI: 10.5768/JAO202142.0103003

基于传像束的小视场双目结构光三维形貌恢复

基金项目: 国家自然科学基金(61675141)
详细信息
    作者简介:

    袁卓凡(1994−),男,硕士研究生,主要从事双目视觉方面的研究。E-mail:1092802330@qq.com

    通讯作者:

    刘元坤(1975−),男,博士,副教授,主要从事三维传感方面的研究。E-mail:lyk@scu.edu

  • 中图分类号: TN206;O438

3D shape restoration of binocular structure light in small field of view based on image bundles

  • 摘要: 提出基于传像束传像和双目结构光相结合的三维测量系统,实现对无法直接成像场景,如爆轰、冲击等环境下的小视场物体三维面形测量。测量时,结构光直接投影到待测物体表面,变形条纹图像首先被成像到传像束前端面,再被传递到传像束后端面,并最终被成像到相机像平面,再由三频相位展开技术计算出对应相位分布后,即可根据双目匹配计算出待测物体高度。实验表明,传像束系统能完成高精度的微小物体三维形貌重建,且由于传像束的引入,增加了测量系统的灵活性。
    Abstract: A 3D measurement system based on the combination of image bundles and binocular structured light was proposed. It could measure the three-dimensional shape of small objects under the environment of detonation and impact, which could not be directly measured. The structured light was directly projected onto the surface of the measured object and the distorted fringe images were imaged to the front side of the image bundles. Then those images were collected into the camera by another imaging lens after transmitted to the other side of the image bundles. The height of the measured object could be reconstructed by the binocular matching as long as the corresponding phase distributions were restored by the three-frequency phase unwrapping algorithm. The experimental results show that the measuring system via image bundles can fulfill the 3D morphology reconstruction of the small objects with high precision and can bring the advantages of flexibility due to the introduction of image bundles.
  • 数字条纹技术和相移法[1]因为其速度快、精度高、易获得亚像素的精度等优点而被广泛应用于三维测量中。近年来针对小尺寸物体的小视场三维形貌测量由于可实现高精度而备受关注。艾佳[2]等提出一种基于三频外差四步相移的小视场单目立体测量方法,结合相位高度映射,测量空间物体的三维坐标。任晨丽[3]等人提出了一种基于三坐标测量机的小视场多目立体方法,采用4个呈矩形交向摆放相机,同时对一个物体进行拍摄,在进行坐标系统一之后,便计算出各组像对中的同名点的空间三维坐标。QUAN[4]等人提出一套小视场测量系统,采用显微镜和相机共同拍摄受相位调制的物体图像,在获得截断相位后采用空间相位展开方法恢复物体三维形貌。刘笑[5]等人提出利用双目立体测量的线性细分查找表获得微小物体的三维数据。

    在一些实际应用中,如密闭、高低温、高湿以及危险环境,若采用传统三维面形测量系统[6],则需要在测量设备和待测物体之间增加防护装置(如保护玻璃等),而且由于直接成像,测量设备放置的空间将严重受限,此外由防护装置引起的测量误差也需要校正。

    传像束[7]是由若干光纤构成的一种柔性的无源图像传输器件,可以将图像高保真地从一个端面传至另一端面,特别适用于密闭、高低温、高湿以及危险环境,因此在国防、科研等领域有广泛应用。本文提出了一种基于传像束的小视场双目结构光三维测量系统,将条纹图像直接投影到待测物体上,采用三频时间相位算法获取待测相位,再进行基于相位的双目匹配,实现待测物体面形测量,系统结构简单,克服场地和环境的限制,能应用于爆破、医学检测、工业监测等[8]实际工程项目中。

    双目立体视觉是基于视差原理[9],一般由2个摄像机分别从不同角度同时拍摄物体,2个摄像机的图像平面和被测物体之间构成一个三角形,通过匹配算法得到视差后再基于三角法原理得到物体的三维坐标。

    图1所示为简单的平视双目成像原理图[10-11]。该测量系统由2个摄像机和被测物体构成,这2个摄像机投影中心连线的距离就是基线距B

    图  1  双目视觉三维测量示意图
    Figure  1.  Schematic diagram of binocular vision 3D measurement

    两摄像机在同一时刻观察被测物体的同一特征点P,成像在图像左右两边的坐标分别为Pleft=(XY)和Pright=(XrightYright)。假定2个摄像机的图像已经极线矫正,则特征点P左右图像的像素坐标Y值相同,也就是Y=Yright

    由透视关系可以得到:

    $$ X = f\dfrac{x}{{\textit{z}}},\;\;\;\;\;{X_{{\rm{right}}}} = f\dfrac{{x - B}}{{\textit{z}}},\;\;Y = f\dfrac{y}{{\textit{z}}} $$ (1)

    视差为:Disparity=XXright,可得到物体特征点在摄像机坐标系下的三维坐标为

    $$\left\{ \begin{array}{l} x = \dfrac{{B * X}}{{{\rm{Disparity}}}} \\ y = \dfrac{{B * Y}}{{{\rm{Disparity}}}} \\ {\textit{z}} = \dfrac{{B * f}}{{{\rm{Disparity}}}} \end{array} \right.$$ (2)

    左摄像机像面上的一点能够在右摄像机像面上找到对应的匹配点(两点是被测物体同一特征点在左右摄像机像面上的像素点),通过(2)式就可以确定该点的三维坐标。遍历左摄像机像面上的所有点,从而得到被测物体的三维坐标。但双目立体视觉测量依赖环境中的自然光线采集图像,对环境光照敏感且受噪声影响大,双目立体视觉测量系统也不适用于单调缺乏纹理的物体。根据参考文献[8]和[11],可知双目系统测量的误差可表示为${\mathit{\Delta}} = 4{{\textit{z}}^2}\delta /Bf$,其中$\delta $是像素匹配精度。因此若将数字条纹[12]和双目立体视觉结合,以相位作为中介既可以增加左右相机图像特征信息,克服双目立体视觉的固有限制,又能提高匹配精度进而提高系统的测量精度。

    本文采用三频四步满周期相移算法[13-15]获取相位,摄像机所拍摄的其中一种频率的条纹图光强可以表示为

    $$ {I_n}(x,y) = a + b\cos \left[ {\varphi (x,y) + 2{\text{π}} n/4} \right] $$ (3)

    式中:a是背景光强;b是条纹调制度;n的取值为1~4。根据满周期相移公式可得:

    $$ \varphi \left( {x,y} \right) = \arctan \left[ {\dfrac{{{I_4}(x,y) - {I_2}(x,y)}}{{{I_1}(x,y) - {I_3}(x,y)}}} \right] $$ (4)

    由于相位值$\varphi {{(x,y)}}$为截断相位,其取值在$\left( { - {\rm{{\text{π}} ,}}\left. {\rm{{\text{π}} }} \right]} \right.$范围内,为此需要相位展开。本文采用三频相位展开算法,即通过投射条纹频率t分别取1、$\sqrt {{s}} $s的3种条纹图到物体表面,获取3幅截断相位图,然后沿时间轴对每个像素点进行展开,即可得到连续相位。

    频率为1的截断相位可以作为连续相位处理,将条纹频率为1的相位分布${\varphi _{\rm{w}}}\left( {\rm{1}} \right)$作为基础,则后2幅截断相分布的展开相位为

    $$ {\varphi _u}\left( k \right) = U\left[ {{\varphi _w}\left( k \right),{\varphi _u}\left( {k - 1} \right)} \right]\;\;\;\;\left( {k = 2,3} \right) $$ (5)

    $U\left[ {{\varphi _2},{\varphi _1}} \right]$定义为$U[ {{\varphi _2},{\varphi _1}} ]={\varphi _2}+2{\text{π}} * {\rm{NINT}} [ ( {\varphi _1}\sqrt s - {\varphi _2} )/ {2{\text{π}} } ]$${\rm{NINT}}\left( \bullet \right)$为取整运算。

    从而得到条纹频率为s的绝对相位。基于相位的双目匹配是以左相机像素点的相位为准,在右相机中寻找等相位点,但是由于采样的原因,第一步只能找到最近似(即相位差最小)的匹配点,还需要进行双线性插值等方法获取高精度的匹配点,从而得到高精度的立体视差[16],进而得到物体的三维信息。

    测量系统结构示意图如图2所示。条纹图像由数字投影仪(digital light processing,DLP)直接投影到待测物体表面,单个相机的成像过程为:前端镜头将待测物体成像到传像束前端面,经由传像束传输到传像束后端面,再由后端成像镜头将像最终传递到电荷耦合元件(charge coupled device,CCD)像面,并由计算机完成记录。

    图  2  测量系统结构示意图
    Figure  2.  Structure diagram of measuring system

    实际测量系统如图3所示。传像束为多组分玻璃传像束,每根传像束大约有 20 万根光纤,透过率为30%~40%,传像束端面为8.7 mm×7.8 mm、长度为3 m,像元大小为17 ${\rm{{\text{µ}} m}}$×17 ${\rm{{\text{µ}} m}}$。传像束的传输距离越远,传输损耗越大,并且其透过率较低,一般在30%~40%不等。在双目视觉中,影响系统测量精度的因素不但有左右图像的匹配精度,也包括成像系统的像素大小。在借助传像束后,由于后端记录的CCD分辨率高于传像束分辨率,实际上是对前端图像进行重采样,因此若传像束分辨率过低,势必影响测量精度。本实验所用传像束分辨率约为512 pixels×460 pixels,像元大小约为相机像元3倍,能满足本实验测量要求。

    图  3  测量系统装置图
    Figure  3.  Schematic diagram of measuring system device

    测量时,由成像透镜A将物体成像到传像束前端面,所成的像经传像束传至传像束后端面后,再由成像透镜B成像到CCD靶面。其中成像透镜A的焦距为75 mm,成像透镜B的焦距为25 mm,相机为IDS的UI1240,分辨率为1280 pixels×1024 pixels,像元大小为5.3 μm×5.3 μm。采取DLP数字投影仪,分辨率为1280 pixels×900 pixels,双目视场大小约为20 mm×20 mm。

    所用标定靶标如图4(a)所示,其规格为20 mm×15 mm,大圆直径为0.8 mm,小圆直径为0.4 mm,圆间距为1.3 mm,共13×9个特征点。系统标定结果如图4(b)所示,系统标定参数如表1所示。

    图  4  系统标定
    Figure  4.  System calibration
    表  1  系统标定参数
    Table  1.  System calibration parameters
    参数左相机右相机
    焦距/pixels [12 264.422,11 754.451] [11 585.522,11 458.849]
    主点/pixels [680.048,−184.291] [455.674,949.736]
    畸变常数 [−3.549,29.950,0.240,−0.013,0] [−1.814,−28.177,−0.030,0.022,0]
    倾斜因子 0 0
    旋转矩阵 [0.748,−0.100,−0.657;0.033,0.993,−0.114;0.663,0.063,0.746]
    平移向量/mm [121.337,3.469,37.105]
    下载: 导出CSV 
    | 显示表格

    分别对硬币背面和正面进行了测量,所测实物如图5所示。

    图  5  待测硬币
    Figure  5.  Coin to be tested

    实验中,所用三频的条纹频率分别为1、6、36。图6分别对应左右相机拍摄的每种频率中的一帧条纹图,其三维测量结果如图7所示。

    图  6  相机拍摄的图像
    Figure  6.  Captured fringe images
    图  7  硬币三维面形分布
    Figure  7.  3D surface shape distribution of tested coin

    图8(a)分别展示了图7(a)中“0”字样的局部细节图以及第570行剖面图,图8(b)包括了图7(b)中最大五角星的局部细节图和第348行剖面图。可以看出,待测硬币细节清晰可见。

    图  8  硬币细节三维面形
    Figure  8.  3D surface shape of coin details

    本文设计了一种适用于爆轰、冲击等环境下的小视场物体三维面形测量系统。以双目结构光为基础,结合传像束实现了局部场景内物体的三维测量。系统中将传像束作为传像器件,将前端镜头成像到后端摄像机镜头,摄像机拍摄的数字图像是携带经过结构光调制的物体,再根据双目立体视觉视差原理恢复物体的三维信息。理论上,传像束系统的测量精度不但与系统结构参数和相位获取精度有关,传像束的像元大小也对测量精度有影响。由于相机是对传像束像面进行重采样,因此本文的相机标定重投影误差为0.2 pixels,略大于常规无传像束系统的标定精度。根据误差计算公式,结合系统结构参数可知,当像素匹配精度为0.1 pixels,即0.5 μm时,可得测量系统误差为7 μm。因此,若采用分辨率更高的传像束,其测量精度还可进一步提高。

    目前的实验中并未通过传像束将图像投影到待测物体上,但由于双目结构光系统中无须标定投影仪,因此若采用传像束完成图像投影,也不会影响后端的双目匹配精度。此外,由于成像系统没有经过严格光学设计,即光学系统存在缺陷,比如实验中标定参数中的左相机远离了图像中心,原因可能是传像束前后端面和各自的镜头端面都存在倾斜角度。但测量结果表明,此类系统缺陷均可以通过标定补偿得到高精度的测量数据。由于传像束是柔性传输介质,可以弯曲,具备环境抗干扰能力,因此本文方法在工业检测、科研试验、医疗等行业中有很广阔的应用前景。初步试验验证了本方法的可行性。

  • 图  1   双目视觉三维测量示意图

    Figure  1.   Schematic diagram of binocular vision 3D measurement

    图  2   测量系统结构示意图

    Figure  2.   Structure diagram of measuring system

    图  3   测量系统装置图

    Figure  3.   Schematic diagram of measuring system device

    图  4   系统标定

    Figure  4.   System calibration

    图  5   待测硬币

    Figure  5.   Coin to be tested

    图  6   相机拍摄的图像

    Figure  6.   Captured fringe images

    图  7   硬币三维面形分布

    Figure  7.   3D surface shape distribution of tested coin

    图  8   硬币细节三维面形

    Figure  8.   3D surface shape of coin details

    表  1   系统标定参数

    Table  1   System calibration parameters

    参数左相机右相机
    焦距/pixels [12 264.422,11 754.451] [11 585.522,11 458.849]
    主点/pixels [680.048,−184.291] [455.674,949.736]
    畸变常数 [−3.549,29.950,0.240,−0.013,0] [−1.814,−28.177,−0.030,0.022,0]
    倾斜因子 0 0
    旋转矩阵 [0.748,−0.100,−0.657;0.033,0.993,−0.114;0.663,0.063,0.746]
    平移向量/mm [121.337,3.469,37.105]
    下载: 导出CSV
  • [1]

    ZHANG S. Recent progresses on real-time 3D shape measurement using digital fringe projection techniques[J]. Optics and Lasers in Engineering,2010,48(2):149-158. doi: 10.1016/j.optlaseng.2009.03.008

    [2] 艾佳, 刘守起, 刘元坤, 等. 利用三频外差实现的小视场三维测量系统[J]. 光电工程,2016,43(9):39-44. doi: 10.3969/j.issn.1003-501X.2016.09.007

    AI Jia, LIU Shouqi, LIU Yuankun, et al. Three-dimensional small-field measurement system based on tri-frequency heterodyne fringe analysis[J]. Opto-Electronic Engineering,2016,43(9):39-44. doi: 10.3969/j.issn.1003-501X.2016.09.007

    [3]

    REN C. Study on multi-sensor stereovision measurement system in small field[J]. Computer Engineering & Applications,2006,42(18):65-67.

    [4]

    QUAN C, HE X Y, WANG C F, et al. Shape measurement of small objects using LCD fringe projection with phase shifting[J]. Optics Communications,2001,189(1/2/3):21-29. doi: 10.1016/S0030-4018(01)01038-0

    [5] 刘笑, 仲思东, 隋莉斌, 等. 小视场环境下三维立体测量技术[J]. 工程图学学报,2005(2):132-136.

    LIU Xiao, ZHONG Sidong, SUI Libin, et al. The research of 3D stereo measurement methods in small field[J]. Journal of Engineering Graphics,2005(2):132-136.

    [6] 郝煜栋, 赵洋, 李达成. 光学投影式三维轮廓测量技术综述[J]. 光学技术,1998,24(5):57-60.

    HAO Yudong, ZHAO Yang, LI Dacheng. Review of optical profilometry based on light pattern projection[J]. Optical Technique,1998,24(5):57-60.

    [7]

    CHANG Y N, LIN W, CHENG J Y, et al. Compact high-resolution endomicroscopy based on fiber bundles and image stitching[J]. Optics Letters,2018,43(17):4168. doi: 10.1364/OL.43.004168

    [8] 张广军. 机器视觉[M]. 北京: 科学出版社, 2005: 127-173.

    ZHANG Guangjun. Machine vision[M]. Beijing: Science Press, 2005: 127-173.

    [9] 周佳立. 双目立体视觉及三维反求研究[D]. 浙江: 浙江大学, 2009.

    ZHOU Jiali. Research on binocular stereo vision and reverse engineering[D]. Zhejiang: Zhejiang University, 2009.

    [10] 阳鹏程. 基于双目结构光的三维测量技术研究[D]. 浙江: 浙江大学, 2014.

    YANG Pengcheng. 3D measurement based on binocular structured light system[D]. Zhejiang: Zhejiang University, 2014.

    [11] 毕超, 郝雪, 鄂玛兰, 等. 基于误差模型的双目视觉系统测量精度分析[J]. 航空精密制造技术,2020,56(2):1-4. doi: 10.3969/j.issn.1003-5451.2020.02.001

    BI Chao, HAO Xue, E Malan. Accuracy analysis of binocular vision system based on the measuring error model[J]. Aviation Precision Manufacturing Technology,2020,56(2):1-4. doi: 10.3969/j.issn.1003-5451.2020.02.001

    [12] 魏振忠, 樊妍睿, 张广军. 光栅式双目立体视觉传感器的立体匹配方法[J]. 红外与激光工程,2010,39(2):330-334. doi: 10.3969/j.issn.1007-2276.2010.02.030

    WEI Zhenzhong, FAN Yanrui, ZHANG Guangjun. Stereo matching method for raster binocular stereo vision sensor[J]. Infrared and Laser Engineering,2010,39(2):330-334. doi: 10.3969/j.issn.1007-2276.2010.02.030

    [13] 赵文静, 陈文静, 苏显渝. 几种时间相位展开方法的比较[J]. 四川大学学报(自然科学版),2016,53(1):110-117.

    ZHAO Wenjing, CHEN Wenjing, SU Xianyu. The comparison of several time phase unwrapping methods[J]. Journal of Sichuan University (Natural Science Edition),2016,53(1):110-117.

    [14] 史耀群, 邓林嘉, 王朝旭, 等. 一种基于结构光条纹投影的微小物体测量系统[J]. 应用光学,2019,40(6):1120-1125. doi: 10.5768/JAO201940.0603007

    SHI Yaoqun, DENG Linjia, WANG Chaoxu, et al. Micro-objects measurement system based on structured light fringe projection[J]. Journal of Applied Optics,2019,40(6):1120-1125. doi: 10.5768/JAO201940.0603007

    [15] 周富强, 王晔昕, 柴兴华, 等. 镜像双目视觉精密测量技术综述[J]. 光学学报,2018,38(8):51-59.

    ZHOU Fuqiang, WANG Yexin, CHAI Xinghua, et al. Review on precise measurement technology based on mirror binocular vision[J]. Acta Optica Sinica,2018,38(8):51-59.

    [16]

    SONG K C, HU S P, WEN X, et al. Fast 3D shape measurement using Fourier transform profilometry without phase unwrapping[J]. Optics and Lasers in Engineering,2016(84):74-81.

  • 期刊类型引用(2)

    1. 王泽,宋君,徐天聪,隋宁菠,李进科. 高定位精度光纤传像束面阵的V型槽法制备. 光纤与电缆及其应用技术. 2023(05): 30-32 . 百度学术
    2. 雷冲,刘元坤. 一种基于双目结构光的光学元件精磨表面面形测量方法. 光学与光电技术. 2022(01): 14-20 . 百度学术

    其他类型引用(2)

图(9)  /  表(1)
计量
  • 文章访问数:  1013
  • HTML全文浏览量:  497
  • PDF下载量:  51
  • 被引次数: 4
出版历程
  • 收稿日期:  2020-06-29
  • 修回日期:  2020-10-26
  • 网络出版日期:  2021-01-05
  • 刊出日期:  2021-01-14

目录

/

返回文章
返回