基于事件相机传感器的时序编码结构光系统设计

张靖东, 王习之, 马宣, 刘晓光

张靖东, 王习之, 马宣, 刘晓光. 基于事件相机传感器的时序编码结构光系统设计[J]. 应用光学, 2024, 45(5): 885-895. DOI: 10.5768/JAO202445.0501002
引用本文: 张靖东, 王习之, 马宣, 刘晓光. 基于事件相机传感器的时序编码结构光系统设计[J]. 应用光学, 2024, 45(5): 885-895. DOI: 10.5768/JAO202445.0501002
ZHANG Jingdong, WANG Xizhi, MA Xuan, LIU Xiaoguang. Design of temporal coded structured light system based on event-based camera sensor[J]. Journal of Applied Optics, 2024, 45(5): 885-895. DOI: 10.5768/JAO202445.0501002
Citation: ZHANG Jingdong, WANG Xizhi, MA Xuan, LIU Xiaoguang. Design of temporal coded structured light system based on event-based camera sensor[J]. Journal of Applied Optics, 2024, 45(5): 885-895. DOI: 10.5768/JAO202445.0501002

基于事件相机传感器的时序编码结构光系统设计

基金项目: 深圳市科技计划项目(JCYJ20220818100408018)
详细信息
    作者简介:

    张靖东(1998—),男,硕士,主要从事基于事件相机传感器的3D视觉算法研究。E-mail:12132487@mail.sustech.edu.cn

    通讯作者:

    王习之(2000—),男,博士研究生,主要从事3D感知算法及芯片研究。E-mail:12331347@mail.sustech.edu.cn

    马宣(1991—),男,博士,研究助理教授,硕士生导师,主要从事三维视觉、偏振视觉成像研究。E-mail:max3@sustech.edu.cn

  • 中图分类号: TN202;TP391

Design of temporal coded structured light system based on event-based camera sensor

  • 摘要:

    结构光技术是一种非接触式的光学三维成像技术,通过测量投影图案在物体表面发生的形变,可以还原物体的三维特征信息。然而,目前已有的结构光系统设计方案存在算法复杂和帧率低的问题。为解决这些问题,提出了一种基于事件相机传感器的时序编码结构光系统。采用DLP(digital light projector,数字光投影仪)投影明暗交替的时序编码散斑图案,并利用事件相机传感器进行高速采集。通过对投影的散斑图案进行时序编码,就可以用散斑点搜索的方法代替复杂的空间匹配,从而降低结构光系统的算法复杂度。通过对散斑点的对应关系进行分析,最终恢复出空间物体表面的三维信息。经过实验验证,系统的采集帧率可达66.7 frame/s,且相对于传统方案,算法复杂度显著降低,测量精度可达毫米级。实验证明本文设计的时序编码结构光系统可以高速、低功耗地对实际场景进行三维重建。

    Abstract:

    Structured light technology is a non-contact three-dimensional optical imaging technology, which can restore the three-dimensional feature information of the object by measuring the deformation of the projection pattern on the surface of the object. However, the existing structured light system designing scheme has the problems of complex algorithm and low frame rate. In order to solve these problems, a temporal coded structured light system based on event-based camera sensor was proposed. The digital light projector (DLP) was used to project the temporal alternating light and dark coding patterns, and the event-based camera sensor was used for the high-speed acquisition. By encoding the time series of the projected speckle patterns, the speckle search method could be used instead of the complex spatial matching, thereby reducing the algorithm complexity of the structured light system. By analyzing the correspondence of scattered spots, the three-dimensional information of the surface of the space object was finally restored. After experimental verification, it is show that the acquisition frame rate of the proposed system can reach 66.7 frame/s. Compared with other traditional schemes, the complexity of the algorithm is significantly reduced, and the measurement accuracy can reach the millimeter level. Experimental results show that the designed temporal coded structured light system can perform three-dimensional reconstruction of actual scenes with high speed and low computation cost.

  • 结构光是一种通过光学方法非接触测量物体表面三维形貌的技术[1]。由于其具有极高的测距精度,在工业检测、人脸支付等领域占有统治地位[2]。结构光技术可以以非接触的方式快速、高效地进行检测,因而能显著提高生产的效率和质量[1-4]。近年来,提供高速、高精度和低计算成本的结构光解决方案已成为科学研究和产业应用的热点问题。

    结构光技术通过主动投影带有时间或空间编码的二维图案,并通过图像传感器采集到经过物体表面调制之后的图案。通过预先标定好的系统参数,可以解调出物体表面的深度信息,从而获取物体的三维形貌。传统的结构光通常采用CMOS图像传感器(complementary metal oxide semiconductor image sensor,CIS)或电荷耦合器件(charge-coupled device,CCD)来获取物体的三维信息[5],但这会形成大量的数据冗余,对高速三维成像造成一定的限制。为了减少数据的冗杂,本文采用了事件相机传感器(event-based vision sensor,EVS),它只输出帧与帧之间发生变化的信息。事件相机具备适应各种光照条件的能力,甚至在极端环境下也能实现高帧率、低功耗的图像采集[6],使其非常适合结构光三维重构应用[7]

    MUGLIKAR M等人在2021年提出了一种事件引导的结构光的方案,在事件产生的区域进行密集采样,在其他区域进行稀疏采样,从而高效利用了深度传感的资源[8]。MATSUDA N等人提出了直接利用事件信息的结构光方案[9],使用激光投影仪逐列扫描场景触发事件,利用时间信息进行投影仪和相机特征点的匹配,使用三角法测量深度信息。MUGLIKAR M等人在上述工作的基础上进行改进[10],将投影仪看作一个逆向事件相机,利用投影仪和事件相机之间的最大时空一致性来估计深度,因此具有更优的抗噪性能。HUANG X等人提出了基于事件相机的单目散斑结构光方案[7],首先从事件流中恢复出图像信息,再通过基于图像的DIC(digital image correlation,数字图像相关法)算法[11]实现匹配和深度估计,在算法上较为复杂。因此,如何充分利用事件相机的高速特性和时序资源,直接利用事件信息进行匹配,以解决传统结构光方案中算法复杂的问题,在系统层面实现最优性能,是本文的主要研究内容。

    论文设计和搭建了一套基于事件相机传感器和DLP(digital light projector,数字光投影仪)的结构光系统。此系统兼顾高帧率的投影采集以及低算法复杂度的特性,解决了传统工作中帧率不理想以及算法复杂的问题。系统首先通过DLP投影设计时序编码图案,然后通过事件相机拍摄物体表面的图案。通过时序解码和搜索方法与投影相对应,最后结合预先标定的系统参数得到3D点云信息。在创新点方面提出了一种新的时序编码结构光系统方案,与传统结构光方案相比,算法复杂度更低。同时使用了APS(active pixel sensor)和EVS双模态融合芯片,利用APS模式进行标定,直接使用EVS模式进行采集,实现高帧率采集。

    结构光[12]使用了带有编码的主动光源进行投影,根据编码图案的设计不同,结构光大致可以分为空间编码和时间编码两大类。对于空间编码而言,通常只采集一帧图像,利用像素之间的空间位置关系进行解码,再结合特定的图像匹配算法,就可以找到不同相机图像对应点的关系。时间编码则通过多帧图像的匹配,在时间维度上确定对应的点的信息,该方式需要进行多次图像采集,但是精度相对于空间编码有显著提升。如图1所示,在现有的结构光方案中,最为主流的两种方法分别为相移条纹投影和散斑投影。

    图1(a),对于传统的散斑编码结构光而言,通常采用空间编码的方式,只需采集一帧图像通常就可以恢复物体的三维信息。然而对于散斑投影轮廓术来说,一般散斑点的作用只是为了增加空间的纹理信息,匹配还是基于双目视觉的流程和方法进行的,这样导致算法复杂度过高,同时匹配的精度也不理想。图1(b)显示的是相移条纹结构光[13],投影仪将相位编码的光栅条纹投向物体,经过物体表面三维信息的调制后条纹会发生形变,根据对应相位信息的变化可以解算出深度信息,但是其依赖于相邻空间像素点之间的相位值恢复绝对相位,如果出现表面不连续的情况,则会出现解码错误。因此,测量误差较大,精度相对较低[14],同时受到采集帧率的限制,只能对固定场景进行三维重建。

    图  1  结构光示意图
    Figure  1.  Schematic diagram of structured light

    为了降低算法复杂度,同时提高采集图片重建三维信息的帧率,考虑将时域编码和空域编码结合起来,相机只需拍摄得到变化的投影编码图案。为了减少大量的背景所带来的冗杂数据的输出,本文使用事件相机传感器(EVS)进行拍摄。不同于传统的图像传感器以固定的帧率输出所有像素的信息,事件相机仿造人眼的构造,仅在相邻两个时刻之间光强的对数变化超过一定阈值时,异步地输出包含位置、时间和极性的事件信息,如图2所示。

    图  2  事件相机原理示意图[6]
    Figure  2.  Schematic diagram of event camera principle[6]

    当使用事件相机对投影图案进行拍摄时,散斑编码结构光单次投影散斑只能触发一次事件相机的输出。由于事件相机的灵敏度限制,同时由于准确捕获到散斑点光强的变化而不受噪声影响非常困难,且单次投影触发的事件信息远不足以恢复物体表面的三维形貌,因此,现有的做法是通过散斑图案进行亮暗交替的闪烁投影,以生成充足的事件信息,并通过多帧事件的堆叠将其恢复成图像,再利用基于图像的DIC算法进行匹配,从而恢复对应的深度信息[7]。然而,从事件中恢复出图像的方法并未充分利用事件相机的优势。另一方面,对于相移条纹结构光,由于事件相机无法直接输出像素的灰度值,因此无法直接使用事件相机来计算投影条纹的相位信息。

    本文在闪烁投影散斑编码结构光(图1(a))和投影相移条纹结构光(图1(b))的基础上,提出了一种直接在时间维度进行编码的时序编码结构光系统,如图1(c)所示。时序编码的散斑图案在时域具有特异性和唯一性,并且只在编码光斑区域产生事件,其他区域没有事件发生。对于时序编码结构光系统,每张投影图像的信息都得到充分利用。由于散斑点通过时间信息进行区分,不需要进行复杂的空间匹配。时序编码中的每一帧散斑图案经过预先设计,每一列散斑点在不同时刻会产生光强的变化。因此,本实验只需使用DLP按一定帧率投影预设的不同编码的散斑图案,并使用事件相机传感器进行相应帧率的同步采集。相较于空间编码,本系统只需按预设规律进行简单的时域匹配,无需进行复杂的空间特征匹配;排除了大量零事件的空域区域,极大地节约了匹配计算量;充分利用了事件相机的高帧率特性,提高了三维测量的帧率。

    空间编码[15-17]的核心思想是确保每个点在空间上的唯一性,从而在空间上区分散斑点。类似地,时间编码的目的是确保每个点在时间上的唯一性,从而在时间上区分散斑点。对于结构光系统而言,物体的不同深度通常只会在基线方向(通常与图像的水平方向平行)产生较大的视差。通过极线校正技术,同名点被映射到一条直线上,只需进行沿基线方向的一维搜索即可实现特征匹配。因此,在基线方向上,可以对不同位置的散斑点进行时域编码,赋予散斑点在时域上的唯一性,并在基线方向上进行重复排列。

    为了充分利用事件相机高帧率的特点,需要使用DLP以足够快的速度投射散斑点。因此,散斑点选取1位的黑白二值图像。为了确保事件相机能够清晰地捕获散斑点的信息,并尽可能减少噪声的影响,散斑点的大小设置为9×9个DLP像素较为合适。散斑点的间距由编码图像的位数决定,在水平方向上均匀分布。由于进行了时序编码,因此无需考虑空域散斑点混叠的问题。即使在某一时刻散斑点发生了空域混叠,它们在时序上仍然是可分辨的。

    理论上,对于n幅图像,根据事件的有无和极性,进行“−1,0,1”3位编码,最多可以在时域上区分$ {3}^{n} $列不同的散斑点信息。但由于投影仪投影的是黑白二值图像,空间上每一个点有黑白两种亮度情况,即投影亮光斑情况下的亮度和投影黑色图案(不投影)情况下的亮度。事件相机仅在当前时刻与上一时刻之间,由光强的对数变化产生的电压差超过一定阈值时产生输出。受限于DLP只能投射两档光强的情况,当当前光强已达到最大光强时,无法施加更高的光强变化。因此,如果上一次的输出为正极性事件,则当前的输出显然不可能是正极性事件。同样地,使用DLP投射的1位图案也无法触发事件相机输出连续两个负极性事件。使用“−1,0,1”分别代表负事件、无事件和正事件,则“−1,−1”、“1,1”、“−1,0,−1”、“1,0,1”在时间序列上不可能出现,属于无效的编码方式。此外,非光斑照射区域不会产生光强变化,输出大量的0信号。因此,在时序编码中应避免使用“0,0”编码值,以避免解码错误。

    对于6帧不同的EVS图像,理论上可以区分64列不同的散斑点的信息。然而,根据上述编码策略,在排除连续正极性事件和连续负极性事件的情况下,最多可以在时域上区分26列不同的散斑点信息。图3展示了所有可能的编码序列。图中,E1~E6分别代表预期获得的6帧包含26列散斑点的EVS图像。因此,通过E1~E6的时序编码,可以唯一确定每个散斑点的空间位置。负事件可以用100的灰度值表示,正事件可以用200的灰度值表示,无事件产生则用0的灰度值表示。

    图  3  时序编码后EVS捕获的信息
    Figure  3.  Information captured by EVS after temporal coding

    为了将预期的EVS捕获的事件信息转化为DLP投影所需的光强信息,需要增加一张额外的DLP散斑灰度图案,以完成对第1张EVS事件的初始化编码,可根据图4(a)所示的编码方式对投影图案进行编码。因此,共需要7张对应的DLP散斑编码图案,并按照一定的顺序以固定帧率进行投影,以触发EVS事件的产生。正事件是由投影图像从黑到白的变化触发的,负事件是由投影图像从白到黑的变化触发的。为了确保某一时刻没有事件发生,相邻两帧DLP投影图像之间对应像素的光强不应有任何变化。

    图  4  DLP投影的编码图像
    Figure  4.  Encoded images projected by DLP

    根据编码值的设计,可以设计如图4所示的散斑图案,其中图4(b)表示了所有散斑点在DLP像素阵列上的分布。散斑点的尺寸设置为9×9个像素,相邻散斑中心之间的间距为37个像素。投影的白色散斑点灰度值设为255,而黑色区域的灰度值设为0。在行方向上共有26个散斑点,其亮度按照图4(a)中序列1~26的编码值进行独立编码。在列方向上共有30个散斑,相同列的散斑点具有相同的时间编码。在后续实验设置中,将模组基线方向平行于DLP像素行方向放置。因此,只会在DLP行方向上产生视差,而列方向上不会产生视差。图4(c)~图4(i)展示了不同时刻的散斑点编码设计。

    对EVS捕获的信息进行时序解码时,只需根据汉明距离(Hamming distance)[18]即可确定码字的映射关系,从而获取散斑点所属列的编号和在DLP像素中的位置信息,进而获得散斑点的视差。由于事件相机存在噪声,即使在没有光强变化时也会产生一些随机分布的噪声信息。如果增加额外的一张或几张图像作为校验,可以减少噪声的影响,提高解码结果的鲁棒性。然而,额外投影的图案会导致有效帧率的降低,所以并不需要额外的校验位便可以获得相应的列信息。

    基于EVS的时序编码结构光系统的投影和拍摄过程如图5所示,其中T为1 ms。首先,DLP以一定的帧率投影时序编码的散斑图案,并使用事件相机进行同步采集。然后,事件相机采集的数据进行时序解码后,可以与投影的散斑点进行对应。通过散斑点的对应关系,结合系统标定的参数,可以获取物体表面的三维轮廓信息。

    图  5  基于EVS的时序编码结构光系统的投影及拍摄过程
    Figure  5.  Projection and shooting process of temporal coded structured light system based on EVS

    基于事件相机的时序编码结构光系统由事件相机传感器和投影仪组成。事件相机传感器选用ALPIX-Eiger混合视觉传感器产品[19]。该传感器可输出高信噪比、高帧率和高动态范围特点的事件数据,从而辅助图像传感器获取更多信息,帮助增强成像质量。ALPIX-Eiger系列芯片创造性地融合了图像传感器和事件传感器,二者位于共焦平面上,同一个芯片可以同时输出APS(active pixel sensor)图像数据和事件流信息,图6展示了APS和EVS像素之间的对应关系。

    其中,APS模式下的分辨率为3264 × 2448像素,EVS模式下分辨率为1632 × 1224像素,像元尺寸为1.89 μm × 1.89 μm。在全分辨率下,APS的帧率可以达到30 frame/s,EVS的帧率可以达到1000 frame/s。在APS模式下,动态范围可以达到68 dB,EVS模式下可达到100 dB。在投影仪的选择方面,综合考虑投影二维编码的散斑点的需求和投影的帧率,选用基于TI的DLP4500芯片进行研发和设计的OPR405185光机模组[20]。投影分辨率为912 × 1140像素,对于1位的图像,投影的帧率最高可达4 225 Hz,8位图像最高帧率可达120 Hz,可以满足EVS的高速采集要求。

    图  6  基于EVS的时序编码结构光系统
    Figure  6.  Timing coded structured light system based on EVS

    在实验中,将DLP投影仪、事件相机传感器以及被测物体按照图7的布局进行放置。

    图  7  系统的搭建
    Figure  7.  Construction of system

    在实验中,使用图7中标注的事件相机传感器和投影仪。系统的基线长度为92.46 mm,工作距离约为50 cm。在该工作距离下,投影的幅面可达56 cm × 32 cm,以满足对不同物体的检测需求。通过调整相机和投影仪的位置,使二者的光轴尽可能平行,且具有相同的视场,同时保证事件相机成像不会被遮挡。

    对于事件相机传感器而言,在EVS模式下,如果没有光强的变化,将无法输出任何信息。而系统的标定通常需要使用图像传感器在不同姿态下采集标定板的图像,并提取标定板的特征信息。为了使事件相机在EVS模式下能够像普通图像传感器一样提取和识别标定板的特征,可通过投影仪投影亮暗变化的图像来触发事件。然而,这种方法的成像质量较差,特征点提取的精度不高,严重影响了标定的质量。

    对于ALPIX-Eiger系列芯片,其同一个芯片可以同时输出APS信息和EVS信息,因此使用APS模式对相机进行标定,相关标定算法借鉴张正友标定法[21],得到APS模式下的标定结果,并根据APS和EVS像素之间的对应关系推导出EVS像素和空间三维坐标点之间的转换关系,从而简化了EVS标定的流程。

    根据图8所示,选择两种不同的测试场景来对基于EVS的时序编码结构光系统进行测试。第1种场景选择表面平整的木板作为被测物体,用于测试系统在简单平面物体上的性能;第2种场景选择由充电器插头、充电宝和两个木板组成的复杂场景,用于测试系统在复杂物体表面上的性能。这些测试场景的选择旨在验证系统在不同类型物体上的重建效果和精度。通过对这些场景进行测试,可以评估系统对不同形状、表面纹理和深度变化的物体的三维重建能力。

    在实验中使用DLP投影仪投影图4中的时序编码散斑图像,并使用EVS进行高速采集。经过解码器解码后,EVS输出的时序编码图像如图9所示。

    图  8  实际测试场景
    Figure  8.  Actual test scenario
    图  9  不同时刻的时序编码图像
    Figure  9.  Temporal coded images at different time

    图9(a)中,黄色框中的斑点均是同一列上的投影点,其他图中也遵循同样的规律。在行方向上,不同列的区分可以根据之前编码的设计,通过6个时刻同一列中散斑点的明暗变化顺序,确定黄色框中散斑点对应的列的编号。在列方向上,同一列中散斑点可以根据在非视差方向上的像素坐标值的排列顺序,确定每一个散斑的编号。

    根据1.2节中的编码规则,在不同场景下,可以从6张图像中恢复出对应的散斑点位置信息,如图10所示。

    图  10  复杂场景下的时序解码结果
    Figure  10.  Temporal decoding results in complex scenes

    为了直观地观察时序编码的结果,图10给不同列的散斑点赋予了不同的灰度值以进行区分。根据实验设置,我们只使用了25列不同的编码值,因此可以分别对应编码为10、20直至250的不同数值。图10(a)和图10(c)显示了每个像素对应的解码数值。在图10(b)和图10(d)视角下,可以更清晰地观察到,随着x的增加,编码值整体上也呈增加的趋势。因此,无论是对于单个光滑平面且散斑点不发生形变的情况,还是对于多个深度不同的物体且散斑点位置发生变化的情况,时序编码的方式都能够很好地利用不同时刻的信息对不同列的散斑点进行区分。图中的毛刺是EVS的噪声导致的点云噪声,由于每个散斑点在EVS靶面上包含几十甚至几百个像素,而毛刺通常只有几个像素的大小,根据连通区域的像素数量、散斑点的间距等信息,可以轻松排除解码错误区域的干扰,获得准确的结果。

    由于光学系统成像具有像差和受到环境噪声的影响,在成像靶面上,虽然每个圆形散斑点的大致特征均可以被识别,但是其完整性和圆度相对于APS模式下的成像会有一定程度的下降。在不经历光强变化的区域,仍然会随机产生一些事件。经过时序解码,这些随机事件大多数得到了抑制。但是,由于时序解码要求6个时刻的信息完全匹配,在一定程度上也削减了散斑点产生的时间数量。因此在解码后,需要对图像进行腐蚀、膨胀、区域填充等图形学处理,使得每个散斑点的信息能够被准确提取,并且能够清晰地与其他散斑点区分开来,再经过边界和质心提取的算法,就可以获得散斑点的质心。将投影散斑点的质心位置和成像散斑点的质心位置进行对应,再结合系统标定的参数,最终能恢复出物体的三维信息。

    图11展示了单个木板和由深度不同的4个物体组成的复杂场景经过时序解码后,得到的3D点云结果的俯视图与实际场景下的俯视图,拟合平面之间的距离可视为物体之间真实的距离。根据坐标系的设置,与某个姿态下的世界坐标系相吻合,也即原点由标定板的中心确定,x轴和y轴方向与标定板两边方向相同,z轴方向垂直于标定板平面。因此,点云的分布基本是围绕原点对称分布的。对于木板来说,所有的点基本在一个平面上。对于由充电器、充电宝、两块木板组成的场景,可以明显看到还原出的点云信息根据物体表面深度的不同分为4层,点云信息准确还原了物体的三维轮廓信息。对于充电器插头、充电宝和两块木板,散斑点在其表面的分布应当都在一个平面上。因此可以使用点云软件对点云进行分割和拟合,拟合后的4个平面俯视图如图11(c)所示。图中,绿色的箭头代表拟合平面的法向量。侧视图如图11(e)和图11(f)所示,可以较清晰地看出4个平面的位置关系。

    图  11  不同情形下物体的三维信息
    Figure  11.  Three-dimensional information of objects in different situations

    根据图12所示的结果,对于单个平面,点云和拟合平面的测量残差为0.8581 mm,对于不同平面之间的距离测量误差为1.3029 mm。这表明基于事件相机传感器的时序编码结构光系统在处理单个平面和不同深度的实际场景时,能够以极低的算法复杂度高速恢复物体表面的三维轮廓信息。这些结果证明了该系统在实践中的可行性和有效性。

    图  12  时序编码结构光的误差分析
    Figure  12.  Error analysis of temporal coded structured light

    为了证明时序编码结构光系统的有效性,从不同维度对时序编码结构光系统和目前已有的基于事件相机的结构光系统进行比较,如表1所示。

    表  1  基于事件相机的结构光工作的对比
    Table  1.  Comparison of structured light operation based on event cameras
    Types of different work Event-based camera Resolution/pixel Projection
    light source
    Time for single
    reconstruction acquisition/ms
    Fill rate
    MC3D[9] DVS128 128 × 128 laser 16 0.4
    ESL[10] Prophesee Gen3S1.1 640 × 480 laser 16 0.31
    Huang2021[7] CeleX-V 1920 × 1080 DLP6500 450 0.3
    Our work ALPIX-Eiger 1632 × 1224 DLP4500 6(theoretical) 0.42
    下载: 导出CSV 
    | 显示表格

    MC3D(motion contrast 3D scannig)和ESL(event-based structured light)采用激光线扫描的方法,以60 frame/s的帧率控制激光投影仪逐列进行扫描,并触发事件相机生成相应的输出。每次扫描只能获得1列深度信息,单次重建的采集耗时为16 ms。在MC3D方法中,利用事件在时间戳上的对应关系确定投影像素和采集像素之间的对应关系。ESL方法在MC3D的基础上改进,考虑了事件空间邻域的信息,并采用时空一致性估计深度,以减少噪声的影响。因此相对于MC3D方法,ESL方法在填充率和测量精度上有了显著提升,但以38倍的效率降低为代价。然而,无论是MC3D方法还是ESL方法,都受到激光线扫描方法固有原理的限制,效率较低。以ESL为例,对于完整视场的扫描需要进行480次线扫描和处理,耗时较长,且可能会出现运动伪影。HUANG X的工作则是使用DLP和事件相机进行三维重建,使用DLP高速投影亮暗变化的散斑图像,并通过事件相机进行高速采集,采集帧率可以达到1000 frame/s。在实际三维重建过程中,需要从事件信息中恢复出图像信息,并使用基于图像的DIC算法进行匹配和深度估计,单次重建采集需要450 ms的时间。与SGM(semi-global matching)算法[22]类似,DIC算法需要进行复杂的图像相关运算,这种情况下的算法复杂度是非常高的。MC3D和ESL方法存在着帧率较低的缺陷,HUANG X的工作则存在着算法复杂度较高的缺陷,重建结果的耗时较长。

    为了解决上述方法存在的问题,提出了基于EVS的时序编码结构光系统。该系统仅利用6帧EVS信息即可区分出26列不同的散斑点信息,相当于同时扫描多列线激光。首先是Fill rate对应的深度误差分析,本实验值与现有技术都非常相近,证明本实验已实现了低误差的三维重建效果。基于EVS的时序编码结构光系统的EVS采集帧率最高可达1000 frame/s,因为本系统重建一组三维信息需要6帧图像,理论上单次重建的采集时间为6 ms,故投影采集的帧率理论上能达到最大值167 frame/s,不会产生运动伪影,更适用于高速场景的应用。目前系统因为EVS相机与DLP投影仪之间暂时未做到稳定的同步,故投影与采集都靠人力实现,在这种情况下,EVS的采集帧率为400 frame/s,系统的投影采集帧率为66.7 frame/s。本实验为方法的验证,结果证明系统具备高帧率的特性。后续将完善硬件的同步性,用1个信号同时触发EVS和DLP的同步投影和采集,从而达到投影采集帧率的理想最大值。此外,由于时序解码要求6帧事件信息与预设的参考值完全对应,一旦6帧中的某一帧图像信息由于噪声影响出现错误,则无法输出相应的解码值。因此,时序编码方法天然减少了噪声的影响,无需额外进行噪声抑制,节约了计算成本。在算法复杂度方面,所提出的时序编码方案仅需要进行散斑点的搜索,无需复杂的空间匹配,本实验单次重建获取时间为6 ms,而MC3D及ESL算法为16 ms,HUANG X的工作甚至达到了450 ms,证明本实验的算法复杂度显著低于其他算法,降低了三维重建的算法复杂度。

    本文主要设计并搭建了一套基于事件相机传感器的时序编码结构光系统,并对事件信息的处理、时序编解码的方案、点云的生成与三维重建等关键技术进行了研究。使用基于APS和EVS混合视觉传感器的时序编码结构光系统对物体的三维形状进行测量,投影采集的帧率可以达到66.7 frame/s,算法运算时间相比于SGM等双目匹配算法大大缩减,减小了算法复杂度,并且测量精度达到了毫米级。实验证明,基于事件相机传感器的时序编码结构光系统无论对于单个平面还是对于不同深度的实际测试情形,都能以极低的算法复杂度高速恢复物体表面的三维轮廓信息。后续在硬件方面,考虑使用VCSEL结合DOE来代替DLP,从而实现设备的小型化和集成化。同时进一步对编码图案和方式进行优化,提高算法的鲁棒性,从而提升系统性能。

  • 图  1   结构光示意图

    Figure  1.   Schematic diagram of structured light

    图  2   事件相机原理示意图[6]

    Figure  2.   Schematic diagram of event camera principle[6]

    图  3   时序编码后EVS捕获的信息

    Figure  3.   Information captured by EVS after temporal coding

    图  4   DLP投影的编码图像

    Figure  4.   Encoded images projected by DLP

    图  5   基于EVS的时序编码结构光系统的投影及拍摄过程

    Figure  5.   Projection and shooting process of temporal coded structured light system based on EVS

    图  6   基于EVS的时序编码结构光系统

    Figure  6.   Timing coded structured light system based on EVS

    图  7   系统的搭建

    Figure  7.   Construction of system

    图  8   实际测试场景

    Figure  8.   Actual test scenario

    图  9   不同时刻的时序编码图像

    Figure  9.   Temporal coded images at different time

    图  10   复杂场景下的时序解码结果

    Figure  10.   Temporal decoding results in complex scenes

    图  11   不同情形下物体的三维信息

    Figure  11.   Three-dimensional information of objects in different situations

    图  12   时序编码结构光的误差分析

    Figure  12.   Error analysis of temporal coded structured light

    表  1   基于事件相机的结构光工作的对比

    Table  1   Comparison of structured light operation based on event cameras

    Types of different work Event-based camera Resolution/pixel Projection
    light source
    Time for single
    reconstruction acquisition/ms
    Fill rate
    MC3D[9] DVS128 128 × 128 laser 16 0.4
    ESL[10] Prophesee Gen3S1.1 640 × 480 laser 16 0.31
    Huang2021[7] CeleX-V 1920 × 1080 DLP6500 450 0.3
    Our work ALPIX-Eiger 1632 × 1224 DLP4500 6(theoretical) 0.42
    下载: 导出CSV
  • [1]

    GENG J. Structured-light 3D surface imaging: a tutorial[J]. Advances in Optics and Photonics, 2011, 3(2): 128-160. doi: 10.1364/AOP.3.000128

    [2]

    ZHANG S. High-speed 3D shape measurement with structured light methods: a review[J]. Optics and Lasers in Engineering, 2018, 106: 119-131.

    [3]

    LI B, AN Y, CAPPELLERI D, et al. High-accuracy, high-speed 3D structured light imaging techniques and potential applications to intelligent robotics[J]. International Journal of Intelligent Robotics and Applications, 2017, 1(1): 86-103. doi: 10.1007/s41315-016-0001-7

    [4]

    CHAO Z, XIAOLEI Z, YAN H, et al. Has 3D finally come of age?an introduction to 3D structured-light sensor[J]. Infrared and Laser Engineering, 2020, 49(3): 0303001. doi: 10.3788/IRLA202049.0303001

    [5]

    FOSSUM E R, HONDONGWA D B. A review of the pinned photodiode for CCD and CMOS image sensors[J]. IEEE Journal of the Electron Devices Society, 2014, 2(3): 33-43. doi: 10.1109/JEDS.2014.2306412

    [6]

    GALLEGO G, DELBRÜCK T, ORCHARD G, et al. Event-based vision: a survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 44(1): 154-180.

    [7]

    HUANG X, ZHANG Y, XIONG Z. High-speed structured light based 3D scanning using an event camera[J]. Optics Express, 2021, 29(22): 35864-35876. doi: 10.1364/OE.437944

    [8]

    MUGLIKAR M, MOEYS D P, SCARAMUZZA D. Event guided depth sensing[C]//2021 International Conference on 3D Vision (3DV). New York: IEEE, 2021: 385-393.

    [9]

    MATSUDA N, COSSAIRT O, GUPTA M. Mc3d: motion contrast 3D scanning[C]//2015 IEEE International Conference on Computational Photography (ICCP). New York: IEEE, 2015: 1-10.

    [10]

    MUGLIKAR M, GALLEGO G, SCARAMUZZA D. Esl: event-based structured light[C]//2021 International Conference on 3D Vision (3DV). New York: IEEE, 2021: 1165-1174.

    [11]

    BLABER J, ADAIR B, ANTONIOU A. Ncorr: open-source 2D digital image correlation matlab software[J]. Experimental Mechanics, 2015, 55(6): 1105-1122. doi: 10.1007/s11340-015-0009-1

    [12] 苏显渝, 张启灿, 陈文静. 结构光三维成像技术[J]. 中国激光, 2014, 41(2): 0209001. doi: 10.3788/CJL201441.0209001

    SU Xianyu, ZHANG Qican, CHEN Wenjing. Three-dimensional imaging based on structured illumination[J]. Chinese Journal of Lasers, 2014, 41(2): 0209001. doi: 10.3788/CJL201441.0209001

    [13] 王浩然, 吴周杰, 张启灿, 等. 基于时间复用编码的高速三维形貌测量方法[J]. 光学学报, 2023, 43(1): 0112003.

    WANG Haoran , WU Zhoujie , ZHANG Qican , et al. High-speed three-dimensional morphology measurement based on time multiplexing coding[J]. Acta Optica Sinica, 2023, 43(1): 0112003.

    [14]

    SU X, CHEN W. Fourier transform profilometry: a review[J]. Optics and Lasers in Engineering, 2001, 35(5): 263-284. doi: 10.1016/S0143-8166(01)00023-9

    [15]

    ITO M, ISHII A. A three-level checkerboard pattern (TCP) projection method for curved surface measurement[J]. Pattern Recognition, 1995, 28(1): 27-40. doi: 10.1016/0031-3203(94)E0047-O

    [16]

    MORITA H, YAJIMA K, SAKATA S. Reconstruction of surfaces of 3-d objects by m-array pattern projection method[C]//1988 Second International Conference on Computer Vision. New York: IEEE Computer Society, 1988: 468-473.

    [17]

    BOYER K L, KAK A C. Color-encoded structured light for rapid active ranging[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1987(1): 14-28.

    [18]

    NOROUZI M, FLEET D J, SALAKHUTDINOV R R. Hamming distance metric learning[J]. Advances in Neural Information Processing Systems, 2012, 25: 8180104.

    [19]

    ALPSERTEK. Products talks[EB/OL]. [2023-08-10]. https://www.alpsentek.com/product.

    [20]

    BOPIXEL. Structured light 3D camera[EB/OL]. [2023-08-10]. http://www.bopixel.com/product-dlp-model/335.html.

    [21]

    ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334. doi: 10.1109/34.888718

    [22]

    HIRSCHMULLER H. Stereo processing by semiglobal matching and mutual information[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 30(2): 328-341.

图(12)  /  表(1)
计量
  • 文章访问数:  138
  • HTML全文浏览量:  28
  • PDF下载量:  47
  • 被引次数: 0
出版历程
  • 收稿日期:  2023-08-23
  • 修回日期:  2023-12-25
  • 网络出版日期:  2024-08-19
  • 刊出日期:  2024-09-14

目录

/

返回文章
返回