Compression light field reconstruction and depth estimation
-
摘要: 针对光场深度估计过程中数据量大、边缘处深度估计结果不准确问题，利用压缩感知原理重建光场，提出一种新的多信息融合的光场图像深度估计算法。利用压缩感知重建算法重建5×5视角光场数据，获取光场数据后首先移动子孔径实现重聚焦，然后利用角度像素块散焦线索和匹配线索计算出场景初始深度和置信度。计算图像边缘信息，通过融合初始深度、置信度、边缘信息获取最终深度。实现压缩光场仿真重建，并对仿真光场数据和公开光场数据进行深度估计，实验结果表明：可以仿真重建出5×5视角光场数据，且仿真重建的光场可用于深度估计。该深度估计算法在场景边缘处的深度估计结果边界清晰，层次分明，验证了重建光场深度估计的可行性与准确性。Abstract: Aiming at the problem of large amount of the light field data and inaccurate depth estimation at the edge, the light field was reconstructed by compressive sensing principle and a depth estimation method based on multiple information fusion was proposed. Firstly, a 5×5 view light-field was reconstructed according to the compressed sensing reconstruction algorithm, and the refocusing was realized by moving the sub-aperture after obtaining the field data. Then, the initial depth and confidence of the scene were calculated by using the defocused response cues and correspondence response of angular patch. Finally, the image edge information was calculated, and the final depth was obtained by fusing the initial depth, confidence and edge information. The compressed light field simulation and physical reconstruction were realized, and the depth estimation of the simulated reconstruction light field and the open optical field data were also achieved. The experimental results show that the method proposed can simulate and reconstruct the 5×5 view light field data, which can be used for depth estimation. The depth estimation results of the proposed method at the edge of the scene is clear and hierarchical, which verifies the feasibility and accuracy of the depth estimation for the reconstructed light field based on compressed sensing theory.
-
Keywords:
- applied optics /
- depth estimation /
- compressed sensing /
- light field reconstruction
-
引言
当机场内的某些跑道因维修、维护、施工或出现特殊情况需要关闭时，该跑道不能供飞机降落使用，为防止飞行员误降跑道，需设置醒目的置于地面的目视助航灯光以使飞行员正确、快速、有效地识别跑道关闭，警示飞行员禁止降落[1]。以便能够及时向飞行员提供有效的跑道临时关闭信息。目前此类目视助航设施尚在试用阶段，使用的构型、颜色、可视距离、功能等都没有统一标准，使得该警示灯在空中分辨距离、高度甚至构型不统一，易对飞行员造成困扰，影响飞行安全。美国Hudson Safe公司根据联邦航空局发布的咨询通告AC150/5345-55A[2]标准采用反馈法给出了警示车的尺寸大小、灯光构型以及光强范围[3-4]，但是没有考虑人眼视觉的影响因素。
为此，本文基于人眼视觉，对警示灯尺寸大小和灯光构型进行设计，消除了人眼的视觉影响，采用逐点法对警示灯光强进行计算，并考虑光传输衰减的影响，仿真了不同距离下警示灯的可分辨特性，为机场跑道临时关闭警示灯的设计提供了参考依据。
1 模型建立
1.1 构型设计
根据国内外现有警示灯的构型以及人们的认知习惯，警示灯外形轮廓采用符合认知习惯的构型X形。警示灯放置在跑道号码处的中线上，但不影响临近跑道的使用。为提高警示效果、便于运输与摆放，警示灯X形构型的尺寸、光源的分布必须要经合理设计选择。
为使飞行员有足够的时间做出判断并采取复飞操作，应至少在2 km处辨别警示灯的X构型。能否清楚地辨识X形与人眼分辨角和分辨极限有关，人眼分辨角θ可按以下经验公式[5]估算：
$$ \theta =\frac{1}{0.618-0.13/d}\text{ }~ $$ (1) 式中d为瞳孔直径(mm)。
一般瞳孔直径为3 mm~8 mm，人眼视力会因高速运动而下降，视野变小。通常视力在动态下比静态低10%~20%，特殊情况下达到30%~40%。选择视力在最差情况下，根据(1)式得到分辨角θ=5′。
要使飞机在2 km处识别X形，根据瑞利判据可知，人眼分辨角等于被分辨物体的距离与所对应的视距的比值：
$$ \theta =\frac{S}{L} $$ (2) 式中：S为被分辨物体距离；L为视距。
因此，要识别X形，其4个端点的距离至少为3 m，则单臂长至少为4.8 m。
机场着陆最低标准如表 1所示。
表 1 机场着陆标准Table 1. Landing standard of airport进近类别 决断高度/m 离跑道入口/m Ⅰ ≥60 1 150 Ⅱ 60≥DH≥30 570 Ⅲ ＜30 400 为确保飞行员在决断高度内清楚地辨别警示灯的X形，必须保证在决断高度看到连续的X形，即无法分辨X形上的单个灯。则由(1)式和(2)式求得灯间距应小于0.58 m。为此提出图 1所示警示灯模型。
1.2 灯光设计
警示灯作为跑道临时关闭警示装置，应满足在该关闭跑道进近的飞行员能够发现关闭标志，同时又不能影响临近跑道上飞机的正常着陆。因此，警示灯X形灯光的发光角和光强要符合相关的标准才能发出正确警示信息，如图 2所示。
图 2中白天，光束中心3°出射角范围内的有效光强≥70 000 cd，3°~10°半径内的有效光强≥34 000 cd，10°~15°半径内的有效光强≥13 000 cd。
夜晚，光束中心3°出射角范围内的有效光强≥2 000 cd，3°~10°半径内的有效光强≥970 cd，10°~15°半径内的有效光强应≥370 cd。
为保证警示灯提供醒目的X形灯光，不仅整体光强要求符合标准，单个灯具的光强设计也必须符合标准，如表 2所示。
表 2 灯具光强标准Table 2. Light intensity standard of lamp入射角光强比 比值 I(3°)/I(10°) 2.06 I(10°)/I(15°) 2.62 考虑到灯具光强标准为中间光强大，然后逐渐向四周均匀减小，为此初步选定了两种灯具设计方案。
方案1，如图 3(a)所示，采用的是3个灯珠串联为一组，再4组并联的联接方式，灯珠布局集中。
方案2，如图 3(b)所示，采用的是6个灯珠串联为一组，再两组并联的联接方式，灯珠的布局均匀分散。
通过助航灯具测光系统测得的上述2种灯具等光强曲线，如图 4和图 5所示。
由图 4可知，出射角3°处该灯具的平均出射光强为3 660 cd，出射角10°处的平均出射光强为1 630 cd，二者比值为2.23，标准比值为2.06；出射角15°处的平均出射光强为700 cd，与出射角10°处的比值为2.33，标准比值为2.62。故3°~10°的光强衰减程度比标准大，10°~15°的光强衰减程度比标准小。
由图 5可知，出射角3°处该灯具的平均出射光强为4 110 cd，出射角10°处的平均出射光强为2 000 cd，二者比值为2.06，标准比值为2.06；出射角15°处的平均出射光强为880 cd，与出射角10°处的比值为2.27，标准比值为2.62。光强衰减程度基本符合标准要求，故选择方案2进行灯具设计。
通常在发光物体照射距离超过其尺寸1/10时，该发光物体就可以看作点光源。点光源在一点产生的照度值正比于点光源在被照点方向的光强值，反比于点光源与被照点之间的距离平方[6-7]。因警示灯尺寸较大，光强测量较为困难，为此采用逐点法对警示灯光强进行计算。
选取警示灯垂直平行面上的点P，垂直距离h，则警示灯上i光源在照射点P处的直射照度：
$$ {{E}_{hi}}=\frac{I\left( {{\theta }_{hi}},{{\theta }_{vi}} \right)}{{{h}^{2}}}~\cdot \text{co}{{\text{s}}^{3}}{{\beta }_{i}}~ $$ (3) 式中：I(θhi, θvi)为i光源在P处光强值；h为竖直距离；βi为i光源到P处的距离与竖直距离的夹角。
警示灯在P处的直射照度：
$$ {{E}_{h}}=\sum\limits_{i=1}^{25}{{{E}_{hi}}}=\sum\limits_{i=1}^{25}{\frac{I\left( {{\theta }_{hi}},{{\theta }_{vi}} \right)}{{{h}^{2}}}\text{co}{{\text{s}}^{3}}{{\beta }_{i}}}~ $$ (4) 警示灯出射角α方向的光强值：
$$ {{I}_{a}}=\frac{{{E}_{h}}\cdot {{L}^{2}}}{\text{cos}\alpha }~=\sum\limits_{i=1}^{25}{\frac{I\left( {{\theta }_{hi}},{{\theta }_{vi}} \right)\cdot \text{co}{{\text{s}}^{3}}{{\beta }_{i}}}{\text{co}{{\text{s}}^{3}}\alpha }}\text{ }~ $$ (5) 式中L=h/cosα
最终计算得到警示灯的总体光强曲线如图 6所示。
如图 6所示，出射角3°的中心光束光强曲线值为97 000 cd，大于70 000 cd，出射角10°的光强曲线值为45 000 cd，大于34 000 cd，出射角15°的光强曲线值为18 800 cd，大于13 000 cd。满足标准要求。
2 仿真验证
人眼由于瞳孔的特殊结构，在接收警示灯光时，在视觉系统中会产生夫琅和费圆孔衍射图样[8]。为了仿真人眼分辨警示灯X形过程，把人眼看成凸透镜，恰好分辨两物时人眼与发光点的张角为最小分辨角θ：
$$ \theta =1.22\frac{\lambda }{D} $$ (6) 式中：λ为出射光的波长；D为瞳孔直径。
发光点与人眼中心的张角决定了衍射图样艾里斑的光能分布：
$$ I={{I}_{0}}{{\left[ \frac{2{{J}_{1}}\left( u \right)}{u} \right]}^{2}}~ $$ (7) 式中：I0为最大光强；J1为一阶贝塞尔函数；u=2πsinθ/λ。
考虑到环境对人眼分辨的影响，飞行员在距离S处的照度值E与大气衰减系数δ的函数[9]关系：
$$ E=\frac{{{I}_{0}}}{{{S}^{2}}}~{{\text{e}}^{-\delta \cdot S}}~ $$ (8) 大气衰减系数与能见度的关系[10]：
$$ \delta =\frac{14.274\pi {{V}^{-1.43}}}{\lambda } $$ (9) 式中：λ为光波长；V为能见度
环境亮度对比度与衰减系数关系[11]：
$$ {{C}_{s}}=C{{\text{e}}^{-\delta \cdot S}} $$ (10) 式中：Cs为表现亮度对比值；C为对比灵敏度。
根据不同背景亮度下的对比灵敏度，综合式(6)~(8)得到X形警示灯光强的分布，如图 7所示。
选择背景亮度为200 cd/m2，能见度2 500 m的清晨，查表[12]得对比灵敏度和照度阈值。再根据人眼成像原理仿真飞行员在安全标准范围内2 km和400 m距离处，人眼分辨X形这一过程，如图 8所示。
由图 8(a)可知，飞行员安全复飞距离2 km处开始看到警示灯X形，能够引起飞行员注意到跑道临时关闭信息，使得在安全复飞的距离内及时对飞机起到警示作用。
图 8(b)为在安全决断距离内飞行员在400 m处开始看到X形上单灯，即在此之前灯光一直是连续的呈X形上，保证了在决断高度内起到警示作用。
3 应用结果
对设计的机场跑道关闭警示灯进行应用验证，将其放置在跑道入口处，如图 9所示。通过目测证明在2 km处开始能够看到警示灯X形。400 m处开始能够分辨X形上的单灯，与仿真结果一致。
4 结论
本文基于人眼视觉以及机场相关标准建立的警示灯灯光构型，满足相关要求并且符合人们日常习惯。并提出利用逐点法计算警示灯总体光强，并通过仿真及验证实验得出：
1) 在2 km处开始分辨出警示灯X形，保证了飞机复飞安全。
2) 在400 m处开始可分辨警示灯X形上单灯，保证了飞机在决断高度内起到警示作用。
结果表明机场跑道临时关闭警示灯能够保证在机场临时关闭时对飞机起到警示作用，保证机场运行安全。为警示灯的相关标准制定提供了参考依据，也为后续的研制提供了参考。
-
表 1 时间开销与MSE对比
Table 1 Comparison of time cost and MSE
光场数据 计算遮挡
时间[20]/s本文计算边缘
轮廓时间/s均方误差[20] 本文均
方误差onosroom 46 < 1 0.003 38 0.002 65 medieval 81 < 1 0.012 72 0.012 94 papillion 43 < 1 0.012 41 0.012 50 buddha 35 < 1 0.009 56 0.009 88 outdoor 28 < 1 0.002 76 0.002 86 scuptures 22 < 1 0.006 02 0.004 45 plant 63 < 1 0.012 43 0.012 41 livingroom 33 < 1 0.004 39 0.004 41 bedroom 35 < 1 0.012 10 0.009 60 
下载: 导出CSV
-
[1] LEVOY M, PAT H. Light field rendering[C].US: ACM, 1996: 31-42.
[2] NG R, LEVORY M, BREDIF M, et al. Light field photography with a hand-held plenoptic camera[J]. Computer Science Technical Report CSTR, 2005, 2(11): 1-11. http://cn.bing.com/academic/profile?id=91b07568d85e3e2056e7e33d32a4e64c&encoded=0&v=paper_preview&mkt=zh-cn
[3] YOON Y, JEON H G, YOO D, et al. Learning a deep convolutional network for light-field image super-resolution[C]. US: IEEE, 2015: 57-65.
[4] SVEN W, BASTIAN GOLDLUECKE. Globally consistent depth labeling of 4D light fields[C].US: IEEE, 2012: 41-48.
[5] LI Nianyi, YE Jinwei, JI Yu, et al. Saliency detection on light field[C].US: IEEE, 2014: 2806-2813.
[6] 孙试翼, 匡翠方, 刘旭.基于光场成像的表面三维重构[J].应用光学, 2017, 38(2): 210-214. http://d.old.wanfangdata.com.cn/Periodical/yygx201702010 SUN Shiyi, KUANG Cuifang, LIU Xu. Three dimensional surface reconstruction based on light field imaging[J]. Journal of Applied Optics, 2017, 38(2): 210-214. http://d.old.wanfangdata.com.cn/Periodical/yygx201702010
[7] WILBURN B, JOSHI N, VAISH V, et al. High performance imaging using large camera arrays[J]. ACM Transactions on Graphics, 2005, 24(3):765-776. doi: 10.1145/1073204.1073259
[8] MARWAH K, WETZSTEIN G, VEERARAGHAVAN A, et al. Compressive light field photography[J]. Acm Siggraph, 2012, 70(2) :49. http://d.old.wanfangdata.com.cn/NSTLQK/NSTL_QKJJ0231474180/
[9] ASHOK A, NEIFELD M A. Compressive light-field imaging[J]. SPIE, 2010, 7690(1):281-290. http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201705007
[10] BABACAN S D, ANSORGE R, LUESSI M, et al. Compressive light field sensing[J]. IEEE Transactions on Image Processing, 2012, 21(12):4746-4757. doi: 10.1109/TIP.2012.2210237
[11] 常雷, 袁艳, 张修宝, 等.基于掩摸的光场成像仿真及采样研究[J].光子学报, 2010, 39(6):1104-1110. http://www.cnki.com.cn/Article/CJFDTotal-GZXB201006028.htm CHANG L, YUAN Y, ZHANG X B, et al. Research on sampling and computer simulation of mask-based light field photography[J].Acta Photonica Sinica, 2010, 39(6):1104-1110. http://www.cnki.com.cn/Article/CJFDTotal-GZXB201006028.htm
[12] 刘永春, 龚华军, 沈春林.基于掩膜的光场采集与重建的研究[J].光学学报, 2014, 34(8):105-110. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=gxxb201408018 LIU Y C, GONG H J, SHEN C L. Research of lightfield acquisition and reconstruction based on mask[J]. Acta Optica Sinica, 2014, 34(8):105-110. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=gxxb201408018
[13] 覃亚丽, 张晓帅, 余临倩.基于低秩矩阵分解的光场稀疏采样及重构[J].光学精密工程, 2017, 25(5):1171-1177. http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201705007 QIN Yali, ZHANG Xiaoshuai, YU Linqian. Sparse sampling and reconstruction of compressive light field via low-rank matrix decomposition[J].Opt. Precision Eng., 2017, 25(5):1171-1177. http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201705007
[14] ZHANG Y, LV H, LIU Y, et al. Light-field depth estimation via epipolar plane image analysis and locally linear embedding[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2017, 27(4):739-747. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=9618067a4c6b8788832fccb74c3caeea
[15] CHEN C, LIN H, YU Z, et al. Light field stereo matching using bilateral statistics of surface cameras[C].US: IEEE, 2014: 1518-1525.
[16] HEBER S, POCK T. Shape from light field meets robust PCA[C].GER: Springer International Publishing, 2014: 751-767.
[17] JEON H G, PARK J, CHOE G, et al. Accurate depth map estimation from a lenslet light field camera[C].US: IEEE, 2015: 1547-1555.
[18] TAO M W, SRINIVASAN P P, HADAP S, et al. Shape estimation from shading, defocus, and correspondence using light-field angular coherence[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(3): 546-460. doi: 10.1109/TPAMI.2016.2554121
[19] WANG T C, EFROS A A, RAMAMOORTHI R. Depth estimation with occlusion modeling using light-field cameras[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(11): 2170-2181. doi: 10.1109/TPAMI.2016.2515615
[20] DONOHO D L. Compressed sensing[J]. IEEE Transactions on Information Theory, 2006, 52(4): 1289-1306. doi: 10.1109/TIT.2006.871582
[21] LI Y, LI F, BAI B, et al. Image fusion via nonlocal sparse K-SVD dictionary learning[J]. Applied Optics, 2016, 55(7):1814. doi: 10.1364/AO.55.001814
[22] GISELSSON P, BOYD S. Diagonal scaling in douglas-rachford splitting and ADMM[C].US: IEEE, 2014: 5033-5039.
[23] 尹晓艮, 张晓芳, 张伟超, 等.基于光场数字重聚焦的三维重建方法研究[J].光电子·激光, 2015(5):986-991. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=gdzjg201505026 YIN Xiaogen, ZHANG Xiaofang, ZHANG Weichao, et al. Study on 3D reconstruction based on light field digital refocusing[J]. Journal of Optoelectronics·Laser, 2015(5): 986-991. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=gdzjg201505026
[24] TAO M W, HADAP S, MALIK J, et al. Depth from combining defocus and correspondence using light-field cameras[C]. US: IEEE Computer Society, 2013: 673-680.
[25] MOUSNIER A, VURAL E, GUILLEMOT C. Partial light field tomographic reconstruction from a fixed-camera focal stack[J]. Computer Science, 2015, 1503:01903. http://cn.bing.com/academic/profile?id=623f6f524a91f727683314efaa4fa3a0&encoded=0&v=paper_preview&mkt=zh-cn
-
期刊类型引用(12)
1. 周爱国，赵吉林，安山，符长虹. 注重明度感知的通用渐进式无监督图像增强方法. 应用光学. 2024(05): 937-945 . 
本站查看
2. 何忧，何晓程，董星. 基于多层激光雷达的3D虚拟环境感知系统. 激光杂志. 2023(01): 199-204 . 百度学术
3. 张玉亮，赵智龙，付炜平，刘洪吉，熊永平，尹子会. 融合边缘语义信息的单目深度估计. 科学技术与工程. 2022(07): 2761-2769 . 百度学术
4. 郭贵松，林彬，杨夏，张小虎. 基于斑马鱼图像特征的鱼群检测算法. 应用光学. 2022(02): 257-268 . 本站查看
5. 陈耀祖，谷玉海，成霞，徐小力. 基于优化YOLOv4算法的行驶车辆要素检测方法. 应用光学. 2022(02): 248-256 . 本站查看
6. 刘朔，谷玉海，饶文军，王菊远. 基于优化YOLOv3算法的违章车辆检测方法. 重庆理工大学学报(自然科学). 2021(04): 135-141 . 百度学术
7. 蔡伟，徐佩伟，杨志勇，蒋昕昊，姜波. 复杂背景下红外图像弱小目标检测. 应用光学. 2021(04): 643-650 . 本站查看
8. 洪波，刘雪芹，秦志亮，马本俊，王飞，刘映锋. 水面运动目标跟踪监控系统的设计与实现. 海洋技术学报. 2021(04): 62-73 . 百度学术
9. 高晓娟，梅秀庄，白福忠，李萍. 航拍巡线低照度彩色图像增强与电力小部件检测. 内蒙古工业大学学报(自然科学版). 2021(06): 461-467 . 百度学术
10. 陈裕如，赵海涛. 基于自适应像素级注意力模型的场景深度估计. 应用光学. 2020(03): 490-499 . 本站查看
11. 刘洋，姜涛，段学鹏. 基于YOLOv3的复杂天气条件下人车识别方法的研究. 长春理工大学学报(自然科学版). 2020(06): 57-65 . 百度学术
12. 侯军占，张卫国，庞澜，杨光，张夏疆，徐晓枫，黄维东. 地面小型无人侦察平台发展及关键技术探讨. 应用光学. 2019(06): 958-964 . 本站查看
其他类型引用(10)
计量
- 文章访问数: 1305
- HTML全文浏览量: 338
- PDF下载量: 81
- 被引次数: 22
陕公网安备 61011302001501号 