Disparity image feature matching algorithm based on AKAZE and adaptive local affine matching
-
摘要: 针对常用的图像特征匹配算法对具有视差的图像在图像特征匹配阶段会产生大量误匹配点的问题，提出了一种AKAZE（accelerated-KAZE）算法结合自适应局部仿射匹配的特征匹配算法。首先，采用AKAZE算法提取特征点；接着，采用二进制描述符M-LDB(modified-local difference binary)进行描述并进行暴力匹配产生粗匹配点对；最后，基于图像的仿射变换可以提供较强的几何约束这一特性，采用自适应局部仿射匹配完成精匹配。实验结果表明，该算法针对具有旋转变化、尺度变化、视角变化的图像匹配，具有提取特征点均匀、匹配准确等效果，提取的正确特征点数量分别平均相对于SIFT算法提升了1.66倍、SURF算法提升了1.08倍、ORB算法提升了6.92倍、GMS算法提升了1.23倍，能够满足具有较大视差图像匹配的需求。Abstract: Aiming at the problem that common image feature matching algorithms will produce a large number of mismatched points in the image feature matching stage for images with parallax, a image feature matching algorithm combining accelerated-KAZE (AKAZE) algorithm with adaptive local affine matching was proposed. Firstly, the AKAZE algorithm was used to extract the feature points. Then, the binary descriptor M-LDB was used for description and the brute force matching was performed to generate coarse matching point pairs. Finally, the image-based affine transformation could provide the characteristic of strong geometric constraints, and adopted adaptive local affine matching to complete fine matching. The experimental results show that the algorithm has the effects of uniform extraction of feature points and accurate matching for image matching with rotation change, scale change, and viewing angle change at the same time. The number of correct feature points extracted is increased by average 1.66 times compared with SIFT algorithm, 1.08 times compared with SURF algorithm, 6.92 times compared with ORB algorithm and 1.23 times compared with GMS algorithm, respectively. It can meet the needs of image matching with large disparity.
-
Keywords:
- accelerated-KAZE /
- adaptive local affine matching /
- feature matching /
- disparity
-
引言
CCD探测器作为一种半导体光电器件，以其体积小、动态范围广、灵敏度高、低功耗等优点，已经被广泛应用于电视光电探测、高空侦察、遥感等诸多领域。在光电对抗过程中，CCD探测器作为光电设备的核心器件极易受到激光辐照而产生温升，造成CCD探测器材料发生熔融、汽化等现象，从而导致CCD发生热损坏。
目前，已有很多学者对激光辐照CCD探测器的温升变化进行了研究。孙守红等人利用808 nm激光对CCD探测器进行辐照[1]，获得了CCD探测器发生热熔融时的阈值。张强等人基于热传导方程理论建立了混合频率激光辐照CCD探测器遮光铝层金属材料的温升物理模型[2]，理论仿真了不同模式下激光辐照CCD探测器遮光铝层材料的瞬态温度场。聂劲松等人基于有限元方法建立了1.06 μm 激光辐照CCD探测器的温升模型[3]，计算了高重频脉冲激光辐照CCD探测器的温度场分布，发现脉冲峰值功率越高，诱导CCD探测器组成材料更易发生熔融。赵阳等人对毫秒激光辐照CCD探测器的热效应进行研究[4]，发现激光热作用对会导致CCD探测器上层微透镜材料发生熔融、汽化等现象。李明欣等人基于傅里叶热传导方程建立了毫秒脉冲激光辐照CCD探测器的温升模型[5]，发现毫秒激光诱导CCD探测器的热损失首先出现在滤光层。韩敏等人建立了1.06 μm连续激光辐照CCD探测器的热-力耦合模型[6]，发现熔点较低的微透镜层最先发生熔融，造成CCD探测器温升速度减缓。任晓东等人建立了高重频脉冲激光辐照CCD探测器的温升模型[7]，考虑了CCD探测器材料参数的非线性变化和熔融相变过程，发现高重复频率脉冲会引起温度积累效应，在硅基片达到熔点后，峰值温度基本保持在熔点附近。
目前，许多研究学者开展了激光诱导CCD探测器的热损伤特性与理论仿真研究，但针对纳秒激光诱导CCD探测器铝层金属材料的温升变化的液-固相变时间特性研究尚未见报道。因此，本文基于傅里叶热传导方程，理论仿真了激光脉冲峰值功率密度和激光入射角度等参数变化对CCD受激光辐照后液-固相变时间特性的影响。
1 纳秒脉冲激光诱导CCD温升的理论模型
纳秒脉冲激光辐照到CCD探测器表面时（如图1所示），CCD材料吸收激光脉冲能量产生温升。当脉冲激光能量较高时，CCD材料表面出现熔化、汽化甚至电离产生等离子体。当脉冲能量结束后，CCD材料表面温度升高到一定值后下降，当降低到熔点时，由于热传导作用，在CCD探测器材料表面将存在持续一段时间的液-固相变弛豫过程。等CCD材料表面凝固后，由于存在向周围环境空气的辐射传热过程，CCD表面的温度继续下降，直到与环境温度达到平衡。
考虑CCD探测器为三层结构（硅基底厚度为150 μm，中间层二氧化硅厚度为0.5 μm，上层铝厚度为1 μm），CCD的各层材料均为各向同性的均匀材料，则纳秒激光诱导CCD探测器的温升过程可由傅里叶热传导方程[8]描述：
$$\begin{split} \rho_{m} C_{m} \frac{\partial T}{\partial t}=&\frac{\partial}{\partial x}\left(K_{m} \frac{\partial T}{\partial x}\right)+\frac{\partial}{\partial y}\left(K_{m} \frac{\partial T}{\partial y}\right)+\frac{\partial}{\partial {\rm{z}}}\left(K_{m} \frac{\partial T}{\partial {\rm{z}}}\right)+\\ &Q(x, y, {\textit{z}}, t) \\[-12pt] \end{split} $$ (1) 式中：$ \rho_{m} $为材料密度；$ C_{m} $为材料比热容；$ {K}_{{m}} $为材料导热系数；m为CCD探测器结构的层数；T为温度；t为激光作用时间。$ Q(x, y, {\textit{z}}, t) $为激光热源项，代表激光导致物体内产生的热量，数学表达式为
$$ Q=I(1-R) \alpha \exp \left(-\alpha_{m} {\textit{z}}\right) \exp \left(\frac{-2\left(x^{2} + y^{2}\right) \cos ^{2} \theta}{r_{0}^{2}}\right) \cos \theta g(t) $$ (2) 式中：$ I $为入射激光强度；R为CCD探测器上层铝材料的反射率；$ \alpha_{m} $为第m层材料的激光吸收系数；r0为纳秒激光垂直入射在CCD探测器表面的激光光斑半径；$ \theta $为激光入射方向与CCD探测器表面法线间的夹角；g(t)为激光脉冲的时间分布函数，表达式为
$$ g(t)=\left\{\begin{array}{cc} 1 & 0 \leqslant t \leqslant \tau \\ 0 & t<0 \text { 或者 } t>\tau \end{array}\right. $$ (3) 纳秒激光诱导CCD探测器的温升过程，三层材料间满足热连续边界条件和初始温度为
$$ T\left(h_{m}\right)=T\left(h_{m+1}\right) $$ (4) $$ \left.T_{m}(x, y, {\textit{z}}, t)\right|_{t=0}=T_{m}(t=0)=300\;{\rm{K}} $$ (5) 纳秒脉冲激光诱导CCD探测器的温升过程中，探测器表面与环境空气存在热交换，因此CCD探测器上表面铝层—空气交界处的边界方程为
$$ -k \frac{\partial T}{\partial n}=-\xi S_{{\rm{B}}}\left(T^{4}-T_{0}^{4}\right)-h\left(T-T_{0}\right) $$ (6) 式中：h表示激光辐照过程中的对流换热系数，单位为 W/(m2·K)；$ \xi $表示铝表面辐射率；SB为斯蒂芬玻尔兹曼常数(5.67×10−8 W/(m2·K4))。
本文利用COMSOL Multiphysics 仿真软件对波长为1 064 nm、脉冲宽度为100 ns和辐照在CCD探测器上的光束直径为115 μm的纳秒脉冲激光辐照CCD探测器的温度场进行理论计算，CCD模拟所需热力学参数来源于文献[9-12]。理论计算过程中，激光辐照到CCD探测器表面的光斑直径为115 μm，因此考虑理论模拟空间尺寸大于3倍的光斑直径，CCD探测器的模型整体宽度设定为500 μm×500 μm。为了提升计算精确度，需要对激光作用区域进行网格细化处理，因此计算过程中将CCD探测器Al遮光层、SiO2绝缘层以及Si基底层上表面进行网格细化。先对远离激光热源的Si层区域进行网格划分(单个网格单元尺寸不超过10 μm，不小于0.03 μm)，之后对靠近激光热源的Al层、SiO2层及Si层上表面进行网格剖分（单个网格单元尺寸不超过5 μm，不小于0.01 μm），从而使激光作用区域获得较为细致的网格。网格剖分结果如图2所示。
![]()
图 2 CCD网格剖分图及剖分局部放大图Figure 2. Grid division diagram and its partial enlarged diagram of CCD detector2 结果和探讨
2.1 脉冲峰值功率对液-固相变时间特性的影响
当脉冲峰值功率分别为0.60×107 W/cm2、1.86×107 W/cm2、3.23×107 W/cm2、4.81×107 W/cm2、6.11×107 W/cm2、6.35×107 W/cm2，单脉冲纳秒激光诱导CCD探测器铝层面光斑中心点的温升曲线如图3所示，对应的中心点峰值温度随激光脉冲能量变化如图4所示。
![]()
图 3 纳秒脉冲激光诱导CCD探测器铝层表面中心点的温升曲线Figure 3. Temperature rise curve of central point on aluminum layer surface of CCD detector induced by nanosecond pulsed laser![]()
图 4 CCD探测器铝层表面中心点峰值温度随激光功率的变化曲线Figure 4. Variation curve of peak temperature of aluminum layer surface center point of CCD detector with laser power从图3中CCD探测器铝层表面中心点温度的时间演化曲线可以看出，当激光脉冲辐照CCD探测器后，CCD探测器铝层材料吸收激光能量，温度上升。当脉冲结束后，由于CCD探测器的z方向热传导以及与周围空气的辐射热作用，导致了铝层材料温度下降。当铝层温度下降到熔点933 K时，由于液态转化为固态存在放热过程，因此在温度时间演化过程将存在一定时间段的液-固相变共存过程[13]。等铝层凝固后，铝层表面温度缓慢下降，直到与周围环境空气达到热平衡。激光脉冲能量越大，激光脉冲诱导CCD探测器铝层表面的温度越高，并且温度下降后降至熔点的时间往后推延，对应的液-固相变共存时间越长。从图4可知，随着激光脉冲能量的增大，辐照到CCD探测器铝层表面的激光强度增大，铝层材料吸收的激光能量增大，从而使CCD探测器铝层表面中心点的峰值温度呈上升变化。
图5为纳秒激光脉冲诱导CCD探测器的液-固相变起始时间和液-固相变时间长度随脉冲激光峰值功率密度的变化曲线。当激光脉冲结束后，由于CCD探测器与周围空气存在辐射热交换作用，导致CCD探测器表面的温度下降，降温时间演化过程中存在液-固相变温度平台区，该段时间内激光作用CCD探测器区域处于液-固共存状态。随着入射激光脉冲峰值功率增加，液-固相变起始时刻往后延迟，且液-固相变时间长度增加。这是因为激光脉冲峰值功率增大，使CCD探测器铝层表面中心点的峰值温度变大，温度回落至铝层材料的熔点温度时发生液-固相变所需的时间就越长，因此出现了液-固相变起始时刻随入射激光脉冲峰值功率增加而延后变化。激光脉冲峰值功率增大，造成CCD探测器激光作用区域的熔池热能增大，造成熔池与CCD探测器上层的空气热交换时间延长，从而出现了液-固相变时间长度随入射激光脉冲峰值功率增加而变大。
![]()
图 5 CCD探测器的液-固相变起始时间和液-固相变时间长度随峰值功率密度的变化曲线Figure 5. Variation curves of liquid-solid phase transition starting time and time length of CCD detector with peak power density2.2 激光入射角度对液-固相变时间特性的影响
在激光脉冲峰值功率密度为4.81×107 W/cm2条件下，使激光斜入射辐照CCD探测器，得到激光入射角度分别为0°、20°、40°、60°、80°下脉冲激光诱导CCD探测器铝层表面中心点温升曲线，如图6所示。
![]()
图 6 不同入射角度的纳秒脉冲激光诱导CCD探测器铝层表面中心点的温升曲线Figure 6. Temperature rise curve of central point on aluminum layer surface of CCD detector induced by nanosecond pulse laser with different incident angles由图6可知，随着激光入射角度增大，CCD探测器铝层表面中心点峰值温度降低，并且发现降至铝层材料的熔点温度时间前移。图7为不同激光入射角纳秒激光脉冲诱导CCD探测器的液-固相变起始时间和液-固相变时间长度随激光入射角度的变化曲线。随激光入射角度的增大，由于CCD探测器铝层表面的最高温度降低，导致了液-固相变起始时刻不断减小，并且液-固相变时间长度逐渐变短。这是因为随激光入射角度的增大，辐照在CCD探测器铝层材料表面的激光光束由圆形光斑变成椭圆光斑，在激光斜入射方向上光斑尺寸变大，从而使CCD探测器表面上的激光光斑面积变大，致使作用在铝层材料表面的激光脉冲峰值功率密度下降，从而导致了CCD探测器铝层表面中心点峰值温度逐渐降低，回落至液-固相变起始点时间前移。同时，激光脉冲峰值功率密度的下降，导致激光诱导CCD探测器铝层表面熔融区域面积减小，造成熔池与CCD探测器上层的空气热交换时间变短，从而出现了液-固相变时间长度随入射激光角度增加而变小。
![]()
图 7 CCD探测器的液-固相变起始时间和液-固相变时间长度随激光入射角度的变化曲线Figure 7. Variation curves of liquid-solid phase transition starting time and time length of CCD detector with laser incidence angles3 结论
本文从理论仿真计算方面开展了激光脉冲峰值功率和激光入射角度对纳秒激光辐照CCD温升变化的液-固相变时间特性的影响研究。通过傅里叶热传导方程计算了纳秒激光诱导CCD探测器铝层材料的温升曲线，通过温升曲线获得了CCD探测器铝层材料液-固相变起始时刻和液-固相变时间长度随激光脉冲峰值功率和激光入射角度的变化规律。理论计算结果表明，随着入射激光脉冲峰值功率增加，激光诱导CCD探测器铝层表面的最高温度逐渐升高，使CCD探测器铝层材料的液-固相变起始时刻往后延迟，且液-固相变时间长度增加。随着激光入射角度的增大，由于CCD探测器铝层表面的最高温度降低，导致了液-固相变起始时刻不断前移，并且液-固相变时间长度逐渐变短。研究结果表明，激光脉冲峰值功率密度和激光入射角对激光诱导CCD探测器的液-固相变时间特性有重要影响，对揭示纳秒激光诱导CCD探测器的热损伤机制有重要的理论意义。
-
表 1 特征匹配点统计
Table 1 Feature matching points statistics
图像类型 算法 粗匹配点数 内点数 图像类型 算法 粗匹配点数 内点数 视角 SIFT 93 23 亮度 SIFT 503 397 SURF 186 12 SURF 958 744 ORB − − ORB 67 56 GMS − − GMS 8000 320 本文 3748 216 本文 1503 335 尺度与旋转 SIFT 293 256 模糊 SIFT 413 173 SURF 165 63 SURF 757 485 ORB − − ORB 59 46 GMS − − GMS 8000 253 本文 3590 315 本文 1498 546 
下载: 导出CSV
表 2 不同类型图像应用算法耗时
Table 2 Time consuming algorithm for different types of images
图像类型 算法 特征提取及粗匹配/ms 精匹配/ms 总用时/ms 图像类型 算法 特征提取及粗匹配/ms 精匹配/ms 总用时/ms 视角 SIFT 255 876 1131 亮度 SIFT 150 25 175 SURF 471 324 795 SURF 283 50 333 ORB − − − ORB 196 4 200 GMS − − − GMS 220 225 445 本文 131 879 1010 本文 96 953 1049 尺度与旋转 SIFT 144 135 279 模糊 SIFT 185 23 208 SURF 284 75 359 SURF 331 42 373 ORB − − − ORB 90 1.57 91.57 GMS − − − GMS 230 232 462 本文 187 875 1062 本文 123 886 1009
下载: 导出CSV
-
[1] 夏丹, 周睿. 视差图像配准技术研究综述[J]. 计算机工程与应用,2021,57(2):18-27. doi: 10.3778/j.issn.1002-8331.2007-0040 XIA Dan, ZHOU Rui. Survey of parallax image registration technology[J]. Computer Engineering and Applications,2021,57(2):18-27. doi: 10.3778/j.issn.1002-8331.2007-0040
[2] SCHONBERGER J L, FRAHM J M. Structure-from-motion revisited[C]//IEEE Conference on Computer Vision & Pattern Recognition. USA: IEEE, 2016: 4104-4113.
[3] CAMPOS C, ELVIRA R, RODRÍGUEZ J J G, et al. ORB-SLAM3: an accurate open-source library for visual, visual-inertial and multi-map SLAM[C]. [S.l.]: arXiv, 2007: 11898.
[4] DISSANAYAKE M, NEWMAN P, CLARK S, et al. A solution to the simultaneous localization and map building (SLAM) problem[J]. IEEE Transactions on Robotics and Automation,2013,17(3):229-241.
[5] ZHANG Feng, SHI Limin, SUN Fengmei, et al. An image based 3D reconstruction system for large indoor scenes[J]. Acta Automatica Sinica,2010,36(5):625-633. doi: 10.3724/SP.J.1004.2010.00625
[6] RUBLEE E, RABAUD V, KONOLIGE K, et al. ORB: an effi-cient alternative to SIFT or SURF[C]//Proceedings of the 2011 International Conference on Computer Vision. Piscataway. USA: IEEE, 2011: 2564-2571.
[7] LEUTENEGGER S, CHLI M, SIEGWART R Y. BRISK: binary robust invariant scalable keypoints [C]//International Conference on Computer Vision. USA: IEEE, 2011.
[8] BAY H, TUYTELAARS T, GOOL L. V. SURF: speeded up robust features[C]//Proceedings of European Conference on Computer Vision. Piscataway. USA: IEEE, 2006: 404-417.
[9] 柳长安, 艾壮, 赵丽娟. 基于网格运动统计的自适应图像特征匹配算法[J]. 华中科技大学学报(自然科学版),2020,48(1):37-40. LIU Chang’an, AI Zhuang, ZHAO Lijuan. Self-adaptive image feature matching algorithm based on grid motion statistics[J]. Journal of Huazhong University of Science and Technology(Natural Science Edition),2020,48(1):37-40.
[10] BIAN J, LIN W, MATSUSHITA Y. GMS: grid-based motion statistics for fast, ultra-robust feature correspondence [C]//Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2017: 2828-2837.
[11] FISCHLER M A, BOLLES R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM,1981,24(6):381-395. doi: 10.1145/358669.358692
[12] 杨璇璇, 刘景勇, 王艳芬, 等. 井下巷道大视差图像拼接算法[J]. 工矿自动化,2020,46(11):77-82. YANG Xuanxuan, LIU Jingyong, WANG Yanfen, et al. Stitching algorithm of large parallax images in underground roadways[J]. Industry and Mine Automation,2020,46(11):77-82.
[13] CAVALLI L, LARSSON V, OSWALD M R, et al. AdaLAM: revisiting handcrafted outlier detection[C]. [S.l.]: arXiv, 2006: 04250.
[14] 徐奔, 周志湖, 范良忠. 基于AKAZE特征的复杂抖动数字视频稳像算法[J]. 计算机工程,2016,42(7):251-256. doi: 10.3969/j.issn.1000-3428.2016.07.042 XU Ben, ZHOU Zhihu, FAN Zhongliang. Digital Video Image Stabilization Algorithm for Complicated Shakiness Based on AKAZE Features[J]. Computer Engineering,2016,42(7):251-256. doi: 10.3969/j.issn.1000-3428.2016.07.042
[15] ALCANTARILLA P, NUEVO J, BARTOLI A. Fast explicit diffusion for accelerated features in nonlinear scale spaces [C]//British Machine Vision Conference. [S.l.]: [s. n. ], 2013.
[16] KEVIN K. Geometric estimation with local affine frames and free-form surfaces[D]. Germany: University of Kiel, 2009.
[17] LOWE D G. Distinctive image features from scale invariant keypoints[J]. International Journal of Computer Vision,2004,60(2):91-110. doi: 10.1023/B:VISI.0000029664.99615.94
[18] MOISAN L, STIVAL B. A Probabilistic criterion to detect rigid point matches between two images and estimate the fundamental matrix[J]. International Journal of Computer Vision,2004,57(3):201-218. doi: 10.1023/B:VISI.0000013094.38752.54
-
期刊类型引用(1)
1. 张文海. 金属钢板表面纳秒脉冲激光除锈工艺研究. 中国新技术新产品. 2024(11): 50-52 . 
百度学术
其他类型引用(1)
计量
- 文章访问数: 561
- HTML全文浏览量: 280
- PDF下载量: 28
- 被引次数: 2
陕公网安备 61011302001501号 