Real-time splicing method of image data based on embedded panoramic video stream
-
摘要:
针对机载全景视频流影响,提出了一种基于嵌入式的全景实时拼接方法。提取图像中的SURF(speeded up robust features)特征点,生成特征描述子。通过计算2个特征点之间的欧式距离来确定匹配度,经过仿射变换后,利用泊松变换实现图像间的融合平滑处理。将上述流程在目标设备上进行并发执行,根据每个流程自身的特点进行定制化优化,实现全景实时拼接。试验测试表明,本方法实现了拼接接缝处基本无缝的效果,拼接速度达到30 Hz,能够满足实时显示的要求。
Abstract:Aiming at the influence of airborne panoramic video stream, a panoramic real-time splicing method based on embedded mode was proposed. The speeded up robust features (SURF) points in the image were extracted to generate the feature descriptors. The matching degree was determined by calculating the Euclidean distance between two feature points. After affine transformation, the Poisson transform was used to realize the fusion and smoothing between images. The above processes were executed concurrently on the target equipment, and customized optimization was carried out according to the characteristics of each process to realize the panoramic real-time splicing. After test, the proposed method realizes the seamless effect at the splicing joint, and the splicing speed reaches 30 Hz, which can meet the requirements of real-time display.
-
Keywords:
- image splicing /
- embedded /
- SURF descriptor /
- Poisson integration
-
0 引言
荧光检测和分析技术具有较高的灵敏度和较好的选择性,在生物化学、医学、工业检测和化学研究中都得到了越来越广泛的应用。荧光寿命作为荧光信号的本征参量,不易受外界因素的干扰,具有更好的稳定性和测量精度。传统的针对纳秒级荧光寿命测量方法有时间单光子计数法、闪频技术和相调制法,但大都需要结构复杂、造价昂贵的仪器,大大增加了测量荧光寿命的成本及复杂程度[1]。近年Cao等人提出利用数字信号处理方法对传统流式细胞分析系统中荧光信号时延进行分析,在不改变流式细胞分析系统结构的情况下,采用250 Mb/s高速ADC芯片对荧光信号进行采样并利用算法对荧光时延进行计算。然而,该方法计算结果的时域分辨能力受限于ADC的采样频率[2-3]。本文提出了一种基于脉冲时延估计算法来测量荧光寿命。用荧光信号脉冲峰值之差表征荧光寿命,首先利用改进的线性调频Z变换(modified chirp Z-transform, MCZT),沿螺旋曲线做等角度取样计算有限时宽Z变换的快速算法,实现互相关谱的高分辨分析;其次,利用相关峰内插(fine interpolation of correlation peak, FICP)算法,使得峰点间隔达到极小,提高时域互相关函数的解析精度。通过对测量得到的荧光寿命利用时延估计法进行处理,与标准FFT和IFFT算法对比,在不增加计算量的情况下提高了荧光寿命的测量精确度。
1 脉冲流式产生原理
用一个短脉冲光δ激发被荧光染料染色的样品后,会产生比激发光源波长稍长的荧光,其发光强度随时间按指数规律衰减:
$$ ~I\left( t \right)={{I}_{0}}{{\text{e}}^{-t/\tau }} $$ (1) 式中荧光寿命τ是发光强度从初始值I0降到I0的1/e时所需要的时间[4]。
在流式细胞仪中,当被荧光染料染色的单细胞通过流动室经激发时,会产生前向散射光信号I_fs及荧光信号I_fl,如图 1所示。由于整形后的激发光斑沿液流方向的光强具有高斯分布特性,由Mie散射原理可知,微球沿流动方向流经激发区域,激发出的I_fs及I_fl具有类高斯特性。
在分析过程中,假定荧光强度为单指数衰减,则荧光信号I_ fl可表示为前向散射光信号与单指数衰减函数e-t/τ的卷积:
$$ I\_fl=I\_fs*{{\text{e}}^{-t/\tau }}~ $$ (2) 利用I_FL(ω)表示I_ fl的频谱信号,则有:
$$ \begin{align} & I\_FL\left( \omega \right)=I\_FS\left( \omega \right)\cdot E\left( \omega \right)= \\ & \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \text{ }A\cdot E\cdot {{\text{e}}^{-\text{j}{{\varphi }_{fs}}}}\cdot {{\text{e}}^{-\text{j}\varphi E}}= \\ & \text{ }\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ A\cdot E\cdot {{\text{e}}^{-\text{j}{{\varphi }_{fs}}}}\cdot {{\text{e}}^{-\text{j}(\text{arctan}\omega \tau )}}\approx \text{ } \\ & \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ A\cdot E\cdot {{\text{e}}^{-\text{j}{{\varphi }_{fs}}}}\cdot {{\text{e}}^{-\text{j}\omega \tau }}~ \\ \end{align} $$ (3) 式中:I_FS(ω), E(ω)分别为I_ fs与单指数衰减函数e-t/τ的频谱信号; A与φfs分别为I_FS(ω)的幅频函数及相频函数; E与φE分别为E(ω)相应的幅频函数及相频函数。
I_FL(ω)与I_FS(ω)之间的相移为e-jωτ,时域信号I_ fl与I_ fs之间的时延即为相应的荧光寿命τ[5-6]。也就是说,荧光脉冲信号与散射光脉冲峰值位置间的时延为荧光寿命τ。
2 时延估计算法
2.1 改进的线性调频Z变换算法(MCZT)
改进的线型调频Z变换算法是一个计算细化频谱的有效方法,用以获得高分辨率的频谱信息,它的计算精度高,而且计算速度快。假设前向散射脉冲信号fs(n)和荧光脉冲信号fl(n)是含有n点的数据序列,对应的脉冲谱FS(k)和FL(k)分别通过MCZT变换描述:
$$ \left\{ \begin{align} & FS\left( k \right)\text{=MCZT}\left( fs\left( n \right) \right)= \\ & \text{ }\ \ \ \ \ \ \ \ \ \ \ \sum\limits_{n=1}^{N-1}{fs\left( n \right)\text{exp}\left( -~\frac{\text{j}2\pi }{{{N}_{1}}}~kn \right)}\text{ } \\ & FL\left( k \right)\text{=MCZT}\left( fl\left( n \right) \right)= \\ & \text{ }\ \ \ \ \ \ \ \ \ \ \sum\limits_{n=1}^{N-1}{fl\left( n \right)\text{exp}(-~\frac{\text{j}2\pi }{{{N}_{1}}}~kn)~}\text{ } \\ & \ \ \ \ \ \ \ \ \ \ \ k=0, 1, \ldots , N \\ \end{align} \right.~ $$ (4) 式中:频谱间隔由N1决定; IMCZT相当于MCZT计算的共轭。
由以上公式可知,对于任意长度的采样数据序列,MCZT变换可以通过补零点的方法转换成N1长的序列后直接进行处理[7-8]。解决了传统的快速傅里叶变换(FFT)算法对数据序列长度为2n的限制,下面对5 000个采样点的FS和FL分别用FFT算法与MCZT算法进行仿真。
由图 2和图 3可知,相对于FFT算法计算得到的频谱图,MCZT进行N1/N倍细化频谱能够避免FFT算法产生的栅栏效应[9],可以得到更有效的频谱信息,具有更高的频谱分辨率,从而避免频谱信息的丢失。
2.2 相关峰内插算法(FICP)
根据抽样定理,FS(k)和FL(k)是周期为N1的周期函数。频域补零可以提高互相关函数波形的分辨率,当频谱周期从N1扩展到N2时,相当于在频域序列中补了N2-N1个零点,拉长了频谱,抽样频率提高到了原始抽样频率的N2/N1倍。时域上fs(n)和fl(n)的时间延迟分辨率计算次数相同情况下增加了N2/N1倍。用R(k)构造完整互相关频谱为
$$ {{R}_{m}}\left( k \right)=\left\{ \begin{align} & {{R}_{1}}\left( k \right)=FS\left( k \right)FL_{m}^{*}\left( k \right) \\ & \ \ \ \ \ \ \ \ \ \ \ \ \text{ }\left( k=0, 1, \ldots , N-1 \right) \\ & 0\text{ }\ \ \ \ \ \ \ \ \ \ \ \left( k=N, \ldots , {{N}_{2}}-N \right) \\ & \text{ }R_{1}^{*}\left( {{N}_{2}}-k \right) \\ & \ \ \ \ \ \ \ \ \ \ \ \ \ (k={{N}_{2}}-N+1, \ldots , {{N}_{2}}-1) \\ \end{align} \right.\text{ } $$ (5) 大多数阵列信号的时延总是处在有限范围内,同样的,fs(n)和fl(n)之间的时延也是在有限范围内,这种情况下,相关函数的主峰处在零值附近[10-11],只需计算经过MCZT变换后的第一部分和最后一部分中的有限点即可。第一部分和最后一部分的时域互相关函数r1(n)和r2(n)分别如下式所示:
$$ \begin{align} & ~{{r}_{1}}\left( n \right)=\left[ \sum\limits_{k=0}^{N-1}{{{R}_{1m}}\left( k \right)\text{exp}\left( \text{j}~\frac{2\pi }{{{N}_{2}}}~kn \right)} \right.+\text{exp}\left( -\text{j}~\frac{2\pi }{{{N}_{2}}}~Nn \right)\times \text{ } \\ & \ \ \ \ \ \ \ \ \ \ \left. \sum\limits_{k=0}^{N}{R_{1m}^{*}\left( N-k \right)\text{exp}\left( \text{j}~\frac{2\pi }{{{N}_{2}}}~kn \right)} \right]/{{N}_{2}} \\ & {{r}_{2}}\left( n \right)=\text{exp}\left( \text{j}~\frac{2\pi }{{{N}_{2}}}~Nn \right)\sum\limits_{k=0}^{N-1}{\left[ {{R}_{1m}}\left( k \right)\text{exp}\left( -\text{j}~\frac{2\pi }{{{N}_{2}}}~kn \right) \right]/{{N}_{2}}}\text{ } \\ & ~\ \ \ \ \ \ \ \ \ +\text{exp}\left. \left[ \text{j}~\frac{2\pi }{{{N}_{2}}}~~\left( {{N}^{2}}-nN \right) \right. \right]\sum\limits_{k=0}^{N-1}{\left[ R_{1m}^{*}\left( N-k \right)\times \right.}\text{ } \\ & ~\ \ \ \ \ \ \ \ \ \left. \text{exp}\left( -\text{j}~\frac{2\pi }{{{N}_{2}}}~kn \right) \right]\text{exp}(\text{j }\!\!~\!\!\text{ }\frac{2\pi }{{{N}_{2}}}~kn)/{{N}_{2}} \\ \end{align} $$ (6) 式中k=0, 1, 2,…,N。
相关函数的前、后两部分在时域上集合成互相关函数:
$$ r\left( n \right)=\left\{ \begin{align} & {{r}_{1}}\left( n \right)\text{ }\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ n=0, 1\cdots , N-1 \\ & {{r}_{2}}\left( 2N+n \right)\text{ }\ \ \ \ \ \ \ n=-N, \cdots , -1 \\ \end{align} \right.\text{ }~ $$ (7) 图 4和图 5是用IFFT算法与FICP算法的仿真相应对比。
由图 4和图 5可知,采用FICP计算,通过增加频谱的内插倍数提高互相关峰的分辨率,时域互相关函数峰的分辨率提高N2/N1倍,时延估计的计算精度较高。
3 实验数据分析
对哺乳动物细胞进行荧光染色,使用的荧光标记抗体是CD3-FITC和CD 4-pc5,其荧光激发光源波长在400 nm ~500 nm,发射光波长在525 nm ~670 nm,细胞被荧光染料标记后获取前向散射光脉冲信号fs和荧光信号fl,分别对单个细胞激发出的信号进行IFFT和FICP时延估计。
使用GalliosTM Flow Cytometer实验设备外接示波器进行测量,采样点为5 000个,采样间隔为2 ns,得到10组数据,使用Matlab对采样点进行仿真并用高斯曲线拟合,得到结果如图 6所示。
对以上所得fs和fl的拟合函数分别使用IFFT和FICP算法计算,结果如图 7所示。
FICP计算的采样数据时间间隔设置为10 ns,设定N2/N1=10,则计算得到的时域互相关函数分辨率为1 ns(10 ns/(N2/N1))。使用试剂1,测得10组数据取平均值,高斯拟合得到的标准荧光寿命是188 ns,使用试剂2(78 ns)重复上述实验。两种算法统计分析结果分别如表 1和表 2所示。
表 1 试剂1的荧光寿命统计分析结果Table 1. Statistical analysis of fluorescence lifetime of reagent 1算法 Δt/ns 绝对误差 相对误差/% IFFT 180 8 4.2553 FICP 182 6 3.1915 表 2 试剂2的荧光寿命统计分析结果Table 2. Statistical analysis of fluorescence lifetime of reagent 2算法 Δt/ns 绝对误差 相对误差/% IFFT 70 8 10.2564 FICP 76 2 2.6316 由表 1和表 2可以看出,使用FICP算法较为精确,并且该算法对各种荧光染料具有普遍适用性。
4 结论
本文提出采用脉冲时延估计来表征荧光寿命,对MCZT和FICP的脉冲时延估计算法进行了理论推导和仿真分析,并就荧光染色的哺乳动物细胞进行了实验及数据分析。结果表明,应用本文提出的脉冲时延估计算法,可以在不增加计算量的情况下较明显地提高频谱计算精度,计算细化频谱可以使相关波形更加光滑,可精确计算相关函数的峰值,并且其分辨率不受采样长度的限制,抗非平稳性能力强,相比于FFT和IFFT算法有着明显的优势,测量荧光寿命的相对误差提高了4.344 3%。
-
表 1 匹配对比
Table 1 Matching comparison
算法 平移图像组 旋转图像组 匹配点数 匹配时间/ms 匹配点数 匹配时间/ms 本算法 68 86 41 62 SIFT算法 55 157 32 102 表 2 实验数据
Table 2 Experimental data
序号 影像分辨
率/像素影像张
数/张航带
条数单张影像
大小/ kB格式 1 640×512 149 6 124 jpg 2 640×512 102 6 321 bmp 表 3 实验结果
Table 3 Experimental results
序号 影像分辨
率/像素影像
张数/张是否匀光 拼接
时间/s拼接效
率/(张/s)1 640×512 149 是 3.1 48 否 2.3 64 2 640×512 102 是 2.0 51 否 1.5 68 表 4 实验数据
Table 4 Experimental data
序号 影像
分辨率影像张数/张 航带条数 单张影像
大小/ kB格式 1 640×512 149 6 124 jpg 2 640×512 102 6 321 bmp 表 5 实验结果
Table 5 Experimental results
序号 影像
分辨率影像
张数/张是否匀光 拼接
时间/s拼接
效率/(张/s)1 640×512 149 是 4.9 30 否 4.7 31 2 640×512 102 是 2.6 39 否 2.5 41 -
[1] BAY H, ESS A, TUYTELAARS T, et al. Speeded-Up Robust Features (SURF)[J]. Computer Vision and Image Understanding,2008,110:346-359. doi: 10.1016/j.cviu.2007.09.014
[2] REZ P, GANGNET M, BLAKE A. Poisson image editing[J]. ACM Transactions on Graphics,2003,22(3):313-318. doi: 10.1145/882262.882269
[3] 陈伟, 刘宇, 王亚伟, 等. 基于改进的FAST-SURF快速图像拼接算法[J]. 应用光学,2021,42(4):636-642. doi: 10.5768/JAO202142.0402001 CHEN Wei, LIU Yu, WANG Ya’wei, et al. Fast image stitching algorithm based on improved FAST-SURF[J]. Journal of Applied Optics,2021,42(4):636-642. doi: 10.5768/JAO202142.0402001
[4] 傅子秋, 张晓龙, 余成, 等. 多场景下基于快速相机标定的柱面图像拼接方法[J]. 光电工程,2020,47(4):74-86. FU Ziqiu, ZHANG Xiaolong, YU Cheng, et al. Cylindrical image mosaic method based on fast camera calibration in multi-scene[J]. Opto-Electronic Engineering,2020,47(4):74-86.
[5] 陈浩. 基于SURF特征匹配算法的全景图像拼接[D]. 西安: 西安电子科技大学, 2010. CHEN Hao. Panoramic image stitching based on SURF feature matching algorithm [D]. Xi'an: Xi'an University of Electronic Science and Technology, 2010.
[6] 刘鹏飞, 高如新. 基于相位相关法与改进SURF算法的图像拼接方法[J]. 软件导刊,2019,18(11):157-160. LIU Pengfei, GAO Ruxin. Image stitching method based on phase correlation and improved SURF[J]. Software Guide,2019,18(11):157-160.
[7] 袁丽英, 刘佳, 王飞越. 基于SURF的图像配准改进算法[J]. 探测与控制学报,2020,42(2):65-70. YUAN Liying, LIU Jia, WANG Feiyue. An improved algorithm of SURF image registration[J]. Journal of Detection & Control,2020,42(2):65-70.
[8] 杜承垚, 袁景凌, 陈旻骋, 等. GPU加速与L-ORB特征提取的全景视频实时拼接[J]. 计算机研究与发展,2017,54(6):1316-1325. doi: 10.7544/issn1000-1239.2017.20170095 DU Chengyao, YUAN Jingling, CHEN Mincheng, et al. Real-time panoramic video stitching based on GPU acceleration using local ORB feature extraction[J]. Journal of Computer Research and Development,2017,54(6):1316-1325. doi: 10.7544/issn1000-1239.2017.20170095
[9] 袁启平, 宋金泽, 吴涛. 基于逆透视投影变换的图像拼接方法[J]. 微计算机信息,2010(21):208-210. doi: 10.3969/j.issn.2095-6835.2010.21.081 YUAN Qiping, SONG Jinze, WU Tao. A method for stitching images based on inverse perspective mapping (IPM)[J]. Microcomputer Information,2010(21):208-210. doi: 10.3969/j.issn.2095-6835.2010.21.081
[10] ADEL E, ELMOGY M, ELBAKRY H. Image stitching based on feature extraction techniques: a survey[J]. International Journal of Computer Applications,2014,99(6):1-8. doi: 10.5120/17374-7818
[11] 吴丽萍, 胡郁. 柱面全景图图像拼接中图像平滑的虚拟现实技术[J]. 科学技术与工程,2017,17(31):271-276. doi: 10.3969/j.issn.1671-1815.2017.31.044 WU Liping, HU Yu. Virtual reality technology of image smoothing in cylindrical panoramic image mosaic[J]. Science Technology and Engineering,2017,17(31):271-276. doi: 10.3969/j.issn.1671-1815.2017.31.044
[12] ZOU T, DENG F. Research on real-time video stitching technology[C]//2017 4th International Conference on Machinery, Materials and Computer(MACMC 2017). [S. l. ]: Atlantis Press, 2018: 741-744.
[13] 卢嘉铭, 朱哲. 基于GPU加速的实时4K全景视频拼接[J]. 计算机科学,2017,44(8):18-21. LU Jiaming, ZHU Zhe. Real-time 4k panoramic video stitching based on GPU acceleration[J]. Computer Science,2017,44(8):18-21.
[14] 彭凤婷. 全景视频图像融合与拼接算法研究[D]. 成都: 电子科技大学, 2017. PENG Fengting. Research on fusion and stitching algorithms for panoramic video images [D]. Chengdu: University of Electronic Science and Technology, 2017.
[15] 宫妍. 全景图像拼接关键技术研究[D]. 哈尔滨: 哈尔滨工程大学, 2016. GONG Yan. Key technologies for panoramic image stitching [D]. Harbin: Harbin Engineering University, 2016.
[16] HERRMANN C, WANG C, BOWEN R S, et al. Robust image stitching with multiple registrations[C]//2018 European Conference on Computer Vision. [S. l.: s. n.], 2018: 53-69.
[17] NVIDIA. NVIDIA Jetson TX2 System-on-Modul, v1.1, 20e[EB/OL]. [2017-12-12]. https://developer.nvidia.com/embedded/jetson-tx2.
[18] NVIDIA. CUDA C programming Guide, PG-02829-001_v8.0, 2017.5[EB/OL]. [2017-10-15]. https://docs.nvidia.com/cuda/cuda-c-programming-guide.
[19] NVIDIA. Pascal architecture whitepaper, V1.2, 2017[EB/OL]. [2017-12-13]. https://images.nvidia.com/content/pdf/tesla/whitepaper/pascal-architecture-whitepaper.pdf.
[20] 张刚, 马震环, 雷涛, 等. 基于嵌入式GPU的运动目标分割算法并行优化[J]. 应用光学,2019,40(6):1067-1076. doi: 10.5768/JAO201940.0602004 ZHANG Gang, MA Zhenhuan, LEI Tao, et al. Embedded GPU-based parallel optimization for moving objects segmentation algorithm[J]. Journal of Applied Optics,2019,40(6):1067-1076. doi: 10.5768/JAO201940.0602004
-
期刊类型引用(3)
1. 陈朋,赵智,赵冬冬,韩洋洋,梁荣华. 基于单光源频域荧光寿命的水体溶解氧浓度检测方法. 光子学报. 2020(03): 140-149 . 百度学术
2. 方媛,周杨,赵静,宫凯歌. 直线电机动子位置的快速精密测量方法. 激光与光电子学进展. 2020(18): 87-95 . 百度学术
3. 都月,孟晓辰,祝连庆. 基于优化迭代算法的细胞荧光光谱解析. 应用光学. 2019(03): 461-467 . 本站查看
其他类型引用(3)