FPGA-based real-time Bayer demosaicking algorithm and its implementation
-
摘要:
Bayer阵列被广泛地应用于CMOS/CCD (complementary metal oxide semiconductor/charge-coupled device)等前端传感器中，用以对彩色图像进行压缩编码。通过解马赛克算法将Bayer阵列还原为红、绿、蓝彩色阵列，算法性能影响着成像有效分辨率和纹理细节。随着半导体工艺的发展和目标识别等新型应用需求的提出，图像设备向着高分辨率、低延迟的方向发展，原有的解马塞克算法遇到性能瓶颈。提出了一种基于FPGA (field programmable gate array)的实时解马赛克算法，能够准确地提取图像局部梯度方向并以引导实现色彩的插值复原，整体算法仅需7行数据延迟。算法设计充分考虑FPGA的硬件特点，设计了行缓存、梯度算子、梯度方向插值等模块，降低硬件开销。实验表明，本文算法在实现微米级延迟的同时，保持了对图像纹理细节区域的复原效果，在柯达数据集上的平均峰值信噪比达到38.26 dB。
Abstract:The Bayer array is widely applied in the front-end sensors such as complementary metal oxide semiconductor/charge-coupled device (CMOS/CCD), in order to compress and encode the color images. The Bayer array is restored to red, green and blue color arrays by demosaicking algorithm, and the performance of the algorithm affects the imaging effective resolution and texture details. With the development of semiconductor technology and proposal of demand of new applications such as target recognition, the image devices move toward high resolution and low latency, and the original demosaicking algorithm encounters performance bottlenecks. A real-time demosaicking algorithm based on the field programmable gate array (FPGA) was proposed, which could accurately extract the local gradient direction of the image and guide the interpolation restoration of the color. The overall algorithm only needed 7 lines of data delay, and fully considered the hardware characteristics of FPGA, and designed the modules such as line buffer, gradient operator and gradient direction interpolation to reduce the hardware cost. The experimental results show that the algorithm can achieve the micron-level latency, and maintain the restoration effect of texture detail area of the image. The average peak signal to noise ratio (PSNR) on Kodak data set can reach to 38.26 dB.
-
Keywords:
- Bayer array /
- demosaicking algorithm /
- FPGA /
- real-time image processing
-
引言
利用相机对位置已知的控制点进行拍摄，通过拍摄得到的二维图像解算相机在世界坐标系下的位置和姿态，称为位姿估计问题，是机器人导航、计算机视觉等领域[1-3]的核心问题之一。位姿估计根据计算方法分为2种方式[4]：第一种一般通过解算一组与旋转参数和平移参数相关的多项式，进而获得位姿估计结果[5]，这类方法对于噪声敏感[3]，估计性能有限；另一种通常称为迭代类算法，这种算法通过建立代价函数[6]，将位姿估计问题转换为非线性最小二乘优化问题，然后利用Gauss-Newton[7]、Levenberg-Marquardt等方法进行位姿参数的估计，这类算法能够综合利用多点的冗余信息[8]，增加了估计的鲁棒性，迭代算法中还有一种称为正交迭代(orthogonal iteration, OI)算法，该算法将物空间共线性误差的最小化视为求解绝对定向问题，然后利用迭代方式进行参数估计[9]，这种方法计算量较小，速度较快[10]，并保证了全局收敛性，但是性能略逊于传统迭代算法。
传统迭代算法是从信号的测量误差出发[11]，利用误差最小化的原则建立代价函数，从而得到估计值。这一类算法是一种最小二乘估计，试图使采样得到的信号和无噪声情况下的数据之差的平方达到最小，这一类方法对采样数据不做任何的统计假设，性能取决于噪声的特性，并且往往不是最佳估计，而由于没有对信号做任何统计假设，估计的统计性能是无法评价的[12]。由于相机拍摄的不确定性，图片采样所得的像素信号应视为随机信号，本文从随机信号的统计特性出发，根据采样信号的概率密度推导了最大似然位姿估计的一般形式。从理论上证明了利用单幅图像，在各向同性高斯噪声情况下传统迭代算法等效于最大似然估计，因此在理论上传统迭代算法只能应用于各向同性高斯噪声，对于复杂噪声，将会产生模型误差，导致算法失效。本文的最大似然算法将是推导复杂噪声下的位姿估计的基础；另外，根据信号的Fisher信息阵推导了位姿估计的克拉美-罗界(Cramér-Rao bound, CRB)，作为任何无偏估计的方差下界，克拉美-罗界可以作为位姿估计方法有效性的评价标准，并且根据所得结果可知，通过适当增加采样个数可以有效提高估计的性能。这是由于通过采样信号个数的增加，可以更好地估计随机噪声的统计特性，从而减小随机噪声对于估计的影响。
1 信号模型
假设有n个控制点，其在世界坐标系中的坐标为piw，i=1, 2, …, n，它们在相机坐标系下的坐标为pic，i=1, 2, …, n，相机对控制点进行拍摄，可以得到像平面上的n个像点，像点在图像坐标系下的物理坐标为pip，i=1, 2, …, n，在图像坐标系下的像素坐标为(ui, vi)T，如图 1所示。在k时刻对控制点进行拍摄，考虑采样过程的随机噪声影响，则观测量为如下随机向量：
$$ \begin{array}{l} s\left( k \right) = \left[ {{{\hat u}_1}\left( k \right),{{\hat v}_1}\left( k \right),{{\hat u}_2}\left( k \right),{{\hat v}_2}\left( k \right), \cdots ,} \right.\\ \;\;\;\;\;\;\;\;\;\;\;\;{\left. {{{\hat u}_n}\left( k \right),{{\hat v}_n}\left( k \right)} \right]^{\rm{T}}} = \mathit{\boldsymbol{m}}\left( k \right) + \mathit{\boldsymbol{n}}\left( k \right) \end{array} $$ (1) 式中：k=1, 2, ..., K, 其中:
$$ \begin{array}{l} \mathit{\boldsymbol{m}}\left( k \right) = \left[ {{u_1}\left( k \right),{v_1}\left( k \right),{u_2}\left( k \right),{v_2}\left( k \right), \cdots } \right.\\ \;\;\;\;\;\;\;\;\;\;\;\;\;{\left. {{u_n}\left( k \right),{v_n}\left( k \right)} \right]^{\rm{T}}} \end{array} $$ (2) 世界坐标与相机坐标存在以下关系：
$$ \mathit{\boldsymbol{p}}_i^c\left( k \right) = \mathit{\boldsymbol{R}}\left( k \right)\mathit{\boldsymbol{p}}_i^w\left( k \right) + \mathit{\boldsymbol{t}}\left( k \right) $$ (3) 由共线方程可以得到：
$$ \left\{ \begin{array}{l} \frac{{x_i^p\left( k \right) - x_o^p}}{f} = \frac{{x_i^c\left( k \right)}}{{z_i^c\left( k \right)}}\\ \frac{{y_i^p\left( k \right) - y_o^p}}{f} = \frac{{y_i^c\left( k \right)}}{{z_i^c\left( k \right)}} \end{array} \right. $$ (4) 式中(xop, yop)T为图像主点I在图像坐标系下的物理坐标，则像素坐标系与世界坐标系的转换关系可以表示为
$$ \left\{ \begin{array}{l} {u_i}\left( k \right) = \frac{f}{{{d_x}}}\;\frac{{{\mathit{\boldsymbol{r}}_1}\left( k \right)\mathit{\boldsymbol{p}}_i^w\left( k \right) + {t_x}\left( k \right)}}{{{\mathit{\boldsymbol{r}}_3}\left( k \right)\mathit{\boldsymbol{p}}_i^w\left( k \right) + {t_z}\left( k \right)}} + \frac{{x_o^p}}{{{d_x}}}\\ {v_i}\left( k \right) = \frac{f}{{{d_y}}}\;\frac{{{\mathit{\boldsymbol{r}}_2}\left( k \right)\mathit{\boldsymbol{p}}_i^w\left( k \right) + {t_y}\left( k \right)}}{{{\mathit{\boldsymbol{r}}_3}\left( k \right)\mathit{\boldsymbol{p}}_i^w\left( k \right) + {t_z}\left( k \right)}} + \frac{{y_o^p}}{{{d_y}}} \end{array} \right. $$ (5) 式中：tx(k)、ty(k)、tz(k)分别为t (k)从上到下的3个元素；r1(k)、r2(k)、r3(k)分别为R (k)的从上到下的3个横向量；R可以用3个欧拉角表示。假设在K次拍摄过程中，相机的姿态、控制点的世界坐标保持不变，即m不随时间变化，则采样信号可以表示为
$$ \mathit{\boldsymbol{s}}\left( k \right) = \mathit{\boldsymbol{m}} + \mathit{\boldsymbol{n}}\left( k \right) $$ (6) 2 最大似然估计
最大似然估计是一种使用了信号概率模型的方法，其基本思想是参数的估计值应是使观测信号概率最大的值。假设信号为高斯随机变量，噪声的均值为零，则m即为观测量s(k)的均值，根据概率论可知，k时刻观测量的概率密度为[13]
$$ \begin{array}{l} {p_{s\left( k \right)}} = \frac{1}{{\det \left( {{\rm{ \mathit{ π} }}{\mathit{\boldsymbol{Q}}_s}} \right)}}\exp \left\{ { - \left[ {{\mathit{\boldsymbol{s}}^H}\left( k \right) - } \right.} \right.\\ \;\;\;\;\;\;\;\;\left. {\left. {{\mathit{\boldsymbol{m}}^H}} \right]\mathit{\boldsymbol{Q}}_s^{ - 1}\left[ {\mathit{\boldsymbol{s}}\left( k \right) - \mathit{\boldsymbol{m}}} \right]} \right\} \end{array} $$ (7) 式中：det(·)表示矩阵的行列式；Qs为随机信号s的方差。与待估计参数无关，待估计参数表示为
$$ \mathit{\boldsymbol{\theta }} = {\left[ {\alpha ,\beta ,\gamma ,{t_x},{t_y},{t_z}} \right]^{\rm{T}}} $$ (8) 则m(θ)表示为θ的函数，假设K次拍摄是统计独立的，则K次拍摄观测值的联合密度函数为
$$ \begin{array}{l} {p_{s\left( 1 \right),s\left( 2 \right), \cdots ,s\left( k \right)}} = \mathop \Pi \limits_{k = 1}^k \frac{1}{{\det \left( {{\rm{ \mathit{ π} }}{\mathit{\boldsymbol{Q}}_s}} \right)}}\exp \left\{ { - \left[ {{s^H}\left( k \right) - } \right.} \right.\\ \;\;\;\;\;\;\;\;\left. {\left. {{\mathit{\boldsymbol{m}}^{\rm{H}}}\left( \mathit{\boldsymbol{\theta }} \right)} \right]\mathit{\boldsymbol{Q}}_s^{ - 1}\left[ {\mathit{\boldsymbol{s}}\left( k \right) - \mathit{\boldsymbol{m}}\left( \mathit{\boldsymbol{\theta }} \right)} \right]} \right\} \end{array} $$ (9) 对等号两边求自然对数，去掉常数项并除以K，得到似然函数为
$$ \begin{array}{l} L\left( \mathit{\boldsymbol{\theta }} \right) = - \ln \left[ {\det \left( {{\mathit{\boldsymbol{Q}}_s}} \right)} \right] - \frac{1}{K}\sum\limits_{k = 1}^K {\left[ {{\mathit{\boldsymbol{s}}^{\rm{H}}}\left( k \right) - } \right.} \\ \;\;\;\;\;\;\;\;\;\;\;\left. {{\mathit{\boldsymbol{m}}^{\rm{H}}}\left( \mathit{\boldsymbol{\theta }} \right)} \right]\left. {\mathit{\boldsymbol{Q}}_s^{ - 1}\left[ {\mathit{\boldsymbol{s}}\left( k \right) - \mathit{\boldsymbol{m}}\left( \mathit{\boldsymbol{\theta }} \right)} \right]} \right\} \end{array} $$ (10) (10) 式的第二项可以表示为
$$ \begin{array}{l} \frac{1}{K}\sum\limits_{k = 1}^K {\left[ {{\mathit{\boldsymbol{s}}^{\rm{H}}}\left( k \right) - {\mathit{\boldsymbol{m}}^{\rm{H}}}\left( \theta \right)} \right]} \mathit{\boldsymbol{Q}}_s^{ - 1}\left[ {\mathit{\boldsymbol{s}}\left( k \right) - \mathit{\boldsymbol{m}}\left( \mathit{\boldsymbol{\theta }} \right)} \right] = \\ \rm{tr}\left\{ {\frac{1}{K}\sum\limits_{k = 1}^K {\left[ {{\mathit{\boldsymbol{s}}^{\rm{H}}}\left( k \right) - {\mathit{\boldsymbol{m}}^{\rm{H}}}\left( \theta \right)} \right]} \mathit{\boldsymbol{Q}}_s^{ - 1}\left[ {s\left( k \right) - \mathit{\boldsymbol{m}}\left( \mathit{\boldsymbol{\theta }} \right)} \right]} \right\} = \\ \rm{tr}\left\{ {\mathit{\boldsymbol{Q}}_s^{ - 1}\frac{1}{K}\sum\limits_{k = 1}^K {\left[ {\mathit{\boldsymbol{s}}\left( k \right) - \mathit{\boldsymbol{m}}\left( \mathit{\boldsymbol{\theta }} \right)} \right]\left[ {{\mathit{\boldsymbol{s}}^{\rm{H}}}\left( k \right) - {\mathit{\boldsymbol{m}}^{\rm{H}}}\left( \mathit{\boldsymbol{\theta }} \right)} \right]} } \right\} = \\ \rm{tr}\left\{ {\mathit{\boldsymbol{Q}}_s^{ - 1}{\mathit{\boldsymbol{C}}_s}\left( \mathit{\boldsymbol{\theta }} \right)} \right\} \end{array} $$ (11) 式中：tr{·}表示取矩阵的迹；Cs(θ)定义为信号相关矩阵：
$$ {\mathit{\boldsymbol{C}}_s}\left( \theta \right) \buildrel \Delta \over = \frac{1}{K}\sum\limits_{k = 1}^K {\left[ {\mathit{\boldsymbol{s}}\left( k \right) - \mathit{\boldsymbol{m}}\left( \mathit{\boldsymbol{\theta }} \right)} \right]\left[ {{\mathit{\boldsymbol{s}}^{\rm{H}}}\left( k \right) - {\mathit{\boldsymbol{m}}^{\rm{H}}}\left( \mathit{\boldsymbol{\theta }} \right)} \right]} $$ (12) 于是得到似然函数：
$$ L\left( \theta \right) = - \ln \left[ {\det \left( {{\mathit{\boldsymbol{Q}}_s}} \right)} \right] - \rm{tr}\left\{ {\mathit{\boldsymbol{Q}}_s^{ - 1}{\mathit{\boldsymbol{C}}_s}\left( \mathit{\boldsymbol{\theta }} \right)} \right\} $$ (13) (13) 式为最大似然估计的一般形式，使似然函数最大的参数θ即为位姿估计的最大似然估计，可以通过搜索或者更高效的迭代算法计算。
当噪声为各向同性的高斯噪声时，Qs=δw2I，δw2为噪声功率，似然函数可以表示为
$$ L\left( \theta \right) = - 2n\ln \delta _w^2 - \frac{1}{{\delta _w^2}}{\rm{tr}}\left\{ {{C_s}\left( \mathit{\boldsymbol{\theta }} \right)} \right\} $$ (14) 由于似然函数取最大值的必要非充分条件为
$$ \frac{\partial }{{\partial \delta _w^2}}L\left( \mathit{\boldsymbol{\theta }} \right) = 0 $$ (15) $$ \delta _w^2 - \frac{{\rm{tr}\left\{ {{\mathit{\boldsymbol{C}}_s}\left( \mathit{\boldsymbol{\theta }} \right)} \right\}}}{{2n}} $$ (16) 将上式代入似然函数，去除常数项并除以2n，似然函数化简为
$$ L\left( \mathit{\boldsymbol{\theta }} \right) = - {\rm{lntr}}\left\{ {{\mathit{\boldsymbol{C}}_s}\left( \mathit{\boldsymbol{\theta }} \right)} \right\} $$ (17) 根据Cs(θ)的定义，求似然函数的最大值等效于求下式的最小值：
$$ \begin{array}{l} \rm{tr}\left\{ {{\mathit{\boldsymbol{C}}_s}\left( \mathit{\boldsymbol{\theta }} \right)} \right\} = \frac{1}{K}\sum\limits_{k = 1}^K {\left[ {{s^{\rm{H}}}\left( k \right) - {\mathit{\boldsymbol{m}}^{\rm{H}}}\left( \mathit{\boldsymbol{\theta }} \right)} \right]\left[ {s\left( k \right) - \mathit{\boldsymbol{m}}\left( \mathit{\boldsymbol{\theta }} \right)} \right]} = \\ \frac{1}{K}{\sum\limits_{k = 1}^K {\sum\limits_{i = 1}^n {\left[ {\left( {{{\hat u}_i}\left( k \right) - \frac{f}{{{d_x}}}\;\frac{{{\mathit{\boldsymbol{r}}_1}\left( k \right)\mathit{\boldsymbol{p}}_i^w\left( k \right) + {t_x}\left( k \right)}}{{{\mathit{\boldsymbol{r}}_3}\left( k \right)\mathit{\boldsymbol{p}}_i^w\left( k \right) + {t_z}\left( k \right)}} + \frac{{x_o^p}}{{{d_x}}}} \right)} \right.} } ^2} + \\ \left. {{{\left( {{{\hat v}_i}\left( k \right) - \frac{f}{{{d_y}}}\;\frac{{{\mathit{\boldsymbol{r}}_2}\left( k \right)\mathit{\boldsymbol{p}}_i^w\left( k \right) + {t_y}\left( k \right)}}{{{\mathit{\boldsymbol{r}}_3}\left( k \right)\mathit{\boldsymbol{p}}_i^w\left( k \right) + {t_z}\left( k \right)}} + \frac{{y_o^p}}{{{d_y}}}} \right)}^2}} \right] \end{array} $$ (18) 利用单幅图像时，上式与传统的迭代算法等效，因此，利用单幅图像时，在各向同性高斯噪声情况下传统迭代算法与最大似然算法等效。值得注意的是，上述结果是在(16)式的情况下得到的，即位姿估计是在噪声功率估计的基础上实现的，所以增加信号的采样，提高对噪声统计特性的估计，有利于提高参数估计的性能。
3 克拉美-罗界分析
为了了解参数估计的潜在性能，可以利用克拉美-罗界作为评价标准。克拉美-罗界给出了参数所有无偏估计的方差极限[14]，将估计误差的方差表示为C(θ)，对于所有无偏估计，有关系式：
$$ \mathit{\boldsymbol{C}}\left( \mathit{\boldsymbol{\theta }} \right) \ge {\mathit{\boldsymbol{C}}_{{\rm{CR}}}}\left( \mathit{\boldsymbol{\theta }} \right) $$ (19) 式中CCR(θ)表示克拉美-罗界，克拉美-罗界可以通过求解Fisher信息阵J的逆矩阵求得：
$$ {\mathit{\boldsymbol{C}}_{CR}}\left( \mathit{\boldsymbol{\theta }} \right) = {\mathit{\boldsymbol{J}}^{ - 1}} $$ (20) Fisher信息阵J中的元素为
$$ {\left[ \mathit{\boldsymbol{J}} \right]_{i,j}} = E\left[ {\frac{{\partial L\left( \mathit{\boldsymbol{\theta }} \right)}}{{\partial {\theta _i}}}\;\frac{{\partial L\left( \mathit{\boldsymbol{\theta }} \right)}}{{\partial {\theta _j}}}} \right] $$ (21) 通过对(13)式求偏导并取期望可以得到[J]i, j通用的形式(推导可参见文献[15])：
$$ \begin{array}{l} {\left[ \mathit{\boldsymbol{J}} \right]_{i,j}} = K\rm{tr}\left[ {\mathit{\boldsymbol{Q}}_s^{ - 1}\frac{{\partial {\mathit{\boldsymbol{Q}}_s}}}{{\partial {\theta _i}}}\mathit{\boldsymbol{Q}}_s^{ - 1}\;\frac{{\partial {\mathit{\boldsymbol{Q}}_s}}}{{\partial {\theta _j}}}} \right] + \\ \;\;\;\;\;\;\;\;\;\;\;\;2K{\mathop{\rm Re}\nolimits} \left[ {\frac{{\partial {\mathit{\boldsymbol{m}}^H}\left( \theta \right)}}{{\partial {\theta _i}}}\mathit{\boldsymbol{Q}}_s^{ - 1}\;\frac{{\partial \mathit{\boldsymbol{m}}\left( \theta \right)}}{{\partial {\theta _j}}}} \right] \end{array} $$ (22) (22) 式为Fisher信息阵的一般化形式，是许多克拉美-罗界推导的起点，需要注意的是，通常方差Qs是一个未知矩阵，因此上式应该包含方差的未知参数。
在位姿估计问题中，由于(22)式的第1项只与方差所含未知参数有关，第2项只与待估计参数有关，可以将Fisher信息阵分块：
$$ \mathit{\boldsymbol{J = }}\left[ \begin{array}{l} {\mathit{\boldsymbol{J}}_{{Q_s}{Q_s}}}\;\;\;\;0\\ 0\;\;\;\;\;\;\;\;{\mathit{\boldsymbol{J}}_{00}} \end{array} \right] $$ (23) $$ {\left[ {{\mathit{\boldsymbol{J}}_{{Q_s}{Q_s}}}} \right]_{i,j = }}K{\rm{tr}}\left[ {\mathit{\boldsymbol{Q}}_s^{ - 1}\frac{{\partial {\mathit{\boldsymbol{Q}}_s}}}{{\partial {q_i}}}\mathit{\boldsymbol{Q}}_s^{ - 1}\;\frac{{\partial {Q_s}}}{{\partial {q_j}}}} \right] $$ (24) $$ {\left[ {{\mathit{\boldsymbol{J}}_{00}}} \right]_{i,j}} = 2K{\mathop{\rm Re}\nolimits} \left[ {\frac{{\partial {\mathit{\boldsymbol{m}}^{\rm{H}}}\left( \mathit{\boldsymbol{\theta }} \right)}}{{\partial {\theta _i}}}Q_s^{ - 1}\;\frac{{\partial \mathit{\boldsymbol{m}}\left( \mathit{\boldsymbol{\theta }} \right)}}{{\partial {\theta _j}}}} \right] $$ (25) 式中qi为方差所含的未知参数，当噪声为各点无关的各向同性高斯噪声时，Qs=δw2I，方差所含未知参数为δw2，则有：
$$ {\mathit{\boldsymbol{J}}_{{Q_s}{Q_s}}} = {\mathit{\boldsymbol{J}}_{\delta _w^2\delta _w^2}} = \frac{{2nK}}{{{{\left( {\delta _w^2} \right)}^2}}} $$ (26) 根据矩阵分块求逆原理，噪声功率估计的克拉美-罗界为
$$ {\mathit{\boldsymbol{C}}_{CR}}\left( {\delta _w^2} \right) = \frac{{{{\left( {\delta _w^2} \right)}^2}}}{{2nK}} $$ (27) 可以看出噪声功率估计的克拉美-罗界随着采样数的增加而减小，说明增加信号的采样，可以提高对噪声统计特性的估计。将Qs=δw2I代入(25)式，得到：
$$ {\left[ {{\mathit{\boldsymbol{J}}_{\theta \theta }}} \right]_{i,j}} = 2K{\mathop{\rm Re}\nolimits} \left[ {\frac{{\partial {\mathit{\boldsymbol{m}}^{\rm{H}}}\left( \mathit{\boldsymbol{\theta }} \right)}}{{\partial {\theta _i}}}Q_s^{ - 1}\;\frac{{\partial \mathit{\boldsymbol{m}}\left( \mathit{\boldsymbol{\theta }} \right)}}{{\partial {\theta _j}}}} \right] $$ (28) 定义
$$ D \buildrel \Delta \over = \frac{{\partial {\mathit{\boldsymbol{m}}^{\rm{H}}}\left( \mathit{\boldsymbol{\theta }} \right)}}{{\partial \theta }} $$ (29) 由于θ=[α, β, γ, tx, ty, tz]T，待估计参数的克拉美-罗界为
$$ {\mathit{\boldsymbol{C}}_{CR}}\left( \theta \right) = \frac{{\delta _w^2}}{{2K}}{\left\{ {{\mathop{\rm Re}\nolimits} \left[ {\mathit{\boldsymbol{D}}{\mathit{\boldsymbol{D}}^{\rm{H}}}} \right]} \right\}^{ - 1}} $$ (30) 从(30)式中可以看出，参数估计的克拉美-罗界随拍摄数量的增加线性下降，随噪声功率的增加线性增加。
4 仿真
利用计算机仿真对最大似然估计和克拉美-罗界进行分析，并与传统迭代算法以及OI算法进行比较。
仿真参数：相机焦距f=35mm，单个像素尺寸dx=dy=62.5 μm，主点在图像中心，控制点从相机坐标系的[-2 2]×[-2 2]×[4 9] m3的长方形区域内随机选取，相机坐标系相对于世界坐标系的欧拉角为[20 10 30]°，平移矩阵为[2 3 10]m。图 2(a)是随机选取的控制点在相机坐标系下的坐标，图 2(b)中圆圈表示相机拍摄控制点时实际成像位置(像素坐标系)，圆圈旁边的10个点为噪声功率为1dB时，由拍摄的10张图片提取的坐标点。
![]()
图 2 控制点在相机坐标系和成像平面上的位置Figure 2. Positions of control points in camera coordinate system and image plane图 3是传统迭代算法、OI算法、最大似然方法在不同的噪声功率下的参数估计均方根误差(root-mean-square error, RMSE)，在各噪声级下完成500次独立实验，其中最大似然方法利用了10张图片。从仿真结果中可以看出，3种方法在噪声功率较小的情况下都趋向于克拉美-罗界，传统迭代算法性能略优于OI算法，而最大似然方法的性能明显优于其他两种方法。
![]()
图 3 不同噪声功率下各算法的参数估计均方根误差Figure 3. RMSEs of different methods with different noise powers图 4是最大似然估计在不同的图片数下的参数估计均方根误差，噪声功率为2 dB，每个图片数完成500次独立实验，可以看出参数估计的RMSE随着图片数的增加而减小，说明适当地增加拍摄数量可有效提高估计的性能。
5 结论
给出机器视觉位姿估计的信号模型，并从随机信号的角度出发，推导了基于机器视觉的最大似然位姿估计以及相应的克拉美-罗界，从理论上证明了利用单幅图像时，在各向同性高斯噪声情况下传统迭代算法与最大似然算法等效，通过仿真分析，可知在图像数量适当增加的情况下，估计性能得到了明显改进，适用于更高精度的位姿估计。并且推导的位姿估计克拉美-罗界作为任何无偏估计的方差下界，是位姿估计的性能极限，可以作为位姿估计方法有效性的评价标准；下一步，针对复杂的噪声情况，应在此基础上讨论各向异性噪声以及相关噪声情况下的位姿估计方法及其克拉美-罗界。
-
![]()
图 2 拉链效应（左）、伪彩色现象（中）及摩尔纹现象（右）示意图
Figure 2. Schematic diagram of zipper effect, pseudo-color phenomenon and moire phenomenon
![]()
图 3 基于FPGA的图像采集与解马赛克系统设计方案
Figure 3. Systematic design scheme of image acquisition and demosaic based on FPGA
![]()
图 5 基于FPGA的实时Bayer解马赛克算法流程图
Figure 5. Flow chart of real-time Bayer demosaicking algorithm based on FPGA
![]()
图 6 候选绿色分量插值方法示意图
Figure 6. Schematic diagram of interpolation method of candidate green components
![]()
图 7 梯度算子1、梯度算子2模式示意图
Figure 7. Schematic diagram of gradient operator 1 and gradient operator 2
![]()
图 10 灯塔图片的解马赛克算法效果对比图
Figure 10. Comparison of effect of demosaicking algorithm of lighthouse images
![]()
图 11 星空场景下的解马赛克算法效果示意图
Figure 11. Schematic diagram of effect of demosaicking algorithm in starry sky scene
表 1 3种算法在柯达数据集上的PSNR值
Table 1 PSNR of three algorithms on Kodak data set
dB 图片 双线性插值结果 文献[15]结果 本文结果 红 绿 蓝 红 绿 蓝 红 绿 蓝 01.jpg 24.833 29.464 25.201 28.764 35.576 28.677 30.121 38.131 29.899 07.jpg 31.911 36.231 28.263 36.261 41.942 35.412 37.133 42.576 36.673 19.jpg 26.653 31.721 26.262 30.311 37.241 30.276 37.341 41.543 37.015 24.jpg 26.164 29.512 25.112 29.612 34.863 28.878 30.141 33.697 28.671 平均值 30.71 34.46 38.26 
下载: 导出CSV
表 2 FPGA资源占用率
Table 2 FPGA resource occupancy rate
资源名称 FF LUT BRAM DSP BUFG MMCM/PLL 可用量/个 65200 32600 75 120 32 10 已用量/个 2737 3005 10 18 2 1
下载: 导出CSV
-
[1] BAYER B E. Color imaging array: US, 3971065[P]. 1976-07-20.
[2] MENON D, CALVAGNO G. Color image demosaicking: an overview, signal Processing[J]. Image Communication,2011,26(8-9):518-533.
[3] 冈萨雷斯. 数字图像处理[M]. 阮秋琦, 阮宇智, 译. 北京: 电子工业出版社, 2006: 224-226. GONZALEZ. Digital image processing [M]. Tanslated by RUAN Qiuqi , RUAN Yuzhi . Beijing: Electronic Industry Press, 2006: 224-226.
[4] COK D R. Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal: US, 4642678[P]. 1987-02-10.
[5] 杨晓飞, 田启川, 杨余. 基于多梯度的区域自适应去马赛克算法[J]. 计算机应用研究, 2011, 28(12): 4766-4769. YANG Xiaofei, TIAN Qichuan, YANG Yu , et al. Adaptive region demosaicking using multi-color gradient[J]. Application Research of Computers 2011, 28(12): 4766-4769.
[6] WANG X, LIN W, XUE P. Demosaicing with improved edge direction detection[J]. IEEE Intermational Symposium on Circuits and Systems, Singapore,2005,3:2048-2050.
[7] GUNTURK B K, GLOTZBACH J, ALTUNBASK Y, et al. Demosaicing: color filter array interpolation[J]. IEEE Signal Processing Magazine,2005,22(1):4454.
[8] 刘方. 基于Bayer彩色滤波阵列插值算法的研究[D]. 成都: 电子科技大学, 2006. LIU Fang. Research based on color filter array interpolation algorithm of Bayer pattern[D]. Chengdu: University of Electronic Science and technology, 2006.
[9] DUBOIS E. Frequency-domain methods for demosaicking of Bayer-sampled color images[J]. IEEE Signal Processing Letters,2005,12(12):847-850.
[10] LIAN N X, CHANG L, TAN Y P, et al. Adaptive filtering for color filter array demosaicking[J]. IEEE Transactions on Image Processing,2007,16(10):2515-2525. doi: 10.1109/TIP.2007.904459
[11] CHUNG K H, CHAN Y H. Color demosaicing using variance of color differences[J]. IEEE Transactions on Image Processing,2006,15(10):2944-2955. doi: 10.1109/TIP.2006.877521
[12] 叶懋, 黄品高, 吕洋, 等. 基于FPGA的雾霾视频图像实时复原系统研究[J]. 应用光学,2019,40(5):812-817. YE Mao, HUANG Pingao, LYV Yang, et al. Research on FPGA-based real-time video restoration system for smog image[J]. Journal of Applied Optics,2019,40(5):812-817.
[13] 彭晔. 基于CCD图像的彩色插值算法研究[D]. 南京: 南京理工大学, 2007. PENG Ye. Research on color interpolation algorithm based on CCD image [D]. Nanjing : Nanjing University of Science and Technology, 2007.
[14] HORE A, ZIOU D. An edge-sensing generic demosaicing algorithm with application to image resampling[J]. IEEE Transactions on Image Processing, 2021(20), 11: 3136-3150.
[15] 罗潇, 孙海江, 陈秋萍, 等. Bayer格式图像的实时彩色复原[J]. 中国光学与应用光学,2010,3(2):182-187. LUO Xiao, SUN Haijiang, CHEN Qiuping, et al. Real-time color restoration of Bayer format image[J]. China Optics and Applied Optics,2010,3(2):182-187.
-
期刊类型引用(0)
其他类型引用(3)
计量
- 文章访问数: 1156
- HTML全文浏览量: 410
- PDF下载量: 165
- 被引次数: 3
陕公网安备 61011302001501号 