引言

随着虚拟现实技术在日常生活中的应用越来越广泛，人们对于沉浸式体验的要求越来越高，大型多投影显示系统为终端用户提供了高分辨率、高亮度和身临其境的视觉体验^[1-3]。颜色校正是多投影显示系统的关键技术之一，主要解决投影仪阵列内部参数不同导致投影显示图像之间颜色不一致，以及环境光的影响等问题^[4]。同一批次或者不同批次同一型号的投影仪内部参数也会不同。

近年来，多投影显示系统的颜色校正技术在不断发展更新。WANG M Y等人提出一种硬件图像处理器，在不需要计算机辅助的情况下对源图像进行处理^[5]，没有软件处理方法方便，成本较高。韩成等人建立了基于GPU的光辐射补偿模型来解决相邻屏幕间的光辐射影响^[6]，相当于以往颜色校正中消除环境光的影响，只考虑外部环境对投影显示图像颜色强度的影响，并没有考虑投影仪之间因内部参数不同而造成投影显示图像颜色不一致的问题。ZHAO S H采用红蓝编码结构光图解决几何失真和颜色不一致这两个关键问题^[7]，但是对外界环境光的影响并没有处理。TEHRANI M A等人提出了一个完全自动化和可扩展的多投影仪注册系统，允许多个未经校准的投影仪和相机安装在任意形状的表面上^[8]。该方法只能实现边缘混合，不能提供完全的颜色无缝。王修晖等人通过对RGB三通道分别建立广义颜色模型进行投影显示画面颜色校正^[9]，但是并没有考虑RGB三个通道之间的相互影响，而且广义颜色模型相对精确度并不高。文献[10]在Lab颜色空间利用B样条曲线进行多投影颜色校正, 虽然考虑了亮度与色度相互干扰的问题, 但是B样条曲线的控制点互不影响, 并不灵活，不符合实际场景的情况, 可以考虑贝塞尔曲线或者非均匀有理B样条曲线。

为了解决各投影仪显示图像之间颜色不一致的问题,本文提出一种基于自由变形技术的多投影颜色校正技术。通过自由变形技术模型建立原始图像和投影显示图像的RGB空间的转换关系，摄像机采集投影仪投影显示画面作为反馈，再根据原始图像集和拍摄图像集确定基于贝塞尔基函数的自由变形技术模型的参数，对原始图像进行颜色校正，提高两投影仪颜色强度相似度。自由变形技术模型是一个三维函数，用三维函数来表示RGB三维颜色空间更加准确，而且比以往的方法更能表示出RGB三通道之间的相互影响。

1   多投影颜色校正方法及模型

1.1   多投影显示系统颜色校正流程

多投影显示系统颜色校正的目的是，使多个投影仪投影的画面颜色一致，多投影显示系统颜色校正流程图如图1所示。主要由将多张指定颜色强度值的图像通过投影仪投影，依次提取摄像机拍摄的投影图像的颜色强度值，求取颜色强度值的转换关系式并调节参数，原始图像进行颜色扭曲4部分组成。

图  1  多投影显示系统颜色校正流程图

Figure  1.  Color correction flow chart of multi-projection display system

下载: 全尺寸图片 幻灯片

1.2   自由变形技术

自由变形技术（free-form deformation）是将三维物体嵌入一参数空间内，通过对嵌入空间实施变形，生成所嵌入物体变形效果的技术^[10]。该技术将待变形物体放入由多个控制点组成的控制体中，通过修改控制点或者参数来变换物体的形状，多应用在几何物体的研究中，至今为止，还没有应用在多投影颜色校正上。自由变形技术常用Bernstein 基函数建立函数关系式^[11]。

本文自由变形技术采用Bernstein基函数来建立，具体公式如下：

式中：$P(u,v,w)$为经自由变形技术变化后的任意一点坐标；u、v、w分别表示三维空间的3个方向，且$u{\text{、}}v、w \in [0,1]$；$ M $、$ N $、$ H $分别表示控制体在3个方向的阶数；${p_{ijk}}$为控制点的坐标值；$ B{}_{i}{}^{M}(u)、 {B}_{j}^{N}(v)、 {B}_{k}^{H}(w) $为Bernstein基函数，表达式为

式中$ {B}_{j}^{N}(v)、{B}_{k}^{H}(w) $的定义与$B{}_i^M(u)$类似。

改变任意控制点${p_{ijk}}$的位置或其前面的系数，三维空间内控制点围成的网格和物体的形状发生变化，物体上点的坐标就会发生改变。

1.3   基于自由变形技术的颜色响应模型

本文采用基于Bernstein基函数的自由变形技术方法。贝塞尔模型的特点是各控制点之间相互影响，移动其中一个控制点，其他邻近控制点也会发生不同程度的改变，这更符合实际情况。多通道投影系统中各投影仪显示的图像之间颜色不一致，整体画面达不到沉浸效果，投影仪使用时间越长，颜色差异越大^[12-14]。为此，本文通过求取原始图像和投影图像像素点RGB值的对应关系，对原始图像的颜色进行扭曲，完成多投影显示系统中显示画面的颜色校正。

RGB颜色空间是用一个单位长度的立方体来表示颜色的^[15-17]，实际实验环境中R、G、B 三个通道之间互相影响，任意一个通道会随着其他2个通道的值的改变而改变。当原始图像的像素点通过投影仪投影到投影屏幕上时颜色发生变化，也就是RGB值发生变化。单个颜色通道的变化情况可以通过直线来拟合，2个颜色通道的变化情况也可以通过曲面来拟合，以此类推。3个颜色通道的变化情况可以通过三维函数来拟合，自由变形技术是一个描述三维立体图形的函数，可以描述颜色空间。考虑到不同型号、不同批次投影仪的内部参数不同，即使是同型号同批次的投影仪内部参数也会不相同，因此投影图像之间会产生颜色差异^[18]。受到外部光线的干扰，投影仪投影一张全黑的图像，投影显示的图像并不是全黑的。考虑到以上情况，可以通过自由变形技术表示原始图像和投影图像颜色强度变化的关系，调节原始图像的RGB值使各投影仪投影显示图像颜色一致，这样，不仅考虑到投影仪、摄像机和环境光的影响，还考虑了R、G、B各通道之间的相互影响。

基于自由变形技术的颜色校正需要求取函数中各个参数，原则上控制点越多，计算精度越高，效果越好。但是实际计算过程中，如果3个方向均选取4个控制点，计算复杂度太高, 而且颜色区间不大，控制点密集，偏差接近于0，矩阵无法计算，所以选取$3{\text{×}}3{\text{×}}3$共27个控制点。R、G、B 三个通道的取值范围均为[0, 255]，用OpenCV生成R、G、B值为16、127、240，组合成27张像素点RGB值不同的图像，以此作为其中一个校正集，即为理想颜色强度样本值${P_{\text{O}}}$。各投影仪将这27张图像投影到屏幕上，再通过摄像机分别拍摄投影显示图像，通过OpenCV提取拍摄的投影图像的颜色强度均值，以此作为另一个校正集，即实际颜色强度样本值${P_I}$。

计算机上的原图像经过投影仪投影到屏幕上颜色会发生畸变，可以通过原始图像和投影图像对应点的颜色强度值创建颜色强度转换关系式，再根据理想颜色强度样本值${P_{\text{O}}}$和实际颜色强度样本值${P_I}$，求出自由变形体响应函数。原始图像与投影图像的颜色强度转换关系如下式：

式中：${P_{\text{O}}}$为原始图像颜色强度值；$B({P_I})$为自由变形体的响应函数；${P_I}$为照片内投影画面的强度值。原始图像颜色强度值具体计算公式为

式中：${P_{\text{O}}}(U,V,W)$为原始图像颜色强度值；U、V、W分别表示原始图像像素点的R、G、B值；u、v、w分别表示投影图像像素点的R、G、B值；$M$、$N$、$H$分别是控制体在3个通道的阶数；${p_{ijk}}$为控制点，共$(N + 1)×(M + 1)×(H + 1)$个控制点，考虑到计算复杂度，N、M、H取2, 所以有27个控制点；$ {B}_{i}^{M}(u)、{B}_{j}^{N}(v)、 {B}_{k}^{H}(w) $为基函数。

通过OpenCV按一定顺序提取27张原始图像像素点的R、G、B均值，按提取顺序计入样本值${P_{\text{O}}}$中，然后将27张图像按以上顺序投影到投影屏幕上，同时用摄像机采集投影画面，利用OpenCV依次提取投影图像像素点的R、G、B均值，并计入样本值${P_I}$中。R、G、B值分别对应u、v、w，将R、G、B值变换至u、v、w的取值空间内，公式如下：

式中，$ E、S、Q\in （0，1，2，3，\cdots ，26） $，因为u、v、w取值范围是0～1，所以需要把RGB值进行单位化转换。将公式（4）以矩阵的形式表示为

具体公式为

公式（7）是公式（6）的矩阵展开形式，公式（6）中${\boldsymbol{C}}$是公式（7）的左边前半部分组成的矩阵，代表照片内投影画面RGB三通道之间的关系，其中各个元素的计算公式如式（8）所示。公式中$ {\boldsymbol{p}} $为控制点列矩阵；$ {\boldsymbol{P}} $为原始图像的RGB颜色强度值单位矩阵(取值范围为[0, 1])；i、j、k取值范围均为{0, 1, 2}。

将数据代入公式（7）中，求取控制点，进而得到颜色强度转换公式。原始图像经过投影仪投影，图像颜色强度的变化有一定的规律，本文采用自由变形体近似表示这一变化规律。在原始图像采取样本值，并且记录这些点经过投影仪投影到屏幕的颜色强度值，带入到自由变形体公式中，求取这一模型的控制点，最终确定自由变形体模型，最后对原始图像进行颜色强度校正。

1.4   原始图像的颜色扭曲

对于多通道投影显示系统，各个投影仪由于内部参数不同导致投影画面的颜色显示范围不一样，因此需要提取多个投影仪投影画面的RGB值范围，找出公共区域。采集每个投影仪投影画面的颜色强度值，其中最小值记为$ D $，最大值记为$ F $，$\left[ {D,F} \right]$即为多个投影仪投影画面的颜色强度值的公共区域。像素点的颜色强度值的理想取值范围是[0, 255]，在实际投影画面中，由于投影仪内部的影响和外部环境的干扰，像素点的颜色强度值范围会缩小。设原始图像像素点的颜色强度值为$ A $，则投影图像理论上(不考虑各种影响)的颜色强度值$Y(A)$的表达式为

经自由变形体校正后原始图像像素点的颜色强度值为

式中：$B()$为求取控制点后的自由变形体模型；${P_H}$为原始图像经颜色校正模型校正后的像素点的单位颜色强度值。

2   实验与分析

2.1   RGB颜色空间各通道之间的相互影响

为了检测RGB颜色空间各通道之间的相互影响，本实验先通过OpenCV生成其中一个颜色通道强度值的规律变化，另外两个颜色通道强度值不变的样本集合，将该样本集合通过一台投影仪投影到投影幕布上， 然后用摄像机记录投影图像各个颜色通道强度值。通过MATLAB分析拍摄图像的RGB平均值，得出各通道颜色强度输出值的变化波动，如图2所示。

图  2  图像经投影后RGB颜色强度的变化波动图

Figure  2.  Fluctuation diagram of RGB color intensity after projection

下载: 全尺寸图片 幻灯片

以输入固定的颜色强度值作为变化波动的零点，由图2（a）可知, G、R两通道的强度值随着B通道强度值的改变而发生不同程度的波动, 图2（b）和图2（c）类似, 说明RGB三通道之间是互相影响的。自由变形技术考虑到三通道之间的关系，根据现场投影环境情况求取最合适的控制点，进而通过控制点表示原始图像和投影图像的颜色强度转换关系。RGB颜色空间各通道输出的样本极差、样本标准差和均方根误差如表1所示。

表  1  RGB各通道输出颜色强度值的极差和均方根误差

Table  1.  Range and root mean square error of output color intensity values of RGB channels

输入的颜色通道			输出的颜色强度值
输入变化的 颜色通道	输入固定的 颜色通道		样本极差	样本标准差	样本均方根 误差
B	G		36.426 5	11.920 1	22.740 2
	R		26.759 4	8.246 8	22.860 5
G	B		49.295 9	17.519 5	24.256 9
	R		21.806 4	6.393 7	11.878 5
R	B		37.010 5	13.584 2	17.911 8
	G		10.056 3	3.587 7	22.824 3

下载: 导出CSV 

| 显示表格

均方根误差反映测量值和理想值之间的偏差。由表1可知，随着一个颜色通道输入值的变化，另外两个固定输入的颜色通道强度值发生不同程度的波动，投影显示图像的RGB值与理想图像RGB值偏差比较大。综上所述，RGB各通道分别校正不准确，忽略了各通道之间的相互影响，基于自由变形技术的颜色校正方法考虑了这个影响，利用RGB空间立体特点进行校正。

2.2   颜色校正结果检测

文献[9]中广义颜色校正方法比较经典，操作简单，但是精准度不高。文献[10]中基于B样条曲线的颜色校正方法是对RGB三通道分别进行校正，没有考虑RGB三通道之间的互相影响，精准度也不够高。本文以一台投影仪作为基准，即该投影仪投影显示画面为理想投影图像，另一台投影仪的投影画面分别用文献[9]、文献[10]和本文的颜色校正方法进行颜色校正，再通过MATLAB提取摄像机采集的投影图像的灰度直方图，结果如图3所示。

图  3  不同方法颜色校正后投影图像的直方图

Figure  3.  Histogram of projection images after color correction with different methods

下载: 全尺寸图片 幻灯片

下面对直方图相似性进行评估。直方图相似性评估指标有：相关性比较(Correlation)、卡方比较(Chi-Square)、巴氏距离(Bhattacharyya distance)。Correlation标准值越大，相似性越高， Chi-Square和Bhattacharyya distance标准值越小，相似性越高。

相关性比较表达式为

卡方比较表达式为

巴氏距离表达式为

式中：${H_1},{H_2}$ 分别表示两个投影仪投影图像的直方图数据； $\mathop {{H_k}}\limits^ - = \dfrac{{\displaystyle\sum\limits_J {{H_k}(J)} }}{N}$；k为1或2；N表示直方图的bin个数。这里直方图横坐标表示灰度级，N为256，I为0，1，… ，255。

不同颜色校正方法的直方图对比结果如表2所示。从表2可以看出，相比文献[9]和文献[10]，本文方法的直方图的Correlation分别提高了15.7%和8.9%，Bhattacharyya distance分别降低了14.9%和9.7%。

表  2  不同颜色校正方法效果对比

Table  2.  Effect comparison of different color correction methods

方法	Correlation	Chi-Square	Bhattacharyya distance
文献[9]	0.783 3	162.357 1	0.151 2
文献[10]	0.832 5	122.893 6	0.142 6
本文	0.906 4	64.068 2	0.128 7

下载: 导出CSV 

| 显示表格

2.3   多通道投影颜色校正效果

为了验证本文提出的基于自由变形技术的多投影拼接颜色校正方法的有效性，将本文颜色校正方法、文献[9]和文献[10]中的颜色校正方法应用到多通道投影显示系统的颜色校正实验中。实验采用双通道投影系统，具体硬件测试环境由两台投影仪、一台电脑和一部摄像机组成。颜色校正前后的效果图如图4所示。由图4可知，视觉上本文方法的校正效果要优于文献[9]和文献[10]。

图  4  基于自由变形技术颜色校正后的投影图像

Figure  4.  Projection image after color correction based on free-form deformation technology

下载: 全尺寸图片 幻灯片

由于图4中不同方法校正后的效果比较相近，因此需要做进一步分析。采用文献[9]、文献[10]和本文的颜色校正方法分别校正颜色强度不同的图像样本，摄像机拍摄两投影仪的投影画面，提取拍摄画面的颜色强度值。在RGB空间颜色强度平均差值如表3所示。

表  3  颜色校正后两投影仪投影画面颜色强度平均差值

Table  3.  Average difference of color intensity of projection pictures of two projectors after color correction

颜色通道	RGB空间颜色强度平均差值
	文献[9]	文献[10]	本文方法
B	16.03	9.42	6.92
G	13.52	6.98	4.64
R	14.92	8.69	5.12

下载: 导出CSV 

| 显示表格

由表3可知，相比文献[9]和文献[10]，本文方法校正后两投影仪投影画面颜色强度平均差值在B通道分别减少了9.11和2.50，在G通道减少了8.88和2.34，在R通道减少了9.80和3.57。

采用本文方法，四通道CAVE系统颜色校正前后效果如图5所示。

图  5  四通道CAVE系统颜色校正前后效果图

Figure  5.  Effect picture of four channel CAVE system before and after color correction

下载: 全尺寸图片 幻灯片

3   结论

在多投影显示系统中，不仅相邻屏幕之间有辐射影响, RGB颜色空间中R、G、B 3个颜色通道之间也有辐射影响。本文提出了一种基于自由变形技术的多投影颜色校正方法，考虑了RGB各通道之间相互干扰的问题。RGB颜色空间是一个三维空间，采用自由变形技术这种三维函数描述原始图像和投影仪投影显示画面对应像素点RGB值的转换关系。自由变形技术采用Bernstein基函数来建立, Bernstein基函数的特点是调整其中一个控制点，其他控制点都会受到不同程度的影响，影响程度随着距离的减小呈衰减趋势，比较灵活，符合实际情况。实验结果表明：相比广义颜色校正方法和基于B样条曲线的颜色校正方法，本文方法将两台投影仪投影画面的颜色强度平均差值在B通道减少了2.50，在G通道减少了2.34，在R通道减少了3.57，直方图的相关性提高了8.9%，巴氏距离降低了9.7%。颜色校正后各投影仪的投影画面基本一致，提高了颜色校正的准确性，为用户可提供自然的沉浸式体验。