引言

在遥感图像去云雾处理方法中，单幅图像去云雾方法能有效节约图像采集成本，具有效率高，灵活性强的特点^[1-3]。但由于云区内的景物信息未知，此类方法去云雾处理难度高。针对云层和景物在图像中占据不同频带这一基本特点，利用小波变换的多分辨率分析特点^[4]，通过小波变换实现去云。王修信等提出了小波自适应阈值去云方法，采用遗传算法，并以广义交叉验证准则为目标函数，自动寻找云雾与景物间的阈值^[5]，然而计算过程较复杂。相比于传统小波变换，Kingsbury提出的双树复小波变换具有近似平不变性、更好的方向选择性、完全重构性等优点^[6]。胡根生等基于以上优点，提出将双树复小波变换和迁移最小二乘支持向量回归相结合的薄云去除方法，取得了较好的效果^[7]。

本文在研究双树复小波变换的基础上，结合拉普拉斯滤波和云层系数，提出一种具有较强自适应性的单幅图像去云处理算法，并利用ARM 9的处理器，结合嵌入式操作系统WinCE，设计和开发去云雾处理系统。

1   基于双树复小波变换去云雾处理算法

1.1   双树复小波变换原理

一维双树复小波变换的尺度函数和小波函数分别表示为

式中；j表示虚数单位；实部${{\phi }_{h}}\left( t \right)$和φ_h(t)满足实小波变换中的两尺度方程和小波方程关系，设它们的低通、高通滤波器分别是H₀和H₁。同样，虚部${{\phi }_{g}}\left( t \right)$、φ_g(t)也分别满足两尺度方程和小波方程关系，设它们的低通和高通滤波器分别是G₀和G₁。此外，小波函数φ_h(t)和φ_g(t)满足Hilbert变换关系。

二维双树小波变换过程如图 1所示。其中树1采用滤波器H₀和H₁，称作实树；树2采用滤波器G₀和G₁，称作虚树。首先，原图像在每棵树中，分别按照实小波变换方法分解得到近似C_h、C_g, 水平细节D_h^H、D_g^H, 垂直细节D_h^V、D_g^V和对角细节D_h^D、D_g^D。然后，对应小波系数分别进行相加和相减，得到了6种小波系数，分别对应75°, 15°, -45°, -75°, -15°和45°等6个不同的方向。

图  1  二维双树复小波变换示意图

Figure  1.  Sketch map of 2D dual-tree complex wavelet transform

下载: 全尺寸图片 幻灯片

可见，二维双树复小波变换主要采用了实小波变换分解方法来实现，具有更好的方向选择性。图像经过多层二维双树复小波变换后，与实小波变换类似^[8]，高层系数频率低、低层系数频率高，近似系数频率最低。为此，本文去云处理的基本方法是，通过分层，将遥感图像中的景物和云雾尽可能分别分配到低层、高层系数中，再分别处理低层、高层和近似系数，去除云雾，突出景物，并尽可能保留云区外的有用信息。以下分别将低层系数、高层系数、近似系数称作低层高频子带、高层高频子带和低频子带。

1.2   去云雾处理算法

本文提出的去云雾处理方法如图 2所示。具体处理步骤如下。

图  2  基于双树复小波变换的去云雾算法流程图

Figure  2.  Flow chart of cloud-mist removal algorithm based on dual-tree complex wavelet transform

下载: 全尺寸图片 幻灯片

1) 将原图像做n层双树复小波变换，选择一个合适的整数l，将高频子带分割为低层高频子带、高层高频子带。如果原图像素数为M×N，n和l默认值可按下式取值：

式中：floor(x)函数表示取不大于x的最大整数；round(x)函数表示四舍五入。

2) 按照公式(4)，使用拉普拉斯滤波器分别处理1-l层中6个方向的高频子带，以增强地面景物信息。图 2中标记1~6序号的方框代表 75°、15°、-45°、-75°、-15°和45°等6个方向的双树复小波分解系数。

式中：L{}表示拉普拉斯滤波；s(x, y)代表双树复小波变换子带系数；k取+1或-1，其正负号与拉普拉斯滤波器中心元素符号一致^[9]。将它们组合在一起作双树复小波逆变换，可得到滤波结果。

3) 处理高层高频子带。将l+1至n层全部高频子带组合在一起，做双树复小波逆变换，重构为f(x, y)。然后按照类似文献[8]的方法，根据(5)式和(6)式计算云区系数τ(x, y)：

式中：c表示RGB 3个通道中的任一通道，Ω为以(x₀, y₀)为中心的邻域。

再运用(7)式，得到高层高频子带的处理结果：

4) 重构低频子带。

5) 分别将步骤2)，3)，4)的结果叠加在一起，得到最终处理结果。为提高本文硬件系统设计的灵活性，算法为以上3部分预设了权重，分别为W₁, W₂和W₃。

在算法研究阶段，首先在MATLAB平台上，依据以上去云处理算法编写程序，开展程序调试和运行，并通过实验检验算法的去云雾效果。在硬件开发阶段，依据设备要求，开展算法移植，将MATLAB程序转换成硬件支持的Visual C++程序。

2   去云雾系统设计

2.1   硬件系统组成

本文要求设计的去云雾处理硬件系统体积小、运算速率快、功耗低，允许用户根据需求改变算法中的参数，系统结构如图 3所示。系统由微处理器(MPU)，人机交互设备、图像采集模块和存贮器组成。

图  3  系统结构框图

Figure  3.  System structure block diagram

下载: 全尺寸图片 幻灯片

图 3中MPU作为设备的电路核心和软件运行的载体，选用ARM 9架构的S3C2440芯片，以适合开发小型手持设备，满足低功耗和高性能需求。人机交互设备包括鼠标、键盘和显示器等，提供人机接口，用户可根据需要在显示器显示的人机交互界面内输入参数，观察采集图像和处理效果。鼠标、键盘均使用USB接口，与MPU进行通信，显示器则采用HDMI接口方式。未来开发中，人机交互设备还可以采用小型触摸屏进一步减小系统体积。图像采集模块包括摄像头与图像采集卡等硬件设备。存贮器包含两部分，一部分是随机存储器(RAM)，另一部分是永久存储器，用于存贮拍摄的图像。

2.2   Windows CE嵌入式系统开发

为使系统按照提出的算法开展去云雾处理，本文基于嵌入式Windows CE操作系统开发设计硬件系统。首先，在程序开发所用的计算机上安装SDK，完成系统配置。然后，将去云雾处理算法的MATLAB程序转换成硬件系统支持的Visual C++程序。为方便深入课题研究，在程序开发时，除了保留双树复小波分解层数和分界层数这2个参数外，还预留了低层高频、高层高频、低频的权重，以及低层中各层6个方向分解系数的权重。之后，在计算机上使用Embedded Visual C++(EVC)开发用户应用程序^[10]。编译通过后，通过网络下载至目标板的flash上，进行脱机运行测试。

2.3   USB摄像头驱动程序的设计

在WinCE的USB总线驱动架构中，客户端设备驱动程序不直接与硬件通信，而是利用下层的USB总线功能与设备连接^[11]。

WinCE要求USB设备流结构实现USBInstallDriver, 、USBUninstallDriver、USBDeviceAttach这3个入口点函数，具体用法参见文献[12]。

为实现对USB摄像头进行控制，还需要使用CAM_Init，CAM_Deinit，CAM_Open，CAM_Close，CAM_Read等流接口函数。当USB摄像头与系统连接时，系统通过调用入口点函数，完成驱动初始化。然后，应用程序通过执行CreateFile函数，调用CAM_Open来启用设备。接着，执行ReadFile函数调用CAM_Read，通过USBD模块提供的等时传输函数来读取摄像头数据。最后，解析所需的原始图像数据，并在应用层对其进行解码，将图像数据格式从YUV420转换为RGB格式，以便于图像显示。

2.4   HDMI视频信号输出程序的设计

WinCE系统下，首先使用IOCTL_STDA_ TVOUT_INIT_INTERFACE_PARAM命令，对输出视频的参数进行配置。本文的输出模式设定为HDMI，分辨率选择600×800像素，和摄像头CMOS传感器相匹配。当要求的分辨率更高时，需要更换相应CMOS传感器。然后，使用IOCTL_ STDA_GRP0_INIT_PROCESSING_PARAM命令，配置图像数据的物理地址、颜色格式和大小。颜色格式取为VM_DIRECT_RGB565，调整HDMI输出图像在显示屏的位置，使其充满屏幕。编程申请显示分辨率为600×800像素的内存空间，把这个内存物理地址传输到驱动程序。系统运行过程中，应用程序将通过虚拟地址把图像拷贝到该内存空间。在驱动配置完毕后，调用IOCTL_STDA_GRP0_START命令，即可实现HDMI输出。

2.5   人机交互界面设计

系统的人机交互界面如图 4所示。界面主要划分为4个区域。左上角区域用以显示当前摄像头所拍摄到的景物，右上角主要是参数设置区，使用者可修改包括双树复小波分解层数、分界层数、低层高频、高层高频、低频权重，6个方向分解系数权重等参数。默认的双树复小波分解层数为7，分界层数为4，其余权重都为1。此外，参数区还包括文件保存目录、运行按钮和退出按钮等人机交互功能。左下角用以显示系统处理前的原始图像，右下角显示经过系统处理后的结果图像。

图  4  系统软件运行界面

Figure  4.  Operating interface of system software

下载: 全尺寸图片 幻灯片

3   结果与分析

本文设计的遥感图像去云雾处理系统如图 5所示。系统通过摄像头采集图像，使用者通过显示器观察采集图像和处理效果，并在人机交互界面内设置参数。

图  5  系统设计结果

Figure  5.  System design result

下载: 全尺寸图片 幻灯片

为了检验设计系统的遥感图像去云雾处理性能，本节开展图像实时采集和处理实验，实验地点为常州工学院辽河路校区。系统拍摄图像的分辨率为600×800像素，为满足双树复小波变换要求，系统自动将原图裁剪成512×512像素，如图 6所示，此时开展双树复小波变换的最大分解层数为7。由图 6可见，由于存在雾霾，图像对比度不理想，随着景物距离增加，能见度逐渐降低。当使用默认参数时，图像处理结果如图 7所示，可见景物清晰度和对比度有很大提高，虽然顶部物体的恢复还不到位，但是云雾有较大程度的去除。

图  6  原始图片

Figure  6.  Original image

下载: 全尺寸图片 幻灯片

图  7  默认值处理效果

Figure  7.  Processing result with default parameters

下载: 全尺寸图片 幻灯片

本文设计的系统还可以根据用户选择的参数，实现对应的去云雾处理。图 8展示了当双树复小波分解层数n分别为4、5和6时，去云雾图像处理的效果。此时分解层数仍取4，权重都取为1。由图 7对比效果可见，分解层数对图像处理效果影响不大。

图  8  设置不同双树复小波分解层数的处理效果

Figure  8.  Processing results with different wavelet decomposing levels

下载: 全尺寸图片 幻灯片

选取不同分界层数l后的图像去云雾处理效果如图 9所示，此时双树复小波分解层数n保持为7。可见，当l较小时，虽然云雾有所去除，但景物信息也有丢失，突出不够；当l较大时，云雾去除不够明显。

图  9  设置不同分界层数的处理效果

Figure  9.  Processing results with different diving levels

下载: 全尺寸图片 幻灯片

当低层、高层、近似权重分别取2，其余参数都取默认值时处理效果如图 10所示。由图 10可以看出，增加低层权重，有助于突出景物信息，增加高层权重和近似权重则会增强云雾的效果。

图  10  权重参数修改后处理效果

Figure  10.  Processing results with modified weight factors

下载: 全尺寸图片 幻灯片

针对1-4层6个方向的小波系数，对每个方向分别设置权重为5的加权，其余参数保持默认值，处理结果如图 11所示。由图 11可见，加权后对应方向的图像细节有明显突出。

图  11  设置6个方向权重后的处理效果

Figure  11.  Processing results when weighting coefficients in 6 directions respectively

下载: 全尺寸图片 幻灯片

表 1给出了客观评价以上处理结果的平均亮度(Avg)、标准差(Std)、熵(H)和局域相位相干(LPC, local phase coherence) ^[13]等指标值。

表  1  去云雾处理结果的客观评价指标

Table  1.  Objective evaluation indices of cloud and mist removal results

参数		Avg	Std	H	LPC
原图		157.86	26.60	3.32	0.863 8
默认		68.79	42.51	7.61	0.945 5
分解层数	n=4	63.32	44.25	7.61	0.940 7
	n=5	65.80	44.46	7.62	0.942 0
	n=6	70.77	43.73	7.63	0.943 9
分界层数	l=3	76.06	36.63	7.47	0.944 3
	l=5	79.84	52.17	7.36	0.944 2
	l=6	98.58	59.85	6.74	0.943 8
权重	W3=2	100.35	59.36	6.94	0.946 7
	W1=2	106.01	54.27	7.03	0.952 8
	W2=2	68.79	62.05	7.30	0.957 2
方向权重	75°	53.06	41.91	7.35	0.947 8
	15°	51.99	43.52	7.29	0.944 5
	-45°	66.01	39.98	7.49	0.943 5
	-75°	63.71	47.69	7.40	0.948 6
	-15°	69.59	46.19	7.43	0.948 2
	45°	73.57	43.66	7.54	0.946 9

下载: 导出CSV 

| 显示表格

一般去云后图像平均亮度降低，而其他参数将增加。熵代表图像的信息量，去云效果越好，熵值越高。与原图相比，选择不同参数获得的去云雾效果图平均亮度有所下降，而标准差、熵和LPC值都提高，表明本文提出的算法取得了一定的去云雾效果。当分界层数选择为4时，双树复小波分解层数选择4、5、6、7时，处理结果的熵都比较大，优于其他参数的处理结果，表明去云效果最好，采用默认参数值处理结果的熵达到7.61，结果较为理想。因此，软件预置的默认参数可以较好完成去云雾的工作，本文提出的算法具有一定的自适应处理能力。同时人机交互界面具有丰富的参数设定功能，为使用者深入研究基于双树复小波变换的去云雾处理技术提供便利。

为进一步说明本文算法在去云方面的性能，采用一幅局部包含云的图像开展实验，如图 12(a)所示，图像分辨率仍为512×512像素，其他参数取默认值，处理结果如图 12(b)所示，虽然图像偏暗，但去云效果较好，景物也有显著突出。选用小波阈值法和同态滤波法的处理结果如图 12(c)和图 12(d)所示，小波阈值法去云区下的景物信息损失较多，同态滤波法去云不明显。它们的客观评价指标如表 2所示。从表 2可以看出，本文算法的熵值和LPC值优于另外两种算法，去云效果好。

图  12  不同算法处理效果比较

Figure  12.  Comparison with different algorithms

下载: 全尺寸图片 幻灯片

表  2  不同算法处理结果客观评价指标的比较

Table  2.  Objective evaluation index comparison of different algorithms

处理方法	Avg	Std	H	LPC
原图	117.71	36.96	6.44	0.838 4
本文算法	43.60	29.64	7.29	0.931 1
小波阈值	109.31	30.78	7.25	0.878 5
同态滤波	121.54	45.05	6.33	0.897 6

下载: 导出CSV 

| 显示表格

4   结束语

本文将拉普拉斯滤波和云层系数相结合，提出了基于双树复小波变换的去云雾处理算法，采用默认参数，能获得较好的处理效果，具有较强的自适应性。采用微处理器为核心，将摄像头和显示设备等相结合，设计了硬件系统，实现算法的固化，硬件系统具有良好的人机交互性，为开发和深入研究基于双树复小波变换的去云处理算法提供了功能健全的人机接口。