基于时空域滚动引导滤波的分尺度非均匀性校正算法

刘通, 隋修宝, 陈钱, 陈星燎

刘通, 隋修宝, 陈钱, 等. 基于时空域滚动引导滤波的分尺度非均匀性校正算法[J]. 应用光学, 2025, 46(2): 309-318. DOI: 10.5768/JAO202546.0202003
引用本文: 刘通, 隋修宝, 陈钱, 等. 基于时空域滚动引导滤波的分尺度非均匀性校正算法[J]. 应用光学, 2025, 46(2): 309-318. DOI: 10.5768/JAO202546.0202003
LIU Tong, SUI Xiubao, CHEN Qian, et al. Scale-separated non-uniformity correction algorithm based on spatio-temporal rolling guidance filter[J]. Journal of Applied Optics, 2025, 46(2): 309-318. DOI: 10.5768/JAO202546.0202003
Citation: LIU Tong, SUI Xiubao, CHEN Qian, et al. Scale-separated non-uniformity correction algorithm based on spatio-temporal rolling guidance filter[J]. Journal of Applied Optics, 2025, 46(2): 309-318. DOI: 10.5768/JAO202546.0202003

基于时空域滚动引导滤波的分尺度非均匀性校正算法

基金项目: 天津市教委科研计划项目(2023KJ241)
详细信息
    作者简介:

    刘通(1986—),男,硕士,讲师,主要从事红外图像处理研究。E-mail:liutong@tsguas.edu.cn

    通讯作者:

    隋修宝(1981—),男,博士,教授,博导,主要从事红外探测理论与技术研究。E-mail:sxb@njust.edu.cn

  • 中图分类号: TN219

Scale-separated non-uniformity correction algorithm based on spatio-temporal rolling guidance filter

  • 摘要:

    非均匀性是红外成像系统普遍存在的固有缺陷,主要表现为条纹和散粒状的固定模式噪声,造成图像质量严重退化。当前基于场景的非均匀性校正方法普遍依赖运动场景,静止场景容易被视为非均匀性,误校正会产生鬼影。为解决该问题,放弃对场景假设,从非均匀性自身特征出发,基于一维引导滤波结合递进校正和能量阻断机制校正大尺度的条纹非均匀性;对时域低通图像,基于滚动引导滤波的尺度感知和滤波收敛特性,通过求解最小均方误差下的线性校正模型参数,去除小尺度的散粒非均匀性。为验证算法的鲁棒性,使用缺乏运动场景开展模拟和实测实验,通过主客观评价,验证了本算法具有非均匀性校正残差小、抑制鬼影能力强、不过度校正、不对运动场景依赖等优点,且兼具对视频流和单帧图像的校正能力。

    Abstract:

    Non-uniformity is a common inherent defect in infrared imaging systems, mainly manifesting as streaks and granular fixed-pattern noise that severely degrade image quality. Current scene-based non-uniformity correction methods generally rely on moving scenes, and stationary scenes are easily assumed to be non-uniform, resulting in incorrect correction and ghosting artifacts. To solve the problem, the scene assumption was discarded to correct the large-scale strike non-uniformity based on one-dimensional guided filtering combined with progressive correction and energy blocking mechanism from the characteristics of non-uniformity. On the temporal low-pass image, based on the scale awareness and convergence properties of the rolling guidance filter, the small-scale scatter non-uniformity was corrected by solving the parameters of the linear correction model under the minimum mean square error. To verify the robustness of the algorithm, simulations and real experiments were performed on motionless scenes, and through subjective and objective evaluations, it was verified that this algorithm had the advantages of small non-uniformity correction residuals, strong ability to inhibit ghosting, no over-correction, no dependence on motion scenes, and had the ability to correct both video streams and single frame images.

  • 近年来,因“广域侦察监视”需求发展起来的扫描型光电系统[1-5]配置高性能的可见光/红外成像探测器,在光学通道中设置快调反射镜,通过框架运动的配合实现快速扫描条件下的连续清晰成像。该类光电系统执行空对地侦察监视任务时,从空中对地面区域进行拍摄,受实时光照条件、场景快速变化的影响,易出现探测器曝光/积分时间不准确,增益参数不合适等问题,导致图像不能全面反映目标/场景的亮暗层次,甚至画面过亮或过暗,影响目标辨识、侦察情报判读和后级图像拼接、融合等处理,需要进行机上成像参数的自适应调节,以获得目标区大范围高分辨力态势感知图像。

    自适应调光技术广泛应用于可见光相机/摄像机设计中,是保证成像质量的主要措施之一。可见光相机/摄像机一般使用CCD/CMOS作为感光芯片,其本身就是良好的测光元件且芯片技术发展迅速,基于数字图像的自动检调光方法已成为自动检调光的主要方法。如长春水利电力高等专科学校姜志宏等人在航空线阵CCD摄像机中采用了智能化元件,根据实际景物亮度变化实时控制CCD摄像机的曝光时间,获得了满意的电荷图像[6];长春光学精密机械与物理研究所关澈等人提出采用电子快门分档控制和结合增益控制的调光方法,实现了CCD 相机快速、高精度调光[7];长春光学精密机械与物理研究所申小禾等人研究了传统航空摄像机根据图像灰度信息加权计算的调光算法,提升了摄像机的环境适应性[8];中电二十七所郭会娜提出了一种基于电位计的可变光阑和外部触发脉冲设置快门时间的调光方法,实现光学成像系统中闭环光阑控制和电子快门的连续调整[9];天津大学霍文甲提出了一种CMOS传感器嵌入式平台下基于图像熵的自适应调光方法,具有良好的环境适应性[10]

    在传统凝视成像光电系统中,可通过调节可见光相机/摄像机的电子快门和亮度增益,即用前一帧成像参数调节当前帧的成像参数,实现对缓变场景的连续清晰成像。但对于快速扫描成像光电系统,成像场景快速变化,相邻图像帧之间的重叠区域小(仅为10 %),且地面收容宽度大(大于10 km),单独使用成像传感器进行调光的方法存在以下缺点:1) 相邻图像帧对应的地/海面场景变化大,仅用前一帧成像参数调节当前帧的成像参数将导致调光不准且调节范围不足;2) 成像区域变化快,成像参数调节速度慢;3) 拼接获得的大范围态势图相邻帧之间、相邻行之间图像明暗变化差异大,视觉感受不佳,影响情报判读。本文在传统相机/摄像机自动检调光技术基础上开展系统性研究,结合光电系统工程实际进行分级设计,光电系统自动调光方法如图1所示。以典型传感器配置为例,主要阐述可见光相机/摄像机和视频处理板的调光方法,这些措施针对性强,效果明显,能够实现光电系统成像参数的自动调节,满足大范围扫描侦察的要求。

    图  1  光电系统自动调光方法框图
    Figure  1.  Block diagram of automatic dimming method of EO system

    自动检调光技术早期应用于高帧频CCD相机,实现快速、高精度电子快门和增益参数控制,以保证成像质量。随着高灵敏度相机/摄像机成像系统应用范围不断扩展,要求其调光范围更宽、调光速度更快。可见光摄像机自动调光参数有:

    1) 光圈大小。光圈控制的是单位时间内的光通量。相比电子快门,机械光圈结构复杂、调节速度慢,光电系统主要用于远距离弱对比度的目标成像探测,光学设计上通常采用固定光圈,通过调节曝光时间和增益值2个变量来完成调光控制。

    2) 电子快门。通过成像探测器电子快门设置CCD/CMOS感光芯片的曝光时间来控制进光量,进光量为进光时间和光强的乘积。

    3) 增益控制。通过光电成像芯片内部电路调整每个像元的放大参数(对应输出图像的灰度值),由于电路放大有效信号的同时也会增大干扰噪声,在工程设计上优先调整曝光时间,再考虑增益的控制。

    基于数字图像的自动检调光技术通过自身图像信息分析确定曝光参数是否欠曝或过曝,是一种闭环控制方法。自动检调光的基本流程如图2所示。主要过程为:首先进行图像采集,然后在选取的测光窗口内计算图像评价函数,根据既定的调整策略,配置曝光时间和增益参数,完成调光后输出图像。

    图  2  自动检调光流程
    Figure  2.  Flow chart of automatic detection and dimming

    航空拍摄过程中,经常出现背景与目标亮度差异较大的情况。为了使图像达到最佳曝光状态,适应不同的场景,且满足实时性要求,一般采取两步调光方法:第一步,先计算图像平均灰度值做初调,使图像不会过曝或欠曝;第二步,再根据信息熵或直方图提取中非关注区域,经加权统计后控制调光参数,这样调光更准确、适应性好。其中的关键是测光窗口[11]、图像质量评价函数、非关注区域提取和调节策略。

    1) 测光窗口的选取

    测光窗口的选取主要是为了突出感兴趣区域以及淡化背景的影响,常见的测光区域选择方法如图3 所示。其中图3(a)为加权区域分割法,图3(b)为主体背景区分法,图3(c)为中央区域加权选择法。根据不同模式下光电系统在侦察、监视、跟踪等任务中所关注的目标/区域进行灵活设置。

    图  3  测光窗口的划分
    Figure  3.  Several divisions of metering window

    2) 图像质量评价函数

    图像质量评价函数是光电成像系统进行自动检调光的关键指标,主要使用两种函数,即基于图像灰度统计值的传统评价函数和将信息熵作为图像清晰度质量的评价函数,前者通过对图像平均灰度评价为后续调光提供参考,后者既可以评价图像的调光质量,也可以评价图像的调焦质量。

    图像灰度统计一般用灰度直方图表示。灰度平均值计算公式如下:

    $$ r_{A}=\frac{\displaystyle\sum_{j=0}^{k} n_{j} \times r_{j}}{\displaystyle\sum_{j=0}^{k} n_{j}} \quad(k=0,1,2, \cdots, 255) $$ (1)

    式中:rj为图像中第j级灰度;nj为图像中所含rj的数量。

    信息熵是反映图像灰度分布空间的特征量[12-14],信息熵越大,则图像包含的信息量越大,冗余信息越少。信息熵计算公式如下:

    $$ H(\mathrm{X})=-\sum_{i=0}^{L-1} P_{i} \lg \left(P_{i}\right) $$ (2)

    式中:H(X)表示图像信息熵;X 表示图像的灰度集合;i 表示图像的灰度级$ ({L}=255) $$ {P}_{i} $ 表示灰度值为i 时出现的频率。

    3) 非关注区域提取

    机载光电系统对地侦察关注高复杂度区域,非关注区域为包含灰度级单一的低复杂区域,即直方图中陡峭区域灰度值对应的图像区域,对信息熵的贡献较小。利用直方图信息可以搜索出图像中非关注区域,为其分配较小的权值,减少非关注区域对调光的影响。

    搜索非关注区域灰度值时,采用单位门序列与归一化后的直方图进行卷积和操作,计算公式为

    $$ P_{s}({x})=-\displaystyle\sum_{i=x}^{{x}+{P}_{{w}}-1} h({i}) $$ (3)

    式中:i 表示灰度值,h(i)表示灰度值为i 的像素个数占全部像素的比重;Pw为门序列的宽度。

    图4为光电系统拍摄的侦察图像、生成的灰度直方图以及计算得到的卷积和Ps图。其中图4(c)所示Ps图中的最大极点对应直方图中的峰值区域为非关注区域。搜索非关注区域的流程如文献[8]所述方法。

    图  4  直方图及卷积和
    Figure  4.  Histogram and convolution sum

    提取非关注区域时采用金字塔式尺度变化,如图5所示。分配权值时使用Sigmoid函数,将得到的加权灰度值作为反馈量,控制曝光参数,完成自动调光。

    图  5  非关注区域提取
    Figure  5.  Extraction of non-areas of interest

    4) 调节策略

    一般根据实际拍摄条件制定调节策略,目的是为了在不同工作模式或应用场景下快速准确地确定最佳调光参数,使得光学图像清晰、亮暗合适。机载光电系统作为情报侦察的重要设备,执行空对地光学图像采集任务,就图像视频传输链而言,需要合理设计光学镜头、光电探测器、视频处理板、情报处理单元等多环节的功能,根据典型使用场景和当前成像条件统筹考虑调节策略,完成快速、准确调光。

    对某型光电系统空中侦察图像进行分析,不同场景、不同曝光程度下图像的归一化直方图如图6所示。

    图6分析结果可以看出,多数侦察图像灰度直方图分布均匀,图像曝光适度;图6中img_4曝光过度,灰度值分布在0 附近处的像素数量很少,分布在255 附近的像素数量很多且有明显的溢出现象,导致此区域内信息丢失;图6中img_6曝光不足,灰度值集中在较低的区域,不能全面反映场景中包含的信息。此外,对于场景中存在强烈明暗对比区域的图像(如img_2和img_3),图像灰度等级出现两端溢出现象,此时无论怎样调整曝光策略和参数,都不可能得到适度曝光图像,需要采用后级图像处理算法进行图像对比度调整。

    图  6  侦察图像分析结果
    Figure  6.  Results of reconnaissance image analysis

    通常,工程中依据过曝和欠曝图像的灰度等级单侧溢出现象,进行自动调光。通过计算图像的平均灰度值,如果灰度平均值在预定的合理区间内(如在128 附近),则保持当前曝光参数不变;若低于合理区间(欠曝),则增大曝光时间,提高灰度平均值;若高于合理区间(过曝),则减小曝光时间,降低灰度平均值。

    但是,上述基于图像平均灰度值的自动调光方法,在一些特殊场景下存在明显的缺陷。如图6中 img_6所示,图像的灰度等级在低等级区域出现明显溢出,图像的平均灰度值为26.4。分析图像场景可知,图像中存在大片低灰度等级海面区域和少部分岸上区域,其中海面区域平均灰度值为18.1,岸上区域平均灰度值为60.5,可见图像平均灰度值区域更接近于海面区域灰度等级。此时,如果采用图像平均灰度值自动调光,必将导致岸上区域过亮。分析图6中img_6的信息熵(如图7所示)可知,更接近图像平均灰度值的区域,其信息熵却更低,而远离图像平均灰度值的区域,却贡献了大部分图像信息熵。

    图  7  img_6对应的信息熵
    Figure  7.  Information entropy corresponding to img_6

    上述现象,称之为图像区域信息不平衡现象,且把灰度等级接近图像平均灰度值但信息熵明显低于图像信息熵的灰度区域,称为图像非关注区域。在进行自动调光图像平均灰度计算时,应该降低图像非关注区域灰度值对图像平均灰度值的贡献(影响),即赋予较小的权重计算图像加权平均灰度值,提高自动曝光的准确性。

    可见光摄像机集成于光电系统光具座上,采用国产高速低噪声CMOS芯片作为图像传感器,具备曝光时间、增益参数、测光区域调整等功能。空对地成像拍摄时,受天空照度、雾霾等因素影响,远距离目标/背景对比度弱,场景复杂且变化快,加之海面和地面的光谱反射率不同,易出现过曝/欠曝、图像亮暗不合适等问题。可见光摄像机调光参数主要包括电子快门时间和增益大小,自动电子快门控制(AEC)和自动增益控制(AGC)原理相同,为闭环控制系统,如图8所示。CMOS探测器采集图像数据后传输到信号处理电路板,在FPGA上统计“图像灰度平均值”,结合调整策略,计算下一帧的增益/快门控制参数。

    图  8  自动增益/快门控制原理框图
    Figure  8.  Schematic diagram of automatic gain/shutter control

    为适应更多的场景,将原始图像划分成8×8共64个区域,根据光电系统不同工作模式的成像要求,选择不同的测光窗口,如图9所示。凝视成像条件下,关注目标位于图像中心区域,选择中心区域作为测光窗口,统计图像灰度平均值时,边缘区域不参与计算,且越靠近中心分配的权重较大。在扫描成像条件下,选择整幅画面为测光窗口,对全帧图像进行灰度平均值统计,权重一致。

    图  9  测光区域设置
    Figure  9.  Metering area settings

    根据CMOS探测器选型参数,电子快门调整范围为10 µs~20 ms,增益调整范围为0~28 dB。设计调光控制时先增大电子快门,电子快门达到上限后,再加大增益值;降低亮度时,则先减小增益,再减小电子快门,通常采用上一帧图像灰度平均值计算下一帧的AEC和AGC控制参数。

    为了适应场景亮度突变,采用改进的控制方法确保连续帧成像的实时性要求,如图10所示。电子快门与增益独立调整,2个帧周期(≤60 ms)完成1次亮度调整。电子快门控制采用上一帧图像灰度平均值计算下一帧的电子快门控制参数,增益控制采用当前帧图像灰度平均值计算当前帧的增益控制参数。电子快门控制输出亮度偏亮或偏暗时,都可通过增益模块进行亮度调整,使输出图像为期望的亮度。

    图  10  改进的电子快门和增益控制方法
    Figure  10.  Improved electronic shutter and gain control methods

    机载光电系统在扫描成像时,瞄准线快速转动,场景不仅变化快,还存在一些大差异场景(如岸海交界、海天交界等)。当出现场景亮度突变时,用传统统计方式(上一帧图像灰度平均值计算下一帧)获得AEC和AGC参数适应性差,虽然单帧图像亮度可调节到合适值,但两帧图像中重叠区的灰度值差异却变大,如图11所示。从图11可看出,两张图像平均灰度相同,但场景不一样,重叠区域(图中方框内)亮度差异较大。

    图  11  平均灰度值相同的2个场景图像
    Figure  11.  Two scene images with the same average gray value

    结合光电系统侦察成像场景变化情况,在统计图像灰度平均值时,采用滑动统计方式将前3帧图像的灰度值关联起来,优化当前帧电子快门时间和增益值的调节,如图12所示。从图12可知,在计算第6帧图像成像参数时,参考第3帧、第4帧和第5帧的图像亮度值,在快速完成参数调节的同时,减小相邻帧间图像亮度差异,并防止闪屏现象发生,具有更好的场景适应性。

    图  12  滑动窗口统计方式示意图
    Figure  12.  Diagram of statistical method of sliding window

    针对如图13所示扫描成像条件下的调节流程,在保证单帧图像目标/背景清晰的同时,关联前3帧调光参数,降低相邻图像条块状明暗相间的现象。除可见光摄像机完成自动调光外,还需视频处理板对大差异场景图像进行对比度矫正,并在地面拼接模块中采用匀光匀色处理,进一步降低相邻帧图像重叠区域亮度差异,保证大范围态势感知图像的整体效果。

    图  13  扫描条件下的调节流程
    Figure  13.  Adjustment flow chart under scanning conditions

    视频处理板采用FPGA+ARM(AI)硬件架构,接收可见光摄像机的侦察视频,在光电系统扫描成像时对图像亮度进行二次调节,尤其是当侦察区域出现岸海交界、海天交界等差异较大的场景时,仅通过可见光摄像机参数的调节已不能充分消除相邻帧间的图像差异。主要考虑两种情况:① 成像区域从海面快速移动至陆地(暗至亮),海面场景下曝光值较大,导致对岸上目标成像时出现过曝问题;② 成像区域从陆地快速移动至海面(亮至暗),陆地场景下曝光值较小,场景转换后导致海面区域和目标过暗,出现灰度丢失问题。

    为改善上述问题,本文设计了对比度矫正算法来提高大差异场景下的成像效果。当成像区域从海面快速移动至陆地时,需要对图像中较暗区域增强处理[15],提高图像通透性,同时,避免对过曝光区域增强处理,再通过对图像亮度分布的自适应线性映射,将图像像素灰度进行动态范围拉伸,提高图像过曝光区域的对比度;当成像区域从陆地快速移动至海面时,主要对图像中暗区域增强处理,同时,避免较亮目标的过饱和,提高图像整体亮度和清晰度。

    对比度矫正算法通过对图像不同灰度像素的自适应增强,实现对图像亮度的自动调节。设计的算法流程如图14所示。首先,通过人眼视觉系统亮度感知对数函数[1617],求得整幅图像的对数亮度范围;其次,对图像占比较高的亮度分布进行自适应线性映射;然后,结合图像亮度图生成各个灰度级的自适应增强系数;最后,生成对比度矫正后的图像。

    图  14  对比度矫正算法流程图
    Figure  14.  Flow chart of contrast correction algorithm

    具体算法如下。

    1) 根据视觉系统亮度感知对数函数,得到图像的对数亮度范围分布,即:

    $$ L_{g}(x, y)=\frac{\log\left(L_{w}(x, y) / \bar{L}_{w}+1\right)}{\log\left(a \times L_{w\max} / \bar{L}_{w}+1\right)} $$ (4)

    式中:$ L_{g}(x, y) $为全局自适应亮度分布输出;$ L_{w}(x, y) $为图像亮度值;$ {L}_{w\mathrm{max}} $为图像亮度值的最大值;a为可调系数;$ \bar{L}_{w} $为对数平均亮度,计算公式为

    $$ \bar{L}_{w}=\exp \left(\frac{1}{N} \sum_{x, y} \log \left(\delta+L_{w}\left(x, y\right)\right)\right) $$ (5)

    式中:$ {N} $为图像中的像素总数;$ \delta $为防止出现奇异值的最小值。

    2) 遍历图像中亮度分布情况,截取掉图像亮度个数前5%和后5%的亮度分布值,使$ L_{g}(x, y) $线性映射为0~1,实现对图像灰度级范围的拉伸,提高图像对比度。

    3) 求图像不同像素点的增益因子,计算公式为

    $$ G(x, y)=\frac{L_{g}(x, y)}{L_{w}(x, y)} $$ (6)

    仿真数据的增益因子与像素亮度关系如图15所示。从图15可以看出,当图像灰度值较小(暗区域)时,增益因子较大;随着灰度值增加,增益因子自适应减小。通过调整增益因子,可以使图像较暗区域亮度得到提升,过曝光区域亮度进行抑制,从而满足上述两种场景图像自适应调节需求。

    图  15  仿真数据的增益因子与像素亮度关系
    Figure  15.  Relationship between gain factor and pixel brightness of simulation data

    4) 完成对整幅图像亮度的自适应调整,输出视频结果。

    在实验室进行光电系统的快速扫描成像实验,对前级可见光摄像机在改进的电子快门和增益控制方法基础上,采取两种统计方式进行对比验证,实验结果如图16所示。

    图  16  扫描成像前级自动调光验证结果
    Figure  16.  Verification results of automatic dimming before scanning imaging

    图16可以看出,在扫描条件下,采用滑动统计方式进行成像参数调节,图像灰度连续,拼接后条块状明暗相间现象减弱,直观视觉效果较好。

    针对光电系统获取的大差异场景(岸海交接)图像进行对比度矫正算法验证,实验结果如表1所示。其中,图1图2是成像场景由海面扫描至陆地,图3图4是成像场景由陆地扫描至海面。在视频处理板上采取对比度矫正算法实现实时图像亮度自动调节(调节时间≤10 ms),表1中给出该算法处理前后对比的效果。

    表1可以看出,当成像区域从海面快速移动至陆地时,图像的对比度、亮度以及通透性得到提高;当成像区域从陆地快速移动至海面时,图像的对比度、亮度以及清晰度得到提高。

    表1处理结果定量分析,采用对比度、平均梯度和信息熵作为评价指标。

    对比度(contrast ratio)是指一幅图像中明暗区域最亮和最暗之间不同亮度层级的测量结果,差异范围越大,代表对比度越大。计算公式为

    $$ {{c}}=\sum r\left(i, j\right)^{2} \times p\left(i, j\right) $$ (7)

    式中:$ r(i, j)=|i-j| $为相邻像素之间的灰度差;$ p(i, j) $为相邻像素灰度差为$ r(i, j) $的像素分布概率。一般来说,对比度越大,图像越清晰,色彩越鲜艳。

    平均梯度 (mean gradient)是指图像的边界或影线两侧附近灰度的差异,即灰度变化率,变化率的大小可用来表示图像清晰度。计算公式为

    $$ G=\frac{1}{M \times N} \sum_{i=1}^{M} \sum_{j=1}^{N} \sqrt{\frac{\left({\mathrm{d}} x^{2}+{\mathrm{d}} y^{2}\right)}{2}} $$ (8)

    式中:$ M \times N $为图像大小;$ {\mathrm{d}} x $为水平方向梯度;$ {\mathrm{d}} y $为垂直方向梯度。一般来说,平均梯度反映了图像微小细节反差变化的速率,平均梯度越大,图像越清晰。

    信息熵(information entropy)表示图像信息量的大小,信息熵越大,说明图像包含的信息越多。计算公式为

    $$ H=-\sum_{i=1}^{n} P(i) \times \log (P(i)) $$ (9)

    式中,$ P(i) $为图像灰度级i的概率。

    表1中4张大差异场景(岸/海成像)图像的定量分析结果如表2所示。

    表2结果可知,本文采用的对比度矫正算法对大差异场景图像处理后,图像的对比度、平均梯度以及信息熵值均增加,说明处理后图像的对比度和清晰度更好、信息量更丰富,有效地改善了图像质量,提高了图像对比度和清晰度,利于操作员观察,也便于后续目标检测、跟踪、图像拼接等信息处理。

    表  1  对比度矫正算法验证结果
    Table  1.  Verification results of contrast correction algorithm
    场景变化 图像 对比度矫正
    处理前 处理后
    成像场景由海面移动至陆地 图像1
    图像2
    成像场景由陆地移动至海面 图像3
    图像4
    下载: 导出CSV 
    | 显示表格
    表  2  定量分析结果
    Table  2.  Results of quantitative analysis
    评价指标 图像1 图像2 图像3 图像4
    处理前 处理后 处理前 处理后 处理前 处理后 处理前 处理后
    对比度/% 12.69 23.57 42.61 55.33 17.80 35.83 7.28 14.31
    平均梯度 2.96 4.73 7.21 8.79 4.75 9.16 1.63 3.31
    信息熵/bit 5.56 7.02 7.71 7.34 6.55 7.49 3.74 5.41
    下载: 导出CSV 
    | 显示表格

    为保证机载光电系统扫描成像的图像质量,在视频传输链路上设计了三级调整措施。前级调节可见光摄像机内部成像参数,使其在不同环境和场景中获取亮暗层次信息丰富的图像,采用滑动统计的方式将前3帧图像的灰度值关联起来,优化当前帧电子快门时间和增益值的调节,减小相邻帧间图像亮度差异;中间级在视频处理板上对大差异场景变化采取对比度矫正算法,利用人眼视觉系统亮度感知对数函数,生成图像各个灰度级的自适应增强系数,进一步改善成像效果,更好地适应空对地大范围扫描成像的要求;后级情报处理单元对待拼接图像进行匀光匀色处理,使得图像灰度连续,减弱拼接后大范围图像中相邻帧之间、相邻行之间图像明暗差异,构建视觉效果佳、情报判读效率高的大范围态势感知图像。经实验验证和数据分析,本文设计的自动调光方法满足机载光电系统对地扫描成像的使用要求,能够有效提升大差异场景的图像质量,具有广泛的应用价值。

  • 图  1   去除大尺度结构性条纹FPN算法框图

    Figure  1.   Block diagram of algorithm for removing large-scale structural strike FPN

    图  2   去除小尺度非结构性散粒FPN算法框图

    Figure  2.   Block diagram of algorithm for removing small-scale unstructured granular FPN

    图  3   滚动引导滤波的尺度感知和收敛特性

    Figure  3.   Scale awareness and convergence properties of rolling guidance filter

    图  4   模拟实验NUC结果和对应的校正矩阵

    Figure  4.   Simulated experimental NUC results and corresponding correction matrix

    图  5   模拟实验的SSIM(虚线)和PSNR(实线)曲线

    Figure  5.   SSIM (dashed line) and PSNR (solid line) curves for simulation experiments

    图  6   干净图像破坏性NUC实验结果

    Figure  6.   Results of clean image destructive NUC experiments

    图  7   实测实验NUC结果和局部放大图像

    Figure  7.   Real experimental NUC results and locally enlarged images

    图  8   实测实验的粗糙度曲线

    Figure  8.   Roughness curves of real experiments

    图  9   静止图像NUC结果和对应的校正矩阵

    Figure  9.   Still image NUC results and corresponding correction matrix

  • [1] 陈钱. 红外图像处理技术现状及发展趋势[J]. 红外技术, 2013, 35(6): 311-318.

    CHEN Qian. The status and development trend of infrared image processing technology[J]. Infrared Technology, 2013, 35(6): 311-318.

    [2]

    GOODMAN J W. Statistical optics[M]. New York: John Wiley & Sons, 2015: 31-32.

    [3] 曾庆杰. 红外成像中图像质量提升算法研究[D]. 西安: 西安电子科技大学, 2022.

    ZENG Qingjie. Research on image quality improvement algorithm in infrared imaging[D]. Xi'an: Xidian University, 2022.

    [4]

    LIU T , SUI X B, WANG Y H, et al. Enhanced gradient-domain LMS method for bias field correction in infrared images[J]. Optics & Laser Technology, 2024, 169: 11048.

    [5]

    ZHANG C, ZHAO W Y. Scene-based nonuniformity correction using local constant statistics[J]. Journal of the Optical Society of America A, 2008, 25(6): 1444-1453.

    [6]

    LIU T , SUI X B, WANG Y H, et al. Strong non-uniformity correction algorithm based on spectral shaping statistics and LMS[J]. Optics Express, 2023, 31(19): 30693-30709.

    [7]

    QIAN Weixian, CHEN Qian, GU Guohua. Space low-pass and temporal high-pass nonuniformity correction algorithm[J]. Optical Review, 2010, 17(1): 24-29. doi: 10.1007/s10043-010-0005-8

    [8] 钱润达, 赵东, 周慧鑫, 等. 基于加权引导滤波与时域高通滤波的非均匀性校正算法. 红外与激光工程, 2018, 47(12): 1204001-1-1204001-6.

    QIAN Runda, ZHAO Dong, ZHOU Huixin, et al. Non-uniformity correction algorithm based on weighted guided filter and temporal high-pass filter[J]. Infrared and Laser Engineering, 2018, 47(12): 1204001-1-1204001-6.

    [9]

    YUAN Y, SONG Q, GUO X, et al. A new temporal high-pass adaptive filter nonuniformity correction based on rolling guidance filter[J]. Proceedings of Eleventh International Symposium on Multispectral Image Processing and Pattern Recognition (MIPPR), 2020, 11428: 127-133.

    [10]

    VERA E, TORRES S. Fast adaptive nonuniformity correction for infrared focal-plane array detectors[J]. EURASIP Journal on Applied Signal Processing, 2005, 13: 1994-2004.

    [11]

    HARDIE R C, BAXLEY F, BRYS B, et al. Scene-based nonuniformity correction with reduced ghosting using a gated LMS algorithm[J]. Optics Express, 2009, 17(17): 14918-14933.

    [12]

    FAN F, MA Y, HUANG J, et al. A combined temporal and spatial deghosting technique in scene based nonuniformity correction[J]. Infrared Physics & Technology, 2015, 71: 408-415.

    [13] 任建乐, 陈钱, 钱惟贤, 等. 基于多帧配准的红外焦平面阵列非均匀性自适应校正[J]. 红外与毫米波学报, 2014, 33(2): 122-128.

    REN Jianle, CHEN Qian, QIAN Weixian, et al. Multiframe registration based adaptive nonuniformity correction algorithm for infrared focal plane arrays[J]. Journal of Infrared and Millimeter Waves, 2014, 33(2): 122-128.

    [14]

    BARRAL A, ARIAS P, DAVY A. Fixed pattern noise removal for multi-view single-sensor infrared camera[C]// Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. New York: IEEE, 2024: 1669-1678.

    [15]

    CAO Y P, YANG M Y, TISSE C L. Effective strip noise removal for low-textured infrared images based on 1-D guided filtering[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2016, 26(12): 2176-2188. doi: 10.1109/TCSVT.2015.2493443

    [16]

    HE K M, SUN J, TANG X O. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397-1409.

    [17]

    ZHANG Q, SHEN X Y, XU L, et al. Rolling guidance filter[C]//13th European Conference on Computer Vision (ECCV). New York: IEEE, 2014: 815-830.

    [18]

    SCRIBNER D A, SARKADY K A, CAUFIELD J T, et al. Nonuniformity correction for staring IR focal plane arrays using scene-based techniques[J]. Technical Symposium on Optics, Electro-Optics, and Sensors (SPIE), 1990, 1308: 224-233.

    [19]

    WANG Z, BOVIK A C. Mean squared error: love it or leave it?[J].IEEE Signal Processing Magazine, 2009, 24(1): 98-117.

图(9)
计量
  • 文章访问数:  10
  • HTML全文浏览量:  2
  • PDF下载量:  7
  • 被引次数: 0
出版历程
  • 收稿日期:  2024-05-26
  • 修回日期:  2024-06-09
  • 网络出版日期:  2025-03-16
  • 刊出日期:  2025-03-14

目录

/

返回文章
返回