基于三色LCTF的自然感彩色微光EBAPS成像系统

刘璇, 李瑞强, 李力, 金伟其, 程宏昌, 闫磊, 郑舟

刘璇, 李瑞强, 李力, 金伟其, 程宏昌, 闫磊, 郑舟. 基于三色LCTF的自然感彩色微光EBAPS成像系统[J]. 应用光学, 2022, 43(6): 1044-1053. DOI: 10.5768/JAO202243.0604002
引用本文: 刘璇, 李瑞强, 李力, 金伟其, 程宏昌, 闫磊, 郑舟. 基于三色LCTF的自然感彩色微光EBAPS成像系统[J]. 应用光学, 2022, 43(6): 1044-1053. DOI: 10.5768/JAO202243.0604002
LIU Xuan, LI Ruiqiang, LI Li, JIN Weiqi, CHENG Hongchang, YAN Lei, ZHENG Zhou. Natural color low-level-light EBAPS imaging system based on three-color LCTF[J]. Journal of Applied Optics, 2022, 43(6): 1044-1053. DOI: 10.5768/JAO202243.0604002
Citation: LIU Xuan, LI Ruiqiang, LI Li, JIN Weiqi, CHENG Hongchang, YAN Lei, ZHENG Zhou. Natural color low-level-light EBAPS imaging system based on three-color LCTF[J]. Journal of Applied Optics, 2022, 43(6): 1044-1053. DOI: 10.5768/JAO202243.0604002

基于三色LCTF的自然感彩色微光EBAPS成像系统

基金项目: 国防基础科研项目(2019-JCJQ-ZD-006-00)
详细信息
    作者简介:

    刘璇(1997—),女,博士研究生,主要从事光电成像理论与技术研究。E-mail:3120205295@bit.edu.cn

    通讯作者:

    李力(1982—),男,副教授,主要从事光电成像与视频处理技术研究。Email:lili@bit.edu.cn

  • 中图分类号: TN206

Natural color low-level-light EBAPS imaging system based on three-color LCTF

  • 摘要:

    高灵敏度电子轰击有源像素传感器(electron bombarded active pixel sensor, EBAPS)既有真空成像器件的高增益、高灵敏度特性,又有固体成像器件的数字化特征,极大地提升了夜视成像水平。该文基于三色液晶可调制滤光片(liquid crystal tunable filter, LCTF)搭建了自然感彩色微光EBAPS成像系统,并根据微光图像特性,对系统获得的彩色图像进行了灰度拉伸、白平衡、色彩校正等色彩增强处理。实验结果表明:该系统可实现反映景物本身颜色特点且具有自然感的低照度彩色成像,有效提升夜间对目标景物特点的观察效果,可以在5×10−4 lx照度下实现彩色成像。

    Abstract:

    The high-sensitivity electron bombarded active pixel sensor (EBAPS) not only has the characteristics of high gain and high sensitivity of vacuum imaging devices, but also has the digital characteristics of solid-state imaging devices, which greatly improves the level of night vision imaging. A natural color low-level-light EBAPS imaging system was built based on three-color liquid crystal tunable filter (LCTF). According to the characteristics of low-level-light images, the color enhancement processing such as grayscale stretching, white balance, and color correction was performed on the color images obtained by the system. The experimental results show that the system can realize the natural low-illumination color imaging that reflects the color characteristics of the scene itself, which can effectively improve the observation effect of the characteristics of the target scene at night, and can realize the color imaging under 5×10−4 lx illumination.

  • 由于红外成像系统可以全天候提供清晰图像,且能够穿透雾、烟和其他大气条件等障碍物,在民用与军事领域都有着广泛应用。红外弱小目标检测作为目标识别与跟踪领域的重要内容,近年来已成为研究热点[1]。根据国际光学工程学会(SPIE)的定义,把面积不大于9×9像素的红外目标称为红外弱小目标[2-3]。红外弱小目标检测的研究对象通常为距离较远的机动目标——红外弱小目标,往往占有像素少,缺少颜色、形状和纹理等细节信息,检测难度较大。而且红外图像获取受环境因素和设备的影响,会产生背景噪声和固有噪声,难以区分噪声和弱小目标,使得红外弱小目标检测更加困难[4-6]

    随着计算机视觉的不断发展,基于深度学习的目标检测算法由于其突出的学习和表征能力,已经广泛应用于各类目标检测任务中[7]。李小宁等人[8]提出一种用于检测车辆小目标的方法,采取浅层与深层特征融合的策略来提高检测效果,但在复杂背景下算法性能有待提高。受到可见光目标检测领域的启发,深度学习也被一些学者用于红外目标检测。Zhao等人[9]设计了一种用于红外弱小目标检测卷积神经网络TBC-Net,使用语义约束提取目标特征,解决了背景和目标不平衡导致的特征学习困难问题。总的来说,基于深度学习的检测算法有更好的适应性和更高的准确性,但在复杂背景下弱小目标检测仍然会存在虚警的情况。

    本文提出一种基于深度学习的网络模型YOLO-FCSP,对于不同复杂背景下的红外弱小目标检测,具有良好的准确性和实时性。首先,对YOLOv3网络采取减少下采样次数的操作,并借鉴残差学习和跨阶段局部网络构建特征提取网络,以保证弱小目标特征不丢失。其次,利用多路径聚合网络融合浅层和深层的特征,充分利用重要的目标细节信息,同时使用两个检测输出层负责检测小目标,提高了红外弱小目标的检测效果。

    为了提高目标检测的速度,J. Redmon等人提出将目标检测任务视作回归问题的端到端检测算法YOLO。由于YOLO集成了检测的全流程,运行速度快,但检测精度有待提高。原作者受锚框策略的启发提出了YOLOv2,有效地平衡了检测速度和精度,但难以探测一些小目标。为有效解决小目标的检测问题,又进一步提出了改进版本YOLOv3。该网络包含多个残差模块,能够减少梯度消失的问题,提高了检测精度。YOLOv3与前一版本不同,有9个预测矩形框,并被分成了3种不同尺度。此外,为了检测到更多的细节特征,用上采样的方式使特征图尺寸变大获取更多的深层语义信息。再对不同层融合,得到的特征图包含更丰富的特征信息,提高了对小目标的检测准确率。对于特征提取的骨干网络,借鉴残差网络设计了Darknet-53代替Darknet-19,加深网络的层数,增强了特征提取能力。

    由于YOLOv3网络层数较深和参数量巨大,检测速度有待提升,因此轻量级网络YOLOv3-tiny被提出。相较于原始YOLOv3网络,特征提取部分没有采用复杂的Darknet-53,而是使用了池化操作和卷积简化网络结构,使检测速度得到大幅提升。特征融合部分将3个不同尺度的特征层减少至2个尺度,分别用于大、小目标的独立检测。YOLOv3-tiny通过减少网络层数和检测分支,减少网络参数量和计算量,使得检测速度大幅提升,适合对实时性要求比较高的场景。但由于其网络深度较浅,高层次语义信息提取能力不足,网络检测精度受到一定影响。

    YOLO-FCSP网络模型的设计主要从特征提取网络和特征融合网络2个方面进行考虑,网络结构如图1所示。在特征提取阶段,考虑弱小目标信息的完整性而使用8倍下采样,并通过使用CSPRBlock模块增强信息传递,以更好地适应红外弱小目标的检测任务。在特征融合阶段,使用多路径聚合[10]对浅层空间位置信息和深层语义信息进行融合,进一步降低虚警,提高网络检测性能。

    图  1  YOLO-FCSP网络结构
    Figure  1.  Structure of YOLO-FCSP network

    由于弱小目标在红外图像中像素少,特征细节不明显,过深的网络容易丢失特征信息,加之网络模型参数量大而造成推理速度变慢,因此相对较浅的网络更适合红外弱小目标的实时检测。此外,下采样会使特征图缩小,无法判定目标与原图像素的对应关系,从而影响定位精度。为提高检测精度和速度,将YOLOv3[11]的32倍下采样调整至8倍,避免弱小目标空间位置信息过度丢失。

    考虑到下采样会导致目标部分信息损失的问题,在网络的第一层引入Focus结构,如图2所示,该结构对数据进行切片操作,间隔采样得到4个特征图,输入通道数扩充了4倍。然后将得到的特征图再经过卷积操作进行通道信息融合,最终得到没有信息丢失的2倍下采样特征图。不仅减少了网络模型的参数量和计算量,还将图像的宽度和高度信息整合到通道空间中去,为后续的特征提取保留了更完整的图像信息,能够进一步提高网络模型的检测性能。

    图  2  Focus结构
    Figure  2.  Structure of Focus

    受到跨阶段局部网络[12]启发,设计了网络组件CSPRBlock模块,能够增强网络特征提取能力,并减少模型参数量和推理时间。CSPRBlock模块结构如图3所示,由跳跃连接和主体路径两部分构成,主体路径由1×1卷积、n个堆叠的残差学习模块和1×1卷积组成,其中2个1×1卷积作用是调整通道数实现降维,降低网络参数量。跳跃连接部分经过一次点卷积跨层连接到网络的拼接层,与主体部分拼接,然后采用点卷积调整通道数与输入一致,实现通道信息的融合。包含CSPResen的特征提取网络能够保证检测性能不下降,且比YOLOv3的骨干网络Darknet拥有更少的参数量和计算量。

    图  3  CSPRBlock模块
    Figure  3.  CSPRBlock module

    将空间金字塔池化(spatial pyramid pooling,SPP)作为特征提取网络的最后一层,主要目的是分离上下文特征,增加感受野,便于后续融合全局特征信息,改进后的SPP如图4所示。具体过程如下:首先对输入特征进行卷积操作,实现通道数减半;然后分别进行不同大小的最大池化(maxpooling),池化核大小分别为5、9和13,步长均为1;最后将3个池化层和上一层的输出特征图合并,输入到下一个卷积层进行特征学习,得到更为丰富的局部特征。SPP结构几乎不会降低网络推理速度,同时还能提高网络检测精度。

    图  4  改进的SPP模块
    Figure  4.  Improved SPP module

    浅层特征图具有分辨率高、空间位置信息丰富的特点,而较深的网络层特征图的细节信息少,且存在像素错位的问题,但后者能够高效地提取丰富的语义信息。为充分利用深层特征图语义信息,同时不损失浅层特征图的空间位置信息,需要将浅层与深层进行特征融合,融合后的特征图兼具丰富的语义信息和位置信息。鉴于红外弱小目标的特殊性,结合PANet优化特征融合网络,充分融合浅层和深层的特征图,增强各个网络层的信息传递,形成自下而上和自上而下的网络路径,实现特征信息的重复利用,结构如图1所示。

    特征融合网络的输入来自3个部分,其中2个来自特征提取网络的2倍和4倍下采样的特征图,另一个是经过SPP处理的8倍下采样特征图。特征融合网络的输出,又称检测头,是目标检测的输入。由于弱小目标特征细节少,特征图感受野越大,越容易将噪点和强干扰误认为目标。通过对比实验分析,去除128×128像素大小的检测输出层,保留32×32像素和64×64像素大小的检测输出层。

    锚框(anchor boxes)是一组宽高固定的初始先验框,对目标的检测精度和速度有影响,故重新设置了检测头对应的初始锚框。根据红外弱小目标数据集中的先验框,利用K-means聚类算法进行聚类,表1为检测输出层特征图的尺度参数。

    表  1  检测输出层的尺度
    Table  1.  Scale of detected output layer
    Scale size/pixelReceptive fieldsAnchor boxes
    32×32 big [2,2],[3,3],[4,3]
    64×64 small [4,4],[5,5],[6,6]
    下载: 导出CSV 
    | 显示表格

    为验证本文提出的检测网络在复杂背景下红外弱小目标检测的检测效果,实验在不同背景下的红外弱小目标的数据集进行测试,设计消融实验证明网络模型所采用策略的有效性,并与其他典型的网络模型检测结果进行对比。

    实验所采用的是红外序列图像中弱小飞机目标检测跟踪数据集[13],由国防科技大学和中国航天科工二院合作制作。从中选取5个复杂背景下的红外序列图像作为实验数据集,图像尺寸大小为256×256像素,共3299张,利用Labelme软件对图像进行矩形框标注,将数据集按照9:1的比例分为训练集和测试集。图5展示了部分数据集图像,可以看出目标尺寸均小于9×9像素,符合红外弱小目标定义。表2为5个红外弱小目标序列详细情况,涵盖了地面、天空和地空交界多种复杂环境背景。

    图  5  红外弱小目标数据集
    Figure  5.  Infrared dim-small target dataset
    表  2  5个红外弱小目标序列详细情况
    Table  2.  Detailed information of 5 infrared dim-small target sequences
    Sequences
    FrameImage size/pixelDetails of background
    1 399 256×256 Ground background
    2 1500 256×256 Ground background
    3 500 256×256 Ground background
    4 400 256×256 Sky and ground background
    5 500 256×256 Woodland background
    下载: 导出CSV 
    | 显示表格

    选择Python作为实验编程语言,实验基于Pytorch1.8,训练和测试在Pycharm中实现,硬件平台配置见表3。实验中,模型输入图像大小均为256×256像素,不进行压缩、扩大和裁剪等处理,采用马赛克增强来增强训练数据[14],以保证网络模型对弱小目标的检测效果。

    表  3  实验硬件平台配置
    Table  3.  Configuration of experimental hardware platform
    ComponentHardware
    CPU intel i5-10600KF CPU
    GPU NVIDIA GTX 1080Ti
    OS Ubuntu20.02
    Memory 16 GB
    下载: 导出CSV 
    | 显示表格

    网络训练使用Adam作为优化器,将衰减权重设置为0.0005,批次大小为16,初始学习率设置为0.01。采用余弦函数衰减法,学习率衰减至0.002左右,学习率曲线如图6所示。图7为模型训练的损失下降曲线,约在500次迭代后损失值稳定。图8为平均准确率曲线,检测精度随训练迭代次数增加而提升,最后基本保持稳定,其中YOLO-FCSP的平均准确率增幅比YOLOv3更快。根据训练曲线和和检测精度情况,可以看出训练结果比较理想,证明了网络模型结构的有效性。

    图  6  学习率衰减曲线
    Figure  6.  Decay curve of learning rate
    图  7  损失值下降曲线
    Figure  7.  Descent curve of loss value
    图  8  平均准确率曲线
    Figure  8.  Average precision curve

    为了评估红外弱小目标的检测效果,使用以下评估指标:

    1) 精度、召回率和平均准确率

    精度(precision,P)是被预测为正样本中实际为正样本的比例,召回率(recall,R),也称查全率,是实际的正样本被预测为正样本的比例,两者公式如下:

    $${\rm{P}} = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FP}}}}$$ (1)
    $${\rm{R}} = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FN}}}}$$ (2)

    式中:TP为目标被正确预测为正样本的数量;FP为目标被错误预测为正样本的数量,即误检;FN为目标被错误预测为负样本的数量,即漏检。

    平均准确率(average precision,AP)指的是精度的平均值,越大检测精度越高。其值是P-R曲线同坐标轴所围成的面积,最大值为1,公式如下:

    $${\rm{AP}} = \int {p(r){{{\rm{d}}}}r} $$ (3)

    2) FPS

    每秒帧数(frame per second,FPS),指的是每秒可以检测到的图像数量,是用来评估检测速度的常用指标,FPS值越大检测速度越快。

    3) 参数量和计算量

    参数量(parameters)对应于模型的空间复杂度,占用显存的量,包括模型总参数量和各层输出特征图大小。模型的参数量越多,需要训练的数据量越大,训练时容易导致过拟合。计算量(GFLOPS)又称为时间复杂度,指网络模型完成一次前向传播所需要的总计算量,通常用每秒浮点运算次数来表示。计算量越大,训练和检测的时间越长。

    为验证特征提取网络改进的有效性和可靠性,将本文算法模型拆分成5组进行训练,分别在5个不同背景下的序列图像上进行测试,测试结果如表4所示。第1组为原始YOLOv3算法;第2组为将YOLOv3的特征提取网络下采样次数由32倍改为8倍;第3组在前一组的基础上加入CSPRBlock组件;第4组在第3组的基础上加入改进的Focus结构;第5组在第4组的基础上,将改进的SPP模块加入特征提取网络的最后阶段。

    表  4  消融实验结果
    Table  4.  Results of ablation experiments
    Group1/8CSPRenFocusSPPPara/MGFLOPSSequence 1Sequence 2Sequence 3Sequence 4Sequence 5
    AP/%FPSAP/%FPSAP/%FPSAP/%FPSAP/%FPS
    1 61 154.7 89.8 81 87.6 79 90.9 79 81.8 80 91.5 79
    2 $\checkmark$ 0.55 22.8 87.6 153 84.5 151 86.4 152 80.2 158 89.6 152
    3 $\checkmark$ $\checkmark$ 0.41 13.1 91.3 154 90.5 153 88.8 154 86.1 156 91.9 155
    4 $\checkmark$ $\checkmark$ $\checkmark$ 0.40 11.5 91.4 174 92.6 176 89.5 172 87.0 176 92.1 174
    5 $\checkmark$ $\checkmark$ $\checkmark$ $\checkmark$ 0.45 12.0 93.5 163 93.0 172 91.5 162 89.7 173 93.7 173
    下载: 导出CSV 
    | 显示表格

    表4可以看出:第1组各个序列的AP分别为89.8%、87.6%、90.9%、81.8%和91.5%,FPS均在80左右。由于YOLOv3网络模型层数较多,参数量和计算量十分巨大,分别为61 M和154 GFLOPS。第2组考虑到红外弱小目标信号弱特征少,调整网络32倍下采样至8倍,模型参数量和计算量大幅降低,且检测速度提升较大。与第1组相比,5个背景下检测的平均准确率均有所下降,这与网络的深度变浅有关。第3组引入借鉴跨阶段局部网络设计的CSPRBlock模块,各个序列的AP值均大幅上升,网络模型参数量与第2组相比降低20%,计算量减少一半,这是因为CSPRBlock能够增强网络学习能力,有效消除网络存在的计算瓶颈和减少内存占用,从而提高了检测网络的推理速度和准确性。第4组将第一层卷积下采样替换为Focus结构,实验结果表明,针对占有少量像素的小目标,Focus结构可以在一定程度上减少模型参数量和计算量,提升网络检测精度和速度。第5组是在第4组的基础上添加了改进的SPP结构,网络参数量和计算量分别增加了0.05 M和0.5 GFLOPS,FPS小幅降低,但各个序列的AP值分别提升了2.0%、0.4%、1.9%、2.6%和1.5%。

    为验证多路径聚合的特征融合对网络模型检测性能的提升,将使用FPN融合策略的网络模型YOLO-FCSF和结合PANet的YOLO-FCSP算法进行对比,实验结果如表5所示。

    表  5  加入PANet的效果对比
    Table  5.  Effect comparison of add PANet
    ModelP/%R/%AP/%FPS
    YOLO-FCSF37.589.983.9200
    YOLO-FCSP91.994.692.6170
    下载: 导出CSV 
    | 显示表格

    可以看出,使用结合多路径聚合网络的方法有效地融合了不同层的特征,精度、召回率和平均准确率分别提升了54.4%、4.7%和8.7%,其FPS小幅下降了30。综合以上实验结果,本文设计的网络模型可以有效提升复杂背景下的红外弱小目标检测效果,且有着良好的实时性。

    为进一步验证本文提出算法的检测性能,与经典的Faster R-CNN[15]、SSD[16]、YOLO-V3和YOLO-Tiny进行了对比,测试结果如表6所示。

    表  6  算法对比实验结果
    Table  6.  Experimental results of methods comparison
    MethodP/%R/%AP/%FPS
    Faster R-CNN50.663.958.312
    SSD84.634.164.669
    YOLOv386.185.390.976
    YOLOv3-Tiny80.383.685.3256
    YOLO-FCSP91.994.692.6170
    下载: 导出CSV 
    | 显示表格

    表6可以看出,与经典的深度学习算法YOLOv3、Faster R-CNN和SSD相比,YOLO-FCSP检测准确率、召回率和平均准确率最高,分别达到91.9%、94.6%和92.6%,检测速度大幅提高至170,红外弱小目标检测效果提升显著。在复杂背景条件下,YOLO-FCSP各项指标均能够取得较好的结果,这表明相对较浅的网络更适合特征不明显的红外弱小目标。与轻量化网络YOLO-Tiny相比,检测速度有小幅下降,但检测性能提升较为明显。尽管YOLO-FCSP检测结果比较突出,但检测精度也并未达到100%,这主要是由于图像中存在高亮边缘、噪声和大幅明暗变化的背景,与小目标极其类似而产生少量虚警。

    为了能够更加直观地分析模型检测性能,对复杂背景下5种不同序列进行红外弱小目标检测,结果如图9所示。结果表明,在背景亮度剧烈变化的复杂背景下,YOLO-FCSP可在一定程度上区分较强迷惑性的斑点状背景和目标,对红外弱小目标具有较好的检测性能,且能够做到较低的虚警率。

    图  9  5种不同序列中YOLO-FCSP算法的检测结果
    Figure  9.  Detection results of YOLO-FCSP in 5 different sequences

    为解决复杂条件下红外弱小目标的检测问题,本文设计了一种基于深度学习的目标检测算法,利用结合跨阶段局部模块的网络高效提取弱小目标特征,通过自下而上和自上而下的融合路径将浅层细节和位置特征传递到高层。以红外序列图像中的弱小飞机目标为研究对象进行实验,结果表明,本文提出的算法能够有效解决检测过程中弱小目标细节丢失和虚警率高的问题,提高了复杂背景下检测红外弱小目标的准确性和实时性。此外,网络模型复杂度大幅降低,能够又快又准地检测出红外弱小目标,满足了部署到移动硬件平台和嵌入式设备的条件。在后续工作中,将考虑加入注意机制来增强检测算法的特征学习能力,继续优化网络结构,使用生成对抗网络对红外弱小目标的数据集进行数据扩充。

  • 图  1   EBAPS成像原理示意图

    Figure  1.   Schematic diagram of EBAPS imaging principle

    图  2   彩色微光EBAPS图像采集实验系统

    Figure  2.   Experimental system of color low-level-light EBAPS image acquisition

    图  3   系统模型

    Figure  3.   Diagram of system model

    图  4   Meadowlark Optics的三色LCTF及其控制器

    Figure  4.   Three-color LCTF and its controller of Meadowlark Optics

    图  5   EBAPS及其系统实物

    Figure  5.   EBAPS and physical integrated system

    图  6   几种典型光电阴极的光谱响应

    Figure  6.   Spectral responses of several typical photocathodes

    图  7   EBAPS成像过曝区域及噪声点

    Figure  7.   Imaging overexposed areas and noise spots of EBAPS

    图  8   实验所用标准色卡

    Figure  8.   Standard color checkers used in experiment

    图  9   色块光谱反射率

    Figure  9.   Spectral reflectance of color blocks

    图  10   2种颜色空间模型与2种回归方法计算彩色校正结果

    Figure  10.   Color correction results calculated by two color space models and two regression methods

    图  11   场景1在不同照度下图像处理效果

    Figure  11.   Image processing effect under different illuminance in scene 1

    图  12   场景2在不同照度下图像处理效果

    Figure  12.   Image processing effect under different illuminance in scene 2

    表  1   回归方法及其计算形式

    Table  1   Regression method and its calculation form

    回归方法色彩校正矩阵TCCM计算形式
    QLSR${{{\boldsymbol{T}}}_{{\text{CCM}}}}{ = }{{\boldsymbol{Q}}}{{{\boldsymbol{P}}}^{\rm{T}}}{({{\boldsymbol{P}}}{{{\boldsymbol{P}}}^{\rm{T}}})^{ - 1}}$
    PLSR${{{\boldsymbol{T}}}_{{\text{CCM}}}}{ = }{{\boldsymbol{Q}}}{{{\boldsymbol{P}}}^{\rm{T}}}{({{\boldsymbol{P}}}{{{\boldsymbol{P}}}^{\rm{T}}} + \lambda {{\boldsymbol{I}}})^{ - 1}}$
    下载: 导出CSV

    表  2   颜色空间模型

    Table  2   Color space model

    颜色空间模型标准矩阵Q测量矩阵P变换形式
    线性模型${{\boldsymbol{Q}}} = \left[ {\begin{array}{*{20}{c}} {{R_{\text{S}}}}&{{G_{\text{S}}}}&{{B_{\text{S}}}} \end{array}} \right]$${{\boldsymbol{P}}} = \left[ {\begin{array}{*{20}{c}} {{R_{\text{M}}}}&{{G_{\text{M}}}}&{{B_{\text{M}}}} \end{array}} \right]$${{{\boldsymbol{Q}}}^{\rm{T}}} = {{{\boldsymbol{T}}}_{{\text{CCM}}}}{{{\boldsymbol{P}}}^{\rm{T}}}$
    复合模型${{\boldsymbol{Q}}} = \left[ {\begin{array}{*{20}{c}} {\ln ({R_{\text{S}}})}&{\ln ({G_{\text{S}}})}&{\ln ({B_{\text{S}}})} \end{array}} \right]$$ {{\boldsymbol{P}}} = \left[ {\begin{array}{*{20}{c}} {{R_{\text{M}}}}&{{G_{\text{M}}}}&{{B_{\text{M}}}}&1 \end{array}} \right] $${{{\boldsymbol{Q}}}^{\rm{T}}} = {{{\boldsymbol{T}}}_{{\text{CCM}}}}{{{\boldsymbol{P}}}^{\rm{T}}}$
    下载: 导出CSV

    表  3   场景1图像评价指标参数

    Table  3   Image evaluation index parameters of scene 1

    图像色差/NBS饱和度
    拉伸后图像白平衡后图像色彩校正图像白平衡后图像色彩校正图像
    (a)31.769129.758416.80680.18441.1775
    (b)31.193730.483318.96070.16351.0684
    (c)36.534529.081518.96070.22151.0684
    (d)30.420736.724320.22950.13311.1416
    (e)31.897641.860322.78040.10001.1341
    (f)34.185444.203625.60880.09471.1602
    (g)39.894248.182729.42660.07181.0503
    (h)49.530553.823527.16700.02850.8663
    下载: 导出CSV
  • [1] 朱进, 李力, 金伟其, 等. 低照度夜视成像的自然感彩色化及增强方法[J]. 光子学报,2018,47(4):165-174.

    ZHU Jin, LI Li, JIN Weiqi, et al. Natural-appearance colorization and enhancement for the low-light-level night vision imaging[J]. Acta Photonica Sinica,2018,47(4):165-174.

    [2] 金伟其, 王岭雪, 赵源萌, 等. 彩色夜视成像处理算法的新进展[J]. 红外与激光工程,2008,37(1):147-150. doi: 10.3969/j.issn.1007-2276.2008.01.034

    JIN Weiqi, WANG Lingxue, ZHAO Yuanmeng, et al. Developments of image processing algorithms for color night vision[J]. Infrared and Laser Engineering,2008,37(1):147-150. doi: 10.3969/j.issn.1007-2276.2008.01.034

    [3] 刘缠牢, 谭立勋, 李春燕, 等. 红外图像伪彩色编码和处理[J]. 应用光学,2006,27(5):419-422. doi: 10.3969/j.issn.1002-2082.2006.05.014

    LIU Chanlao, TAN Lixun, LI Chunyan, et al. Pseudo color coding and processing for infrared images[J]. Journal of Applied Optics,2006,27(5):419-422. doi: 10.3969/j.issn.1002-2082.2006.05.014

    [4]

    TOET A. Colorizing single band intensified night vision images[J]. Displays,2005,26(1):15-21. doi: 10.1016/j.displa.2004.09.007

    [5]

    WELSH T, ASHIKHMIN M V, MUELLER K D. Transferring color to greyscale images[J]. ACM Transactions on Graphics (TOG),2002,21(3):277-280. doi: 10.1145/566654.566576

    [6]

    REINHARD E, ASHIKHMIN M, GOOCH B, et al. Color transfer between images[J]. IEEE Computer Graphics & Applications,2002,21(5):34-41.

    [7] 王岭雪, 史世明, 金伟其, 等. 基于YUV空间的双通道视频图像色彩传递及实时系统[J]. 北京理工大学学报,2007,27(3):189-191. doi: 10.3969/j.issn.1001-0645.2007.03.001

    WANG Lingxue, SHI Shiming, JIN Weiqi, et al. Color transfer and its real-time system based on a YUV space for dual-channel video images[J]. Transactions of Beijing Institute of Technology,2007,27(3):189-191. doi: 10.3969/j.issn.1001-0645.2007.03.001

    [8]

    YUAN Tao, HAN Zhenghao, LI Li, et al. Tunable-liquid-crystal-filter-based low-light-level color night vision system and its image processing method[J]. Applied Optics,2019,58(18):4947-4955. doi: 10.1364/AO.58.004947

    [9] 金伟其, 陶禹, 石峰, 等. 微光视频器件及其技术的进展[J]. 红外与激光工程,2015,44(11):3167-3176. doi: 10.3969/j.issn.1007-2276.2015.11.001

    JIN Weiqi, TAO Yu, SHI Feng, et al. Progress of low level light video technology[J]. Infrared and Laser Engineering,2015,44(11):3167-3176. doi: 10.3969/j.issn.1007-2276.2015.11.001

    [10]

    HAN Zhenghao, LI Li, JIN Weiqi, et al. Denoising and motion artifact removal using deformable kernel prediction neural network for color intensified CMOS[J]. Sensors,2021,21:3891. doi: 10.3390/s21113891

    [11]

    HEIM G B, BURKEPILE J, FRAME W W. Low-light-level EMCCD color camera[J]. SPIE:The International Society for Optical Engineering,2006,62090F:62090F-11.

    [12]

    HERTEL D , MARECHAL H , TEFERA D A , et al. A low-cost VIS-NIR true color night vision video system based on a wide dynamic range CMOS imager[C]// 2009 IEEE Intelligent Vehicles Symposium, Xi'an, China. US: IEEE, 2009: 273-278.

    [13]

    Photonis. Nocturn U3 [EB/OL]. (2014-12-21)[2022-07-25].https://www.photonisdefense.com/products /nocturn-u3.

    [14]

    BEAR P D , WALRATH L C . Color night vision goggles capable of providing anti-jamming protection against pulsed and continuous wave jamming lasers: US05756989A[P]. 1998-05-26.

    [15]

    Tenebraex. ColorPath CCNVD color capable night vision[EB/OL]. (2007-12-28) [2022-07-25]. http:// camouflage. com.

    [16] 陈一超, 胡文刚, 武东生, 等. 三波段微光彩色夜视方法研究[J]. 应用光学,2015,36(3):430-434. doi: 10.5768/JAO201536.0304001

    CHEN Yichao, HU Wengang, WU Dongsheng, et al. Triple-band low light level color night vision technology[J]. Journal of Applied Optics,2015,36(3):430-434. doi: 10.5768/JAO201536.0304001

    [17]

    FOSTER D H. Color constancy[J]. Vision Research,2011,51(7):674-700.

    [18] 王海琳, 韩正昊, 李力, 等. 基于残差和高频替换的SONY-RGBW阵列彩色重构方法[J]. 激光与光电子学进展,2021,58(20):66-78.

    WANG Hailin, HAN Zhenghao, LI Li, et al. Residual and high-frequency replacement based color reconstruction method for SONY-RGBW array[J]. Laser & Optoelectronics Progress,2021,58(20):66-78.

    [19] 李晓川, 黄成强, 祝永新, 等. 基于暗通道先验和灰度世界的自动白平衡算法改进[J]. 工业控制计算机,2018,31(11):90-92. doi: 10.3969/j.issn.1001-182X.2018.11.038

    LI Xiaochuan, HUANG Chengqiang, ZHU Yongxin, et al. An improved automatic white balance method based on dark channel prior theory and gray world assumption[J]. Industrial Control Computer,2018,31(11):90-92. doi: 10.3969/j.issn.1001-182X.2018.11.038

    [20] 金伟其, 王霞, 廖宁放, 等. 辐射度 光度与色度及其测量[M]. 2版. 北京: 北京理工大学出版社, 2016: 148.

    JIN Weiqi, WANG Xia, LIAO Ningfang, et al. Photometry, radiometry, colorimetry & measurement [M]. 2nd ed. Beijing: Beijing Institute of Technology Press, 2016: 148.

  • 期刊类型引用(25)

    1. 张鹏. 虚拟现实环境下弱小目标图像视觉传达算法研究. 吉林大学学报(信息科学版). 2025(01): 180-186 . 百度学术
    2. 谢一博,刘卫国,周顺,李梦晗. 基于显著性的双鉴别器GAN图像融合算法. 应用光学. 2024(01): 107-117 . 本站查看
    3. 胡焱,赵宇航,胡皓冰,巩银,孙寰宇. 基于YOLOv5s的轻量化红外图像行人目标检测研究. 激光与红外. 2024(02): 295-301 . 百度学术
    4. 汪西晨,彭富伦,李业勋,张俊举. 基于改进Faster R-CNN的红外目标检测算法. 应用光学. 2024(02): 346-353 . 本站查看
    5. 关晓丹,郑东平,肖成. 基于全卷积网络的复杂背景红外弱小目标检测研究. 激光杂志. 2024(04): 254-258 . 百度学术
    6. 王高翔,冯逸群,刘飞,张向宏,江银. 基于信息化分析的燃煤自备电厂在线监测系统设计. 自动化仪表. 2024(06): 52-56+62 . 百度学术
    7. 闵锋,刘彪,况永刚,毛一新,刘煜晖. 基于空间自适应和内容感知的红外小目标检测. 红外技术. 2024(07): 735-742 . 百度学术
    8. 王凯,娄树理,王岩. 基于改进YOLOv3的小目标检测算法. 应用光学. 2024(04): 732-740 . 本站查看
    9. 贾兆辉,朱镭,金明鑫,张芳,冯颖,张晓亮,龙海波. 无人机载光电载荷自主侦察的参数计算与分析. 应用光学. 2024(05): 930-936 . 本站查看
    10. 李玉虎. 基于改进YOLO v3的飞行目标检测算法研究. 机电信息. 2024(23): 81-84 . 百度学术
    11. 王鑫刚,田军委,于亚琳,王沁,张杰. 改进Canny算法的红外人脸图像边缘轮廓提取. 应用光学. 2023(01): 61-70 . 本站查看
    12. 侯晓明,邱亚峰. 基于卷积神经网络与特征融合的天气识别方法. 应用光学. 2023(02): 323-329 . 本站查看
    13. 廖延娜,姚亮. 改进YOLOX的桥梁病害检测识别. 应用光学. 2023(04): 792-800 . 本站查看
    14. 陈灿灿,夏润秋,刘洋,刘力双,陈青山. 层次卷积滤波红外弱小目标检测方法. 应用光学. 2023(04): 826-833 . 本站查看
    15. 潘博阳. 融合多尺度注意力和分离解耦头的红外弱小目标检测算法. 首都师范大学学报(自然科学版). 2023(05): 30-36 . 百度学术
    16. 鄢元霞,岳廷树,潘文林. 变电站周边环境的红外目标检测. 云南民族大学学报(自然科学版). 2023(05): 609-615+625 . 百度学术
    17. 罗俊海,余杭. 基于低秩稀疏分解的红外弱小目标检测算法研究进展. 激光与光电子学进展. 2023(16): 57-68 . 百度学术
    18. 李岩,袁湛,张振杰. 基于深度学习的红外图像目标检测技术研究. 信息与电脑(理论版). 2022(03): 31-34 . 百度学术
    19. 康利娟,陈先桥. 基于新形态学算法的弱小目标检测算法. 国外电子测量技术. 2022(04): 49-54 . 百度学术
    20. 黄建军,彭雪梅. 基于数据驱动的激光图像弱小目标定位研究. 激光杂志. 2022(09): 109-113 . 百度学术
    21. 陈世琼. 基于非线性抗噪声估计的视觉显著性弱小目标检测. 红外与激光工程. 2022(09): 435-440 . 百度学术
    22. 张印辉,张朋程,何自芬,王森. 红外行人目标精细尺度嵌入轻量化实时检测. 光子学报. 2022(09): 266-276 . 百度学术
    23. 申强,张洁,王晨宇,程鹏,杨阳,孙元超. 红外与可见光多元信息融合的远距离视觉系统设计. 单片机与嵌入式系统应用. 2022(11): 65-69 . 百度学术
    24. 涂娟,陈盈盈. 船舶水面视觉图像特征检测系统设计. 舰船科学技术. 2021(22): 199-201 . 百度学术
    25. 张巍,唐耿彪,林立宇. 基于无监督聚类的红外小目标检测. 舰船电子工程. 2021(12): 188-190+204 . 百度学术

    其他类型引用(11)

图(12)  /  表(3)
计量
  • 文章访问数:  381
  • HTML全文浏览量:  170
  • PDF下载量:  94
  • 被引次数: 36
出版历程
  • 收稿日期:  2022-08-16
  • 修回日期:  2022-10-04
  • 网络出版日期:  2022-11-13
  • 刊出日期:  2022-11-14

目录

/

返回文章
返回