复杂背景下改进的ViBe运动目标检测算法

贾澎涛, 侯长民, 李娜

贾澎涛, 侯长民, 李娜. 复杂背景下改进的ViBe运动目标检测算法[J]. 应用光学, 2023, 44(5): 1045-1053. DOI: 10.5768/JAO202344.0502005
引用本文: 贾澎涛, 侯长民, 李娜. 复杂背景下改进的ViBe运动目标检测算法[J]. 应用光学, 2023, 44(5): 1045-1053. DOI: 10.5768/JAO202344.0502005
JIA Pengtao, HOU Changmin, LI Na. Improved ViBe moving target detection algorithm in complex background[J]. Journal of Applied Optics, 2023, 44(5): 1045-1053. DOI: 10.5768/JAO202344.0502005
Citation: JIA Pengtao, HOU Changmin, LI Na. Improved ViBe moving target detection algorithm in complex background[J]. Journal of Applied Optics, 2023, 44(5): 1045-1053. DOI: 10.5768/JAO202344.0502005

复杂背景下改进的ViBe运动目标检测算法

基金项目: 国家自然科学基金(62002285)
详细信息
    作者简介:

    贾澎涛(1977—),女,博士,教授,硕士生导师,主要从事人工智能、机器学习、目标检测研究。E-mail:jiapengtao@xust.edu.cn

    通讯作者:

    侯长民(1997—),男,硕士研究生,主要从事目标检测、图像处理、深度学习研究。E-mail:houchangmin333@163.com

  • 中图分类号: TN911.73

Improved ViBe moving target detection algorithm in complex background

  • 摘要:

    针对传统ViBe算法在复杂背景下检测运动目标时会出现鬼影、阴影、误检等问题,提出了一种改进的ViBe运动目标检测算法,称为GS-ViBe算法。在GS-ViBe背景模型初始化阶段,利用最大后验估计法确定每个像素点的最佳高斯分布数目,使其形成多帧融合背景来代替ViBe的单帧背景初始化方法,从而消除鬼影;在GS-ViBe前景检测阶段,增加多特征融合阴影检测过程,并将其检测结果和ViBe前景目标融合,得到消除阴影后的前景目标;最后,在GS-ViBe背景模型更新阶段,引入动态更新因子代替固定更新因子,使得背景可以自适应更新,从而降低目标的误检率。在多种复杂背景下与传统ViBe算法对比发现,GS-ViBe算法召回率提高了37.74%,准确率平均提高了19.83%,误检率平均降低了52.57%,表明GS-ViBe算法可以有效消除鬼影、阴影、误检的干扰,获取到完整的前景目标。

    Abstract:

    Aiming at the problems of ghosts, shadows, and false detections occur when traditional ViBe algorithm detects moving targets in complex backgrounds, an improved ViBe moving target detection algorithm was proposed, which was called GS-ViBe algorithm. In the initialization stage of GS-ViBe background model, the maximum posteriori estimation method was used to determine the optimal number of Gaussian distributions of each pixel to form a multi-frame fusion background instead of single-frame background initialization method of ViBe, so that the ghosts were eliminated. In the GS-ViBe foreground detection stage, the multi-feature fusion shadow detection process was added, and the detection results were fused with ViBe foreground targets to obtain the foreground targets after eliminating shadows. Finally, in the GS-ViBe background model update stage, a dynamic update factor was introduced instead of a fixed update factor, so that the background could be updated adaptively, thereby reducing the false detection rate of targets. In comparison with traditional ViBe algorithm in a variety of complex backgrounds, it is found that the recall rate of GS-ViBe algorithm is increased by 37.74% on average, the accuracy rate is increased by 19.83% on average and the false detection rate is reduced by 52.57% on average. It shows that the GS-ViBe algorithm can effectively eliminate the interference from ghosts, shadows and false detections, which obtains the complete foreground targets.

  • 随着数字视频制作技术和数字投影机技术的快速发展,球幕数字投影越来越受到青睐,被广泛应用于天文、地理教学、展览展示等领域[1-3]。然而,市场上数字投影机的品牌和规格繁多,所需要配制的数字鱼眼镜头的规格也很多,检测为数字投影机配制的数字鱼眼镜头便成为了难题。目前,国内外还没有相关的检测设备对数字鱼眼镜头的性能、放映效果进行全面的测试,只能购买价格昂贵的与之匹配的数字投影机来进行性能、放映效果的测试,这样不仅增加了测试费用成本,而且通用性差。为此,研制一种通用型可检测各种类型数字投影鱼眼镜头的检测系统,变得十分迫切。本文研究讨论了一种鱼眼镜头检测系统,可实现芯片尺寸为0.55″~1.55″的1DLP、3DLP、3LCD、3LCOS的各类型的数字投影或放映鱼眼镜头的像方视场角、分辨率、彩色还原性能、色差等性能和放映效果进行测试,通用性强。

    设计一种检测系统,可以满足0.55″~1.55″的1DLP、3DLP、3LCD、3LCOS的各类型的数字投影或放映鱼眼镜头的性能参数和放映效果的测试,可实现的照明视场范围大于φ8.5 mm~φ35 mm,照明视场的照度均匀性应不低于85%,出射光通量应不小于5 000 lm。

    数字鱼眼镜头的设计是根据所配接的数字投影或放映机的关键参数和尺寸而定,如数字鱼眼镜头的像高由芯片尺寸而确定。为了更好地匹配系统整体像差,数字鱼眼镜头在设计时需要加入等效平行平板来模拟数字投影或放映机内部光学引擎中分合色棱镜[4-7]

    要满足不同规格的数字鱼眼镜头的性能(视场角、分辨率、彩色还原性能、色差)和放映效果的测试,检测系统需要具有不同种类和规格的检测标板,同时具有模拟数字投影或放映机内部分合色棱镜的功能,以及具有可以形成均匀且大小尺寸能改变的照明视场的功能。

    数字投影或放映机的分辨率直接决定了所配接的数字鱼眼镜头的极限分辨率[4, 8],由公式(1)得出:

    $$ ~{{R}_{L}}=\frac{1}{2\times \text{ }\frac{{{L}_{P}}}{{{R}_{P}}}~}=\frac{{{R}_{P}}}{2\times {{L}_{P}}}~ $$ (1)

    式中:RL为数字鱼眼镜头的极限分辨率;RL为数字投影或放映机芯片的横向分辨率;LP为数字投影或放映机芯片的横向尺寸。

    表 1列出了主流数字投影或放映机对数字鱼眼镜头极限分辨率的要求。一般情况下,镜头设计时会将极限分辨率的设计值提高到理论值的1.3到1.5倍,所以,实际数字鱼眼镜头的最高极限分辨率可能会达到100 lp/mm,甚至会更高。考虑到检测系统的通用型,鉴别率标板的单个分辨率图案包含5组线对,分别为125 lp/mm、100 lp/mm、80 lp/mm、63 lp/mm、50 lp/mm。鉴别率标板的尺寸根据各种规格的数字鱼眼镜头的成像像高而确定,每种规格的鉴别率标板在0、0.3、0.5、0.7、0.85视场上均匀分布着单个分辨率图案,如图 1所示,给出了鉴别率标板的示意图。

    图  1  鉴别率标板的示意图
    Figure  1.  Diagram of discrimination board
    表  1  不同数字投影机对应的镜头极限分辨率
    Table  1.  Different types of digital projectors and corresponding ultimate resolutions of lenses
    芯片尺寸/in 芯片像素 极限分辨率/lp/mm
    0.76 1 920×1 200 59
    0.7 1024×768 36
    0.67 1 920×1 200 66.5
    0.65 1 920×1 080、1 280×800、1 024×768 66.8 /45.7 /38.8
    1.2 2 048×1 080 38
    1.38 4 196×2 160 67
    下载: 导出CSV 
    | 显示表格

    目前投影显示系统中主要采用复眼透镜照明系统和方棒照明系统2种照明方式[9]

    复眼透镜照明系统采用双排复眼透镜,属于柯拉照明。照明系统由于光源的整个光束被分为多个细光束照明,而且对称位置上的细光束光斑互相叠加,所以形成了较为均匀的照明场。但是复眼透镜照明系统结构较为复杂,很难保证2组复眼透镜严格的同轴,加工较为困难。

    而方棒照明系统采用方棒形式,光在光棒里面多次反射,每次反射都会形成虚拟光源像,多次反射形成二维的虚拟光源矩阵,从而使得光更加均匀。但是方棒照明系统存在能量利用率相对较低,而且系统结构较长。

    为了克服现有投影照明系统的不足和缺点,研究讨论了采用柱体(六边形)蝇眼透镜照明系统来提供高均匀的照明场。相比双排复眼透镜结构,柱体蝇眼透镜结构不但避免了在加工工艺中产生的两组蝇眼镜不同轴的误差和前后组蝇眼之间的粘合剂对光的吸收、散射以及杂光的入侵问题,而且还减少了加工面,简化了机械固定结构;相比方棒结构,能量利用率更高,系统的结构更加紧凑,有利于小型化。

    系统由抛物型的反光碗光源、柱体蝇眼透镜阵列、准直物镜(场镜和集光镜)组成。其工作原理图如图 2所示,抛物型的反光碗光源发出类平行光,类平行光进入柱体蝇眼透镜阵列被形成多点光源,多点光源经准直物镜的调制之后均匀叠加在系统片窗上,如图 3所示。

    图  2  工作原理图
    Figure  2.  Working principle diagram
    图  3  柱体蝇眼透镜阵列结构图
    Figure  3.  Architecture diagrams of cylindrical fly-eye lens array

    准直物镜的焦距f与照明场的大小y存在以下关系:

    $$ {f_{准}} = \frac{{y/2}}{{{\rm{tan}}w}} $$ (2)

    式中,w为准直透镜的视场角,如图 4所示。

    图  4  检测系统结构示意图
    Figure  4.  Schematic drawing of testing system

    准直物镜的焦距f与柱体蝇眼透镜组的子午方向上下边缘2个柱体中心距H(如图 3所示)的关系:

    $$ H = {f_{准}}\cdot{\rm{tan}}\theta $$ (3)

    式中,θ是准直物镜光学系统的孔径角。

    该投影照明系统中柱体蝇眼透镜组的焦平面与准直物镜的物平面重合,即单个柱体透镜的像方孔径角也是准直物镜的视场角,故有:

    $$ {f_{柱}} = \frac{{h/2}}{{{\rm{tan}}w}}{\rm{ }} $$ (4)

    式中:f是单个柱体透镜的焦距;h是单个柱体透镜上下边的距离。

    柱体蝇眼透镜组的子午方向上下边缘2个柱体中心距H与单个柱体透镜上下边的距离h之间的关系如下:

    $$ ~H=h(n-1) $$ (5)

    式中n为柱体蝇眼透镜组子午方向柱体透镜的总个数。

    照明系统中,柱体透镜的排列方式,如图 3所示,故,柱体蝇眼透镜组的小透镜的总个数为

    $$ N=1+\sum\limits_{1}^{\left( n-1 \right)/2}{\text{ }6\cdot \frac{\left( n-1 \right)}{2}}\text{ }~ $$ (6)

    考虑到缩短整个光路,以及有效地提高照度均匀度,取准直透镜的视场角w=6°,准直物镜光学系统的孔径角θ=4°,再由各参数之间的关系式(2)~(6),最终得出关键元件的设计尺寸。

    测试系统需要满足不同类型数字鱼眼镜头的检测,故所需的照明视场大小也不同,为了防止光能量的不必要损失,测试系统应该具有照明视场大小可调的功能。由(2)式知,当系统的准直透镜的视场角确定后,改变准直透镜的焦距,就可以改变照明场的大小。通过改变场镜和集光镜之间的距离便可以得到不同焦距值的准直透镜[10],进而实现照明视场的大小变化。

    设计了一款通用型数字鱼眼镜头检测系统,如图 4所示,主要由照明系统、检测标板、等效平行平板系统和球幕组成。照明系统采用的柱体蝇眼透镜阵列是由91个六边形柱透镜组成,测试标板主要是鉴别率板,用于检测数字鱼眼镜头的分辨率;等效平行平板系统是由4种不同厚度的平行平板组成,不同的组合可以满足不同类型数字鱼眼镜头的测试。球幕内部刻有角度线,用于检测数字鱼眼镜头的视场角。

    经过定量化性能测试,主要性能指标测试结果如表 2所示,满足了设计指标要求。

    表  2  检测系统测试结果
    Table  2.  Testing result of testing system
    主要性能 测试结果 参数指标
    照明视场范围φ/mm 8.1~36.3 >8.5~35
    照度均匀度/% 91 ≥85
    出射光通量/lm ≥5 000,可调 ≥5 000
    下载: 导出CSV 
    | 显示表格

    本文设计的通用型数字鱼眼镜头检测系统采用的柱体蝇眼透镜阵列照明系统不但光能利用率高,可产生较高的均匀度,而且有较高的准直性和较好的光束控制。通过调整更换不同厚度的等效平行玻璃平板,用于模拟各种数字投影或放映机内部棱镜,同时在片门处调换不同类型、不同尺寸的测试标板,被检测的数字鱼眼镜头将测试标板成像在球幕上,可实现对芯片尺寸为0.55″~1.55″的1DLP、3DLP、3LCD、3LCOS的各种类型的数字投影或放映鱼眼镜头的像方视场角、分辨率、彩色还原性能、色差等性能和放映效果进行测试,通用性强,降低了鱼眼镜头产品的检测成本。

  • 图  1   各种背景初始化算法结果对比

    Figure  1.   Comparison of results of various background initialization algorithms

    图  2   像素点高斯分布数目

    Figure  2.   The number of Gaussian distribution of pixels

    图  3   阴影检测算法结果对比

    Figure  3.   Comparison of results of shadow detection algorithm

    图  4   背景更新与目标检测结果

    Figure  4.   Results of background update and target detection

    图  5   复杂背景下不同算法检测结果

    Figure  5.   Detection results of different algorithms in complex background

    表  1   不同数据集各算法的平均运行时间

    Table  1   Average running time of each algorithm in different datasets ms/帧

    算法PETS2006PedestriansBungalows
    文献[15]56.874.258.2
    文献[16]49.553.652.6
    文献[17]48.653.251.9
    GS-ViBe47.651.049.1
    下载: 导出CSV

    表  2   算法定量评价

    Table  2   Quantitative evaluation of algorithms

    场景指标ViBe文献 [8]文献[9]GS-ViBe
    SkatingRe0.877 90.910 40.906 90.944 2
    Pr0.519 20.845 30.832 80.835 8
    F10.643 50.872 90.868 30.883 1
    PWC/%0.051 30.013 80.026 00.013 0
    FPS45212130
    SnowFallRe0.607 00.612 10.777 20.979 6
    Pr0.925 00.963 60.812 70.902 1
    F10.733 00.748 70.794 50.939 1
    PWC/%0.046 30.038 60.012 10.007 1
    FPS40182328
    PETS2006Re0.778 50.78970.80540.808 6
    Pr0.618 10.67170.40110.818 0
    F10.68910.72590.53560.813 3
    PWC/%0.02560.02030.04780.012 0
    FPS50202132
    HighwayRe0.62190.70140.87520.963 6
    Pr0.56890.61030.62070.8302
    F10.59420.65270.72630.8919
    PWC/%0.06480.05610.03890.0303
    FPS35171935
    BungalowsRe0.59510.58420.92390.9871
    Pr0.54220.58950.69930.7067
    F10.56740.58680.76900.8223
    PWC/%0.07120.06980.03070.0253
    FPS40182032
    OverpassRe0.87250.71170.84780.9859
    Pr0.84210.87270.49540.8146
    F10.85660.78290.62470.8916
    PWC/%0.00450.00570.01430.0035
    FPS37202130
    CanoeRe0.76330.58520.81270.9298
    Pr0.92530.92940.61990.8006
    F10.83630.71810.70320.8604
    PWC/%0.03040.04570.06580.0303
    FPS39212231
    StreetCorner
    AtNight
    Re0.54840.58240.82400.9514
    Pr0.77070.78120.47400.8347
    F10.63240.65990.59050.8892
    PWC/%0.05290.04720.08240.0170
    FPS41202335
    下载: 导出CSV
  • [1]

    LEE H, YOON J, JEONG Y, et al. Moving object detection and tracking based on interaction of static obstacle map and geometric model-free approach for urban autonomous driving[J]. IEEE Transactions on Intelligent Transportation Systems,2020,22(6):3275-3284.

    [2] 李唐薇, 童官军, 李宝清, 等. 大视场域的目标检测与识别算法综述[J]. 激光与光电子学进展,2020,57(12):120002.

    LI Tangwei, TONG Guanjun, LI Baoqing, et al. Review on object detection and recognition in large field of view[J]. Laser & Optoelectronics Progress,2020,57(12):120002.

    [3]

    SULTANA M, MAHMOOD A, JUNG S K. Unsupervised moving object detection in complex scenes using adversarial regularizations[J]. IEEE Transactions on Multimedia,2020,23:2005-2018.

    [4]

    ZHANG Z, YE J, DENG Q, et al. Image-free real-time detection and tracking of fast moving object using a single-pixel detector[J]. Optics Express,2019,27(24):35394-35401. doi: 10.1364/OE.27.035394

    [5]

    BARNICH O, VAN D M. ViBe: a powerful random technique to estimate the background in video sequences[C]//2009 IEEE International Conference on Acoustics, Speech and Signal Processing. New York: IEEE, 2009: 945-948.

    [6]

    BARNICH O, VAN D M. ViBe: a universal back-ground subtraction algorithm for video sequences[J]. IEEE Transactions on Image Processing,2010,20(6):1709-1724.

    [7] 陈伟, 刘宇, 李宏涛, 等. 基于自适应阈值和动态更新因子的ViBe改进算法[J]. 应用光学,2022,43(3):444-452. doi: 10.5768/JAO202243.0302004

    CHEN Wei, LIU Yu, LI Hongtao, et al. Improved ViBe algorithm based on adaptive threshold and dynamic update factor[J]. Journal of Applied Optics,2022,43(3):444-452. doi: 10.5768/JAO202243.0302004

    [8] 王彤, 王巍, 崔益豪, 等. 基于颜色布局描述子的改进ViBe算法[J]. 计算机应用,2020,40(3):812-818.

    WANG Tong, WANG Wei, CUI Yihao, et al. Improved ViBe algorithm based on color layout descriptor[J]. Journal of Computer Applications,2020,40(3):812-818.

    [9] 尹芳, 孟迪, 李骜. 改进ViBe的运动目标检测算法[J]. 哈尔滨理工大学学报,2022,27(1):23-30. doi: 10.15938/j.jhust.2022.01.004

    YIN Fang, MENG Di, LI Ao. Improvement algorithm of ViBe in moving target detection[J]. Journal of Harbin University of Science and Technology,2022,27(1):23-30. doi: 10.15938/j.jhust.2022.01.004

    [10]

    JIN D L, ZHU S H, SUN X, et al. Fusing Canny operator with vibe algorithm for target detection[C]//2016 Chinese Control and Decision Conference (CCDC), New York: IEEE , 2016: 119-123.

    [11]

    ZHANG Y J, ZHAO X G, TAN M. Motion detection based on improved Sobel and ViBe algorithm[C]//2016 35th Chinese Control Conference (CCC).[S. l. ]: [s. n. ], 2016: 4143-4148.

    [12] 刘家军, 林皓琨. 基于ViBe算法的自适应阈值运动目标检测方法[J]. 激光与光电子学进展,2022,59(2):144-153.

    LIU Jiajun, LIN Haokun. Adaptive threshold moving target detection algorithm based on ViBe[J]. Laser & Optoelectronics Progress,2022,59(2):144-153.

    [13] 崔鹏翔, 于凤芹. 消除鬼影及阴影的改进ViBe运动目标检测算法[J]. 激光与光电子学进展,2020,57(16):98-106.

    CUI Pengxiang, YU Fengqin. Improved ViBe moving object detection algorithm to eliminate ghost and shadow[J]. Laser & Optoelectronics Progress,2020,57(16):98-106.

    [14]

    SALVADOR E, CAVALLARO A, EBRAHIMI T. Cast shadow segmentation using invariant color features[J]. Computer Vision and Image Understanding,2004,95(2):238-259. doi: 10.1016/j.cviu.2004.03.008

    [15] 韩延祥, 张志胜, 郝飞, 等. 灰度序列图像中基于纹理特征的移动阴影检测[J]. 光学精密工程,2013,21(11):2931-2942. doi: 10.3788/OPE.20132111.2931

    HAN Yanxiang, ZHANG Zhisheng, HAO Fei, et al. Shadow detection based on texture features in gray sequence images[J]. Optics and Precision Engineering,2013,21(11):2931-2942. doi: 10.3788/OPE.20132111.2931

    [16] 陈嵘, 李鹏, 黄勇. 基于多特征融合的运动阴影去除算法[J]. 计算机科学,2018,45(6):291-295. doi: 10.11896/j.issn.1002-137X.2018.06.051

    CHEN Rong, LI Peng, HUANG Yong. Moving shadow removal algorithm based on multi-feature fusion[J]. Computer Science,2018,45(6):291-295. doi: 10.11896/j.issn.1002-137X.2018.06.051

    [17] 甘玲, 赵华翔. 一种改进的ViBe算法结合多特征融合的阴影移除方法[J]. 微电子学与计算机,2015,32(11):152-157. doi: 10.19304/j.cnki.issn1000-7180.2015.11.031

    GAN Ling, ZHAO Huaxiang. Shadow elimination based on improved Vibe and multiple features fusion[J]. Microelectronics & Computer,2015,32(11):152-157. doi: 10.19304/j.cnki.issn1000-7180.2015.11.031

    [18] 龙浩, 李庆党, 张明月. 基于HSV颜色空间和局部纹理的阴影消除算法研究[J]. 电子测量技术,2020,43(18):81-87. doi: 10.19651/j.cnki.emt.2004672

    LONG Hao, LI Qingdang, ZHANG Mingyue. Research on shadow elimination algorithm based on HSV color space and local texture[J]. Electronic Measurement Technology,2020,43(18):81-87. doi: 10.19651/j.cnki.emt.2004672

    [19]

    WANG Y, JODOIN P M, PORIKLI F, et al. CDnet 2014: an expanded change detection benchmark dataset[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. New York: IEEE , 2014: 387-394.

  • 期刊类型引用(1)

    1. 路文文,陈善勇,翟德德,熊玉朋. 混合仿生鱼眼-复眼的广角高清成像系统. 应用光学. 2019(02): 311-315 . 本站查看

    其他类型引用(1)

图(5)  /  表(2)
计量
  • 文章访问数:  172
  • HTML全文浏览量:  35
  • PDF下载量:  39
  • 被引次数: 2
出版历程
  • 收稿日期:  2022-10-09
  • 修回日期:  2023-01-17
  • 网络出版日期:  2023-08-08
  • 刊出日期:  2023-09-14

目录

/

返回文章
返回