Research on polarization-low level integrated imaging technology based on EMCCD
-
摘要: 单一探测器实现多维度信息获取是光电探测未来的发展方向。针对目标探测中能量和偏振信息不能兼顾的问题，提出了一种同时具有偏振-微光功能的像元阵列结构。通过引入白光通道和精简偏振通道，可在EMCCD器件上实现偏振和微光探测的一体化集成。实验结果表明，在微光条件下，探测器高灵敏性能被保持，低照度下的成像质量几乎不衰减；偏振模式下，白光通道和两个偏振角度使探测器能够获得足够的偏振信息，实现对目标的偏振探测。该方法实现了高灵敏度成像探测和偏振信息探测的同步获取，是一种通过算法处理就能够实现探测模式可重构的新方法。Abstract: Multi-dimensional information acquisition by single detector is the future direction of photoelectric detection. Aiming at the problem that the energy and the polarization information could not be considered in target detection, a new pixel array structure with polarization-low level light integrated function was proposed. The integration of polarization and low level light detection was realized in electronic multiplying charge coupled device (EMCCD) by introducing the white light channel and the reduced polarization channel. The experimental results show that under the low level light condition, the high sensitivity of the new detector is held, and the imaging quality at low illumination is almost not decay. In polarization mode, the white light channel and two polarization angle enable the detector to obtain enough polarization information, so as to realize the polarization detection of the target. Synchronous acquisition of high sensitivity imaging detection and polarization information detection by this method is realized, and the reconstruction of the detection mode can be realized by the algorithm processing.
-
Keywords:
- EMCCD /
- polarization /
- low light /
- reconfigurable detector
-
引言
桥梁道路由于长时间被外部力量破坏或道路基层质变等影响，容易出现各种形态的裂缝病害，针对桥梁维护[1]工作，传统图像检测方法对于复杂背景识别[2]、实验方法、检测结果等方面难以达到有效且智能的效果。
深度学习卷积神经网络算法的出现突破了传统方法的局限性。文献[3]提出了将AlexNet卷积神经网络和局部阈值分割相结合的裂缝检测和分割算法。文献[4]采用UNet++和条件生成对抗网络（convolution generative adversarial networks，CGAN）算法，两者反复博弈训练，达到裂缝检测分割的效果。文献[5]利用网络模型（fully convolutional network，FCN）解决裂缝分割中局部信息丢失和局部细化能力不足的问题，采用多尺度结构森林（multi-scale structured forests，SFD）和反对称双正交小波的半重构方法，克服裂纹边缘检测的局限性。文献[6]对道路坑洼做分类与分割实验，对比了Mask RCNN和UNet网络的检测结果，通过Validation set和Test set的数据对比可知，Mask RCNN检测精确度为92.1%，而UNet精确度为77.38%，两者对比性能效果差异分明。UNet网络算法在医学图像[7]领域具有显著的工作成果，但是在工程领域的检测效果弱于其他卷积神经网络（convolutional neural networks，CNN）算法。
结合以上典型文献的研究成果，文中选用了Mask RCNN算法[8]实现桥梁裂缝病害的检测与分割，并在原算法的基础上进行了优化改进。
1 Mask RCNN网络及方法设计
Mask RCNN主要结构组成有：主干网络（ResNet101+FPN）、区域选取网络[9]（region proposal network，RPN）、对齐操作（regional of interest align，ROI align）、分类器和边框回归器以及掩膜分割（classification，box regression，mask）。网络结构框架如图1所示。
Mask RCNN是作为多任务工作网络，其损失计算为各分支损失的加权值。如下式所示：
$$ L{\rm{oss}} = {L_{cls}} + {L_{b{\rm{box}}}} + {L_{\rm{mask}}} $$ (1) 式中：$ {L_{cls}} $和${L_{b\rm{box}}}$分别为原Faster RCNN中类别损失和回归框损失；${L_{\rm{mask}}}$是掩膜Mask支路的损失，损失值的计算方式是对每一个像素[10]应用Sigmoid，取ROI上所有像素的交叉熵的平均值作为${L_{\rm{mask}}}$，k对应Mask的类别，其表达式为
$$ {L_{{\rm{mask}}}}(Cl{s_k}) = {\rm{Sigmoid}}(Cl{s_k}) $$ (2) 1.1 Mask RCNN网络改进
为防止特征提取过程中特征信息丢失[11]，在FPN网络结构中设计了语义增强模块SEM，如图2所示。SEM模块与上采样中得到的特征图进行融合[12]，得到新的多尺度特征图feature maps。
SEM模块的结构如图3所示。SEM模块基于空洞卷积算法[13]设计思想获取不同感受野的特征图并进行融合。SEM模块的操作方式为：采用（D=3，D=5，D=7）3个不同膨胀率的3×3卷积核和1×1卷积核，分别对下采样的卷积层（C2，C3，C4，C5）进行计算，每个卷积核限制64个通道，每层得到的4个不同感受野的特征图，通过Concate融合后输出一个256通道的特征图。
Concate融合是对特征通道直接拼接，此操作过程无信息损失影响[14]，Add操作将两两特征图进行像素相加，增加了特征信息量。Concate融合后的特征图与上采样中的特征图尺寸大小及通道相同，由此可以将他们的对应层[15]进行像素相加Add，得到新的多尺度特征图feature maps。
1.2 特征图融合Add
Add特征融合的方法是，将两两相同尺寸的特征图像素直接相加[16]，公式如（3）所示。图4（a）列出了裂缝图片；该图片的两种特征图如图4（b）和4（c）所示；Add融合后的图像如图4（d）所示。
$$ f{\left({p}_{ij}\right)}_{i=j}={f}_{1}\left({p}_{ij}\right)+{f}_{2}\left({p}_{ij}\right) $$ (3) 1.3 裂缝类别划分
依据公共道路表层病害的划分类别[17]，对裂缝病害进行了两类划分，分别是裂缝和破损，如图5所示。划分依据为，将分布清晰明确的裂缝依然视为裂缝，数据标注时定义其标签为crack，将分布错综复杂的裂缝视为破损，定义其标签为damage。
2 网络模型训练
2.1 准备数据集
目前没有公开的桥梁裂缝数据集及数据标注文件可用，通过采集桥梁道路常见的裂缝病害，共2 566张，图片尺寸为600×600 pixel，并对采集到的图片做像素变化[18]处理以进行数据扩充，最终得到共4 200张的裂缝图片。
2.2 数据标注可视化
利用Labelme软件工具完成标注，如图6所示。针对类别对比实验需要2种标注形式：未分类的实验，如图6（a）和（b）所示；分类实验，如图6（c）和（d）所示。
2.3 数据训练
算法基于TensorFlow1.12[19]和Keras1.0.8的框架搭建Mask RCNN卷积神经网络，系统使用window10，内存为16 G，显卡为NVIDIA GTX 1660，处理器为Intel（R）Core（TM）i5-9400F。
图7是网络训练损失曲线图地改进后网络的损失曲线相比原网络损失曲线有所降低，并且后期验证集损失曲线对训练结果已较好地拟合，网络的泛化性能得到提升。
3 结果分析
评估卷积神经网络目标检测算法性能指标通常有：精确率Precision、召回率Recall、平均精度AP、平均精度均值mAP等几个指标。
3.1 对比实验
为了验证改进方法的有效性、创新性，基于2种策略做对比实验，对文章中设计的方法进行性能测试。
策略1：对裂缝不进行类别划分，即将裂缝和破损依然视为裂缝crack，输入改进前网络和改进后网络，检测结果如表1所示。改进后网络的mAP比原网络提高6.6%。
表 1 策略1网络改进前后性能指标对比Table 1. Comparison of performance indicators before and after network improvement of strategy 1平均精度
均值裂缝平均
精度检测速度/
（image/s）Mask RCNN 0.835 0.835 5.000 Mask RCNN_SEM 0.901 0.901 6.065 策略2：对裂缝病害进行类别划分，裂缝和破损分别作为crack和damage，检测结果如表2所示。改进后网络的mAP比原网络提高5.7%，并且裂缝的平均精度crack_AP和破损的平均精度damage_AP分别提高2.4%和9.0%。
表 2 策略2网络改进前后性能指标对比Table 2. Comparison of performance indicators before and after network improvement of strategy 2平均精度
均值裂缝平均
精度破损平均
精度检测速度
（image/s）Mask RCNN_FPN 0.887 0.924 0.850 5.000 Mask RCNN_P_FPN 0.944 0.948 0.940 6.065 对比以上2个策略的结果，可以验证网络改进和类别划分结合的方法设计，改进了网络性能，相比原网络无类别划分方法mAP共提高了12.6%。
另外，通过ResNet101和ResNet50的对比，衡量深度不同的主干网络对预测结果的影响，结果发现，深层主干网ResNet101相比ResNet50较浅层网络，其预测结果在时间上无较大差别，但预测准确率Accuracy和mAP有明显优势，如表3所示。
表 3 网络模型分别基于ResNet101和ResNet50的性能指标对比Table 3. Comparison of performance indicators of network model based on ResNet101 and ResNet50 respectively检测
准确率平均精度
均值检测速度/
（image/s）Mask RCNN_ResNet101+SEM 0.998 0.944 6.065 Mask RCNN_ResNet50+SEM 0.850 0.794 5.122 3.2 其他指标评估
结合以上数据，又与其他网络模型进行了性能对比。将结果绘制成柱状图直观对比各网络的性能差异，如图8所示。
3.3 裂缝检测结果
根据以上2个策略，列出了3张不同图片的检测结果，如图9、图10和图11所示。图9～图11中（a）和（b）均为策略1检测结果，（c）和（d）均为策略2检测结果，通过对比图9～图11中（a）、（b）、（c）和（d）可知，（d）图检测结果掩膜分布清晰、无漏检，无重叠等缺陷，具有较好的检测结果。
4 结论
基于Mask RCNN卷积神经网络算法，本文增加了语义增强模块，使新的特征图融合了浅层网络和深层网络的特征，对裂缝形态特征做到了较充分保留，提高了对道路裂缝病害检测的精确度。同时对裂缝进一步作类别划分，有益于为道路维护工作提供相应裂缝修护措施。文中方法通过指标数据和检测结果显示，算法的改进一定程度上提高了裂缝检测精度，但是对于复杂裂缝的检测仍然需要提高算法的改进水平。
-
![]()
图 6 偏振-微光一体化器件图像1（a）及偏振成像效果（b）、（c）、（d）
Figure 6. Image of polarization-LLL detector 1 (a) and polarization images (b), (c), (d)
![]()
图 7 偏振-微光一体化器件图像2（a）及偏振成像效果（b）、（c）、（d）
Figure 7. Image of polarization-LLL detector 2 (a) and polarization images (b), (c), (d)
![]()
图 8 偏振-微光一体化器件图像3（a）及偏振成像效果（b）、（c）、（d）
Figure 8. Image of polarization-LLL detector 3 (a) and polarization images (b), (c), (d)
![]()
图 9 EMCCD器件的微光成像（a）、放大图像（b）及偏振-微光探测器的微光成像（c）、放大图像（d）
Figure 9. EMCCD LLL imaging (a), enlarged maging (b) and polarization-LLL detector imaging (c), enlarge images (d)
![]()
图 10 场景1偏振与灰度图像的融合显示效果
Figure 10. Fusion effect of polarization and gray image in Scene 1
![]()
图 11 场景2偏振与灰度图像的融合显示效果
Figure 11. Fusion effect of polarization and gray image in Scene 2
-
[1] 刘成淼, 李建欣, 朱日宏, 等. 基于双通道剪切干涉的高光谱偏振成像方法[J]. 光学学报,2017,37(10):134-144. LIU Chengmiao, LI Jianxin, ZHU Rihong, et al. Interferometric imaging spectropolarimeter using dual-channel lateral shearing beam splitter[J]. Acta Optica Sinica,2017,37(10):134-144.
[2] 贺宇, 王岭雪, 蔡毅, 等. 恒等探测距离折反射式周视红外成像系统设计及分析[J]. 光学学报,2017,37(4):262-271. HE Yu, WANG Lingxue, CAI Yi, et al. Design and analysis for catadioptric omnidirectional view infrared imaging system with constant detection range[J]. Acta Optica Sinica,2017,37(4):262-271.
[3] 张卫国. 海面太阳耀光背景下的偏振探测技术[J]. 中国光学,2018,11(2):231-236. doi: 10.3788/co.20181102.0231 ZHANG Weiguo. Application of polarization detection technology under the background of Sun flare on sea surface[J]. Chinese Journal of Optics,2018,11(2):231-236. doi: 10.3788/co.20181102.0231
[4] 梁健, 巨海娟, 张文飞, 等. 偏振光学成像去雾技术综述[J]. 光学学报,2017,37(4):1-13. doi: 10.3788/aos201737.0400001 LIANG Jian, JU Haijuan, ZHANG Wenfei, et al. Review of optical polarimetric dehazing technique[J]. Acta Optica Sinica,2017,37(4):1-13. doi: 10.3788/aos201737.0400001
[5] 王潇, 赵远, 杨凤, 等. 基于电光调制器的高速偏振荧光显微系统[J]. 光学学报,2017,37(11):254-261. WANG Xiao, ZHAO Yuan, YANG Feng, et al. Fluorescence microscopy system with high speed polarization based on electro optical modulator[J]. Acta Optica Sinica,2017,37(11):254-261.
[6] 李寒霜, 李博, 王淑荣. 空间紫外遥感光谱仪器偏振特性研究[J]. 光学学报,2018,38(1):185-189. LI Hanshuang, LI Bo, WANG Shurong. Polarization performance in space ultraviolet remote sensing spectral instruments[J]. Acta Optica Sinica,2018,38(1):185-189.
[7] 欧雅文, 武鹏飞, 魏合理. 混浊大气对偏振导航影响的研究[J]. 红外与激光工程,2018,47(3):189-198. OU Yawen, WU Pengfei, WEI Heli. Influence of turbid atmosphere on polarization navigation[J]. Infrared and Laser Engineering,2018,47(3):189-198.
[8] 侯俊峰, 吴太夏, 王东光, 等. 分时偏振成像系统中光束偏离的补偿方法研究[J]. 物理学报,2015,64(6):109-114. HOU Junfeng, WU Taixia, WANG Dongguang, et al. Study on compensation method of beam deviation in Division of time imaging polarimetry[J]. Acta Physica Sinica,2015,64(6):109-114.
[9] 徐宗杰. 基于振幅分割的全偏振成像系统研究[J]. 数字技术与应用,2016(10):75-76. XU Zongjie. Research on full polarization imaging system based on amplitude segmentation[J]. Digital Technology and Application,2016(10):75-76.
[10] GRUEV V, PERKINS R, YORK T. CCD polarization imaging sensor with aluminum nanowire optical filters[J]. Optics Express,2010,18(18):19087-19094. doi: 10.1364/OE.18.019087
[11] SHISHIDO S, NODA T, SASAGAWA K, et al. Polarization analyzing image sensor with on-chip metal wire grid polarizer in 65-nm standard complementary metal oxide semiconductor process[J]. Japanese Journal of Applied Physics,2011,50(4):04DL01.
[12] YAMAZAKI T, MARUYAMA Y, UESAKA Y, et al. Four-directional pixel-wise polarization CMOS image sensor using air-gap wire grid on 2.5-μm back-illuminated pixels[C]//2016 IEEE International Electron Devices Meeting (IEDM). USA: IEEE, 2016.
[13] 罗海波, 刘燕德, 兰乐佳, 等. 分焦平面偏振成像关键技术[J]. 华东交通大学学报,2017,34(1):8-13. LUO Haibo, LIU Yande, LAN Lejia, et al. Key technologies of polarization imaging for division of focal plane polarimeters[J]. Journal of East China Jiaotong University,2017,34(1):8-13.
[14] 艾克聪. 微光夜视技术的进展与展望[J]. 应用光学,2006,27(4):303-307. AI Kecong. Development and prospect of low-light-level (LLL) night vision technology[J]. Journal of Applied Optics,2006,27(4):303-307.
[15] 刘敬, 夏润秋, 金伟其, 等. 基于斯托克斯矢量的偏振成像仪器及其进展[J]. 光学技术,2013,39(1):56-62. LIU Jing, XIA Runqiu, JIN Weiqi, et al. Review of imaging polarimetry based on Stokes Vector[J]. Optical Technique,2013,39(1):56-62.
-
期刊类型引用(10)
1. 刘艳宁，章国宝. 基于卷积神经网络的路面裂缝分割设计与研究. 应用光学. 2024(02): 373-384 . 
本站查看
2. 王静，毅力果奇，杨俊，谢辉. 基于红外热像的车站混凝土结构损伤智能检测方法. 城市建筑. 2024(12): 1-4 . 百度学术
3. 张鸣祥，张睿，钟其仁. 基于深度学习的桥梁表观裂缝检测算法研究. 合肥工业大学学报(自然科学版). 2024(07): 995-1002 . 百度学术
4. 姚成武，常琛. 基于像素强度顺序变换和UNetFormer的裂缝分割模型. 电子测量技术. 2024(11): 151-159 . 百度学术
5. 徐猛梁，沈建华，杨利斌. 基于无人机和卷积神经网络的钢桁架桥病害巡检. 湖南交通科技. 2023(01): 80-85+138 . 百度学术
6. 张铮，钱勤建，周嘉政，柯子鹏，胡新宇. 基于改进Fast-SCNN的裂缝图像实时分割算法. 应用光学. 2023(03): 539-547 . 本站查看
7. 杨锋，丁之桐，邢蒙蒙，丁波. 深度学习的目标检测算法改进综述. 计算机工程与应用. 2023(11): 1-15 . 百度学术
8. 王红伟，蓝日彦，冯学茂，刘栋，刘全佩. 某钢筋混凝土空心板旧桥底板开裂病害的安全性分析. 西部交通科技. 2023(08): 1-3+7 . 百度学术
9. 叶青梅. 大跨径桥梁独柱墩墩帽侧面裂缝快速检测. 中国公路. 2023(21): 107-109 . 百度学术
10. 何肖斌，吴正思，谢润，应旭永. 基于图像的桥梁裂缝几何特征提取方法研究. 工程与建设. 2022(06): 1573-1576 . 百度学术
其他类型引用(11)
下载:
计量
- 文章访问数: 589
- HTML全文浏览量: 305
- PDF下载量: 65
- 被引次数: 21
陕公网安备 61011302001501号 