Progress of terahertz metrology research and standard construction
-
摘要: 太赫兹作为新的技术手段在物质成分识别、高速通信、生物医学、安检成像和军事国防等领域具有重要的作用。太赫兹技术的各种应用都建立在对太赫兹本身及其与物质相互作用测量的基础上,因此准确的太赫兹参数测量及相关量值溯源是太赫兹应用的技术支撑和保障。介绍中国计量科学研究院在太赫兹辐射参数计量标准研究中形成的测量技术和溯源方法、研制的测量仪器和测量装置、制定的计量校准法规和建立的计量标准装置,对太赫兹辐射时域、频域、空域和强度等参数给出了量值溯源传递图并进行了测量不确定度分析。提出的太赫兹计量方法和标准装置可保障太赫兹技术研究和应用中的量值可靠,也可为其他太赫兹参数的测量提供参考。Abstract: Terahertz, as a novel technology, has been widely used in the field of material component recognition, high-speed communication, biomedicine, security imaging and military defense. Various applications of terahertz technology are based on the measurement of terahertz itself and its interaction with substances, therefore the accurate terahertz parameter measurement and relevant magnitude tracing are the technical support and guarantee of terahertz application. The measurement technology and tracing method, developed measuring instruments and devices, and established metrology calibration regulations, and metrology standard device formed in the terahertz radiation parameters metrology standard research by National Institute of Metrology were introduced. The magnitude tracing transitive graphs of terahertz radiation time domain, frequency domain, space domain and intensity were presented, and the measurement uncertainty analysis was carried out. The proposed terahertz metrology method and standard devices can guarantee the reliable magnitude in terahertz technology research and application, and can also provide a reference for other terahertz parameters measurement.
-
Keywords:
- terahertz metrology /
- terahertz technology /
- measurement standard
-
引言
桥梁道路由于长时间被外部力量破坏或道路基层质变等影响,容易出现各种形态的裂缝病害,针对桥梁维护[1]工作,传统图像检测方法对于复杂背景识别[2]、实验方法、检测结果等方面难以达到有效且智能的效果。
深度学习卷积神经网络算法的出现突破了传统方法的局限性。文献[3]提出了将AlexNet卷积神经网络和局部阈值分割相结合的裂缝检测和分割算法。文献[4]采用UNet++和条件生成对抗网络(convolution generative adversarial networks,CGAN)算法,两者反复博弈训练,达到裂缝检测分割的效果。文献[5]利用网络模型(fully convolutional network,FCN)解决裂缝分割中局部信息丢失和局部细化能力不足的问题,采用多尺度结构森林(multi-scale structured forests,SFD)和反对称双正交小波的半重构方法,克服裂纹边缘检测的局限性。文献[6]对道路坑洼做分类与分割实验,对比了Mask RCNN和UNet网络的检测结果,通过Validation set和Test set的数据对比可知,Mask RCNN检测精确度为92.1%,而UNet精确度为77.38%,两者对比性能效果差异分明。UNet网络算法在医学图像[7]领域具有显著的工作成果,但是在工程领域的检测效果弱于其他卷积神经网络(convolutional neural networks,CNN)算法。
结合以上典型文献的研究成果,文中选用了Mask RCNN算法[8]实现桥梁裂缝病害的检测与分割,并在原算法的基础上进行了优化改进。
1 Mask RCNN网络及方法设计
Mask RCNN主要结构组成有:主干网络(ResNet101+FPN)、区域选取网络[9](region proposal network,RPN)、对齐操作(regional of interest align,ROI align)、分类器和边框回归器以及掩膜分割(classification,box regression,mask)。网络结构框架如图1所示。
Mask RCNN是作为多任务工作网络,其损失计算为各分支损失的加权值。如下式所示:
$$ L{\rm{oss}} = {L_{cls}} + {L_{b{\rm{box}}}} + {L_{\rm{mask}}} $$ (1) 式中:$ {L_{cls}} $和${L_{b\rm{box}}}$分别为原Faster RCNN中类别损失和回归框损失;${L_{\rm{mask}}}$是掩膜Mask支路的损失,损失值的计算方式是对每一个像素[10]应用Sigmoid,取ROI上所有像素的交叉熵的平均值作为${L_{\rm{mask}}}$,k对应Mask的类别,其表达式为
$$ {L_{{\rm{mask}}}}(Cl{s_k}) = {\rm{Sigmoid}}(Cl{s_k}) $$ (2) 1.1 Mask RCNN网络改进
为防止特征提取过程中特征信息丢失[11],在FPN网络结构中设计了语义增强模块SEM,如图2所示。SEM模块与上采样中得到的特征图进行融合[12],得到新的多尺度特征图feature maps。
SEM模块的结构如图3所示。SEM模块基于空洞卷积算法[13]设计思想获取不同感受野的特征图并进行融合。SEM模块的操作方式为:采用(D=3,D=5,D=7)3个不同膨胀率的3×3卷积核和1×1卷积核,分别对下采样的卷积层(C2,C3,C4,C5)进行计算,每个卷积核限制64个通道,每层得到的4个不同感受野的特征图,通过Concate融合后输出一个256通道的特征图。
Concate融合是对特征通道直接拼接,此操作过程无信息损失影响[14],Add操作将两两特征图进行像素相加,增加了特征信息量。Concate融合后的特征图与上采样中的特征图尺寸大小及通道相同,由此可以将他们的对应层[15]进行像素相加Add,得到新的多尺度特征图feature maps。
1.2 特征图融合Add
Add特征融合的方法是,将两两相同尺寸的特征图像素直接相加[16],公式如(3)所示。图4(a)列出了裂缝图片;该图片的两种特征图如图4(b)和4(c)所示;Add融合后的图像如图4(d)所示。
$$ f{\left({p}_{ij}\right)}_{i=j}={f}_{1}\left({p}_{ij}\right)+{f}_{2}\left({p}_{ij}\right) $$ (3) 1.3 裂缝类别划分
依据公共道路表层病害的划分类别[17],对裂缝病害进行了两类划分,分别是裂缝和破损,如图5所示。划分依据为,将分布清晰明确的裂缝依然视为裂缝,数据标注时定义其标签为crack,将分布错综复杂的裂缝视为破损,定义其标签为damage。
2 网络模型训练
2.1 准备数据集
目前没有公开的桥梁裂缝数据集及数据标注文件可用,通过采集桥梁道路常见的裂缝病害,共2 566张,图片尺寸为600×600 pixel,并对采集到的图片做像素变化[18]处理以进行数据扩充,最终得到共4 200张的裂缝图片。
2.2 数据标注可视化
利用Labelme软件工具完成标注,如图6所示。针对类别对比实验需要2种标注形式:未分类的实验,如图6(a)和(b)所示;分类实验,如图6(c)和(d)所示。
2.3 数据训练
算法基于TensorFlow1.12[19]和Keras1.0.8的框架搭建Mask RCNN卷积神经网络,系统使用window10,内存为16 G,显卡为NVIDIA GTX 1660,处理器为Intel(R)Core(TM)i5-9400F。
图7是网络训练损失曲线图地改进后网络的损失曲线相比原网络损失曲线有所降低,并且后期验证集损失曲线对训练结果已较好地拟合,网络的泛化性能得到提升。
3 结果分析
评估卷积神经网络目标检测算法性能指标通常有:精确率Precision、召回率Recall、平均精度AP、平均精度均值mAP等几个指标。
3.1 对比实验
为了验证改进方法的有效性、创新性,基于2种策略做对比实验,对文章中设计的方法进行性能测试。
策略1:对裂缝不进行类别划分,即将裂缝和破损依然视为裂缝crack,输入改进前网络和改进后网络,检测结果如表1所示。改进后网络的mAP比原网络提高6.6%。
表 1 策略1网络改进前后性能指标对比Table 1. Comparison of performance indicators before and after network improvement of strategy 1平均精度
均值裂缝平均
精度检测速度/
(image/s)Mask RCNN 0.835 0.835 5.000 Mask RCNN_SEM 0.901 0.901 6.065 策略2:对裂缝病害进行类别划分,裂缝和破损分别作为crack和damage,检测结果如表2所示。改进后网络的mAP比原网络提高5.7%,并且裂缝的平均精度crack_AP和破损的平均精度damage_AP分别提高2.4%和9.0%。
表 2 策略2网络改进前后性能指标对比Table 2. Comparison of performance indicators before and after network improvement of strategy 2平均精度
均值裂缝平均
精度破损平均
精度检测速度
(image/s)Mask RCNN_FPN 0.887 0.924 0.850 5.000 Mask RCNN_P_FPN 0.944 0.948 0.940 6.065 对比以上2个策略的结果,可以验证网络改进和类别划分结合的方法设计,改进了网络性能,相比原网络无类别划分方法mAP共提高了12.6%。
另外,通过ResNet101和ResNet50的对比,衡量深度不同的主干网络对预测结果的影响,结果发现,深层主干网ResNet101相比ResNet50较浅层网络,其预测结果在时间上无较大差别,但预测准确率Accuracy和mAP有明显优势,如表3所示。
表 3 网络模型分别基于ResNet101和ResNet50的性能指标对比Table 3. Comparison of performance indicators of network model based on ResNet101 and ResNet50 respectively检测
准确率平均精度
均值检测速度/
(image/s)Mask RCNN_ResNet101+SEM 0.998 0.944 6.065 Mask RCNN_ResNet50+SEM 0.850 0.794 5.122 3.2 其他指标评估
结合以上数据,又与其他网络模型进行了性能对比。将结果绘制成柱状图直观对比各网络的性能差异,如图8所示。
3.3 裂缝检测结果
根据以上2个策略,列出了3张不同图片的检测结果,如图9、图10和图11所示。图9~图11中(a)和(b)均为策略1检测结果,(c)和(d)均为策略2检测结果,通过对比图9~图11中(a)、(b)、(c)和(d)可知,(d)图检测结果掩膜分布清晰、无漏检,无重叠等缺陷,具有较好的检测结果。
4 结论
基于Mask RCNN卷积神经网络算法,本文增加了语义增强模块,使新的特征图融合了浅层网络和深层网络的特征,对裂缝形态特征做到了较充分保留,提高了对道路裂缝病害检测的精确度。同时对裂缝进一步作类别划分,有益于为道路维护工作提供相应裂缝修护措施。文中方法通过指标数据和检测结果显示,算法的改进一定程度上提高了裂缝检测精度,但是对于复杂裂缝的检测仍然需要提高算法的改进水平。
-
表 1 国际首次太赫兹功率比对的测量不确定度
Table 1 Measurement uncertainty of the first international terahertz power comparison
% 比对频率 /THz 中国 美国 德国 2.52 Urel=2.8(k=2) Urel=6.6(k=2) Urel=3.2(k=2) 0.762 Urel=3.2(k=2) Urel=6.6(k=2) Urel=4.8(k=2) -
[1] SIRTORI C. Bridge for the terahertz gap[J]. Nature,2002,417(6855):132-133.
[2] TONOUCHI M. Cutting-edge terahertz technology[J]. Nature Photonics,2007,1(2):97-105. doi: 10.1038/nphoton.2007.3
[3] SIEGEL P H. Terahertz technology[J]. IEEE Transactions on Microwave Theory and Techniques,2002,50(3):910-928. doi: 10.1109/22.989974
[4] KLEINE-OSTMANN T, SCHRADER T, BIELER M, et al. THz metrology[J]. Frequenz,2008,62(5/6):137-148.
[5] SMITH P R, AUSTON D H, NUSS M C. Subpicosecond photoconducting dipole antennas[J]. IEEE Journal of Quantum Electronics,1988,24(2):255-260. doi: 10.1109/3.121
[6] XIE X, DAI J M, ZHANG X C. Coherent control of THz wave generation in ambient air[J]. Physical Review Letters,2006,96(7):075005. doi: 10.1103/PhysRevLett.96.075005
[7] DAI J M, XIE X, ZHANG X C. Detection of broadband terahertz waves with a laser-induced plasma in gases[J]. Physical Review Letters,2006,97(10):103903. doi: 10.1103/PhysRevLett.97.103903
[8] DENG Y Q, SUN Q, YU J. On-line calibration for linear time-base error correction of terahertz spectrometers with echo pulses[J]. Metrologia,2014,51(1):18-24. doi: 10.1088/0026-1394/51/1/18
[9] DENG Y Q, LI J, SUN Q. Traceable measurements of CW and pulse terahertz power with terahertz radiometer[J]. IEEE Journal of Selected Topics in Quantum Electronics,2017,23(4):1-6.
[10] ZHANG J, XIA T, CHEN Q, et al. Measurement of absorption coefficient of paraformaldehyde and metaldehyde with terahertz spectroscopy[J]. Journal of Applied Spectroscopy,2018,85(1):84-89. doi: 10.1007/s10812-018-0616-6
[11] DENG Y Q, SUN Q, YU J, et al. Broadband high-absorbance coating for terahertz radiometry[J]. Optics Express,2013,21(5):5737-5742. doi: 10.1364/OE.21.005737
[12] ZHANG Y, ZHANG L, SUN P, et al. Extracting complex refractive index from polycrystalline glucose with self-referenced method for terahertz time-domain reflection spectroscopy[J]. Applied Spectroscopy,2016,70(7):1102-1108. doi: 10.1177/0003702816652318
[13] WANG J, DENG Y, WU Y, et al. A single-resonant-structure and optically transparent broadband THz metamaterial absorber[J]. Journal of Infrared, Millimeter, and Terahertz Waves,2019,40(6):648-656. doi: 10.1007/s10762-019-00598-w
[14] WU Y H, DENG Y Q, WANG J J, et al. THz broadband absorber fabricated by EHD printing technology with high error tolerance[J]. IEEE Transactions on Terahertz Science and Technology,2019,9(6):637-642. doi: 10.1109/TTHZ.2019.2943564
[15] 邓玉强, 邢岐荣, 郎利影, 等. THz波的小波变换频谱分析[J]. 物理学报,2005,54(11):5224-5227. doi: 10.3321/j.issn:1000-3290.2005.11.042 DENG Yuqiang, XING Qirong, LANG Liying, et al. Wavelet-transform in terahertz time-domain spectroscopy[J]. Acta Physica Sinica,2005,54(11):5224-5227. doi: 10.3321/j.issn:1000-3290.2005.11.042
[16] 邓玉强, 郎利影, 邢岐荣, 等. Gabor小波分析太赫兹波时间-频率特性的研究[J]. 物理学报,2008,57(12):7747-7752. doi: 10.3321/j.issn:1000-3290.2008.12.054 DENG Yuqiang, LANG Liying, XING Qirong, et al. Terahertz time-frequency analysis with Gabor wavelet-transform[J]. Acta Physica Sinica,2008,57(12):7747-7752. doi: 10.3321/j.issn:1000-3290.2008.12.054
[17] NAFTALY M, DUDLEY R A, FLETCHER J R, et al. Frequency calibration of terahertz time-domain spectrometers[J]. Journal of the Optical Society of America B,2009,26(7):1357-1392. doi: 10.1364/JOSAB.26.001357
[18] 中华人民共和国国家质量监督检验检疫总局. JJF 1603-2016 (0.1~2.5)THz太赫兹光谱仪校准规范[S]. 北京: 中国标准出版社, 2016. General Administration of Quality Supervision, Inspection and Quarantine of the People's Republic of China. JJF 1603-2016 Calibration specification for (0.1~2.5) THz terahertz spectrometers[S]. Beijing: China Standards Press, 2016.
[19] NAFTALY M, DUDLEY R. Linearity calibration of amplitude and power measurements in terahertz systems and detectors[J]. Optics Letters,2009,34(5):674-676. doi: 10.1364/OL.34.000674
[20] 尹演子, 李在清. 光谱规则透射比标准装置的建立[J]. 计量学报,1994,15(4):249-254. YIN Yanzi, LI Zaiqing. Establishment of a standard apparatus for spectral regular transmittance[J]. Acta Metrologica Sinica,1994,15(4):249-254.
[21] LIU J Q, CHEN J Y, WANG T, et al. High efficiency and high power continuous-wave semiconductor terahertz lasers at ~3.1 THz[J]. Solid-State Electronics,2013,81:68-71. doi: 10.1016/j.sse.2013.01.014
[22] ZHU H, WANG F F, YAN Q, et al. Terahertz master-oscillator power-amplifier quantum cascade lasers[J]. Applied Physics Letters,2016,109:231105. doi: 10.1063/1.4969067
[23] GUO X G, ZHANG R, CAO J C, et al. Surface plasmon-enhanced absorption in metal grating coupled terahertz quantum well photodetectors[J]. IEEE Journal of Quantum Electronics,2012,48(9):1113-1119. doi: 10.1109/JQE.2012.2202637
[24] WERNER L, HÜBERS H W, MEINDL P, et al. Towards traceable radiometry in the terahertz region[J]. Metrologia,2009,46(4):S160-S164. doi: 10.1088/0026-1394/46/4/S05
[25] LEHMAN J H, LEE B, GROSSMAN E N. Far infrared thermal detectors for laser radiometry using a carbon nanotube array[J]. Applied Optics,2011,50(21):4099-4104. doi: 10.1364/AO.50.004099
[26] 中华人民共和国国家质量监督检验检疫总局. JJF 1600-2016 辐射型太赫兹功率计校准规范[S]. 北京: 中国标准出版社, 2016. General Administration of Quality Supervision, Inspection and Quarantine of the People's Republic of China. JJF 1600-2016 Calibration specification for terahertz radiation power meters[S]. Beijing: China Standards Press, 2016.
[27] STEIGER A, MULLER R, OLIVA A R, et al. Terahertz laser power measurement comparison[J]. IEEE Transactions on Terahertz Science and Technology,2016,6(5):664-669.
[28] 邓玉强, 孙青, 于靖, 等. 太赫兹辐射功率计量研究进展与国际比对[J]. 中国激光,2017,44(3):270-278. DENG Yuqiang, SUN Qing, YU Jing, et al. Progress of terahertz radiometry and international comparison[J]. Chinese Journal of Lasers,2017,44(3):270-278.
[29] YOKOYAMA S, NAKAMURA R, NOSE M, et al. Terahertz spectrum analyzer based on a terahertz frequency comb[J]. Optics Express,2008,16(17):13052-13061. doi: 10.1364/OE.16.013052
[30] FÜSER H, JUDASCHKE R, BIELER M. High-precision frequency measurements in the THz spectral region using an unstabilized femtosecond laser[J]. Applied Physics Letters,2011,99(12):121111. doi: 10.1063/1.3640234
[31] FÜSER H, BIELER M. Terahertz frequency combs[J]. Journal of Infrared, Millimeter, and Terahertz Waves,2014,35(8):585-609. doi: 10.1007/s10762-013-0038-8
[32] 孟莹, 邓玉强, 郭树恒, 等. 基于频率梳的太赫兹辐射功率密度测量[J]. 红外与毫米波学报,2019,38(2):254-261. doi: 10.11972/j.issn.1001-9014.2019.02.020 MENG Ying, DENG Yuqiang, GUO Shuheng, et al. Terahertz spatial radiant power density measurements based on terahertz frequency comb[J]. Journal of Infrared and Millimeter Waves,2019,38(2):254-261. doi: 10.11972/j.issn.1001-9014.2019.02.020
[33] GUO S H, DENG Y Q, MENG Y, et al. Measurement and traceablility of terahertz wavelength and frequency[C]//2019 Cross Strait Quad-Regional Radio Science and Wireless Technology Conference (CSQRWC), July 18-21, 2019. Taiyuan, China. USA: IEEE, 2019.
[34] 孙青, 杨奕, 孟飞, 等. 基于频率梳的太赫兹频率精密测量方法研究[J]. 光学学报,2016,36(4):133-138. SUN Q, YANG Y, MENG F, et al. High-precision measurement of terahertz frequency based on frequency comb[J]. Acta Optica Sinica,2016,36(4):133-138.
[35] DENG Y Q, FÜSER H, BIELER M. Absolute intensity measurements of CW GHz and THz radiation using electro-optic sampling[J]. IEEE Transactions on Instrumentation and Measurement,2015,64(6):1734-1740. doi: 10.1109/TIM.2014.2375692
-
期刊类型引用(10)
1. 刘艳宁,章国宝. 基于卷积神经网络的路面裂缝分割设计与研究. 应用光学. 2024(02): 373-384 . 本站查看
2. 王静,毅力果奇,杨俊,谢辉. 基于红外热像的车站混凝土结构损伤智能检测方法. 城市建筑. 2024(12): 1-4 . 百度学术
3. 张鸣祥,张睿,钟其仁. 基于深度学习的桥梁表观裂缝检测算法研究. 合肥工业大学学报(自然科学版). 2024(07): 995-1002 . 百度学术
4. 姚成武,常琛. 基于像素强度顺序变换和UNetFormer的裂缝分割模型. 电子测量技术. 2024(11): 151-159 . 百度学术
5. 徐猛梁,沈建华,杨利斌. 基于无人机和卷积神经网络的钢桁架桥病害巡检. 湖南交通科技. 2023(01): 80-85+138 . 百度学术
6. 张铮,钱勤建,周嘉政,柯子鹏,胡新宇. 基于改进Fast-SCNN的裂缝图像实时分割算法. 应用光学. 2023(03): 539-547 . 本站查看
7. 杨锋,丁之桐,邢蒙蒙,丁波. 深度学习的目标检测算法改进综述. 计算机工程与应用. 2023(11): 1-15 . 百度学术
8. 王红伟,蓝日彦,冯学茂,刘栋,刘全佩. 某钢筋混凝土空心板旧桥底板开裂病害的安全性分析. 西部交通科技. 2023(08): 1-3+7 . 百度学术
9. 叶青梅. 大跨径桥梁独柱墩墩帽侧面裂缝快速检测. 中国公路. 2023(21): 107-109 . 百度学术
10. 何肖斌,吴正思,谢润,应旭永. 基于图像的桥梁裂缝几何特征提取方法研究. 工程与建设. 2022(06): 1573-1576 . 百度学术
其他类型引用(11)