Global-instance feature alignment domain adaptation detection method and system design
-
摘要:
在实际应用检测模型时,由于真实场景和训练数据集间的差异,检测算法的效果受到较大影响。为了在目标场景中获得更好的检测效果,通常需要采集、标注数据后训练,不仅成本高昂且流程复杂。提出基于注意力机制的全局-实例域适应检测算法与系统,仅需采集部分真实场景数据即可进行迁移学习,实现模型快速训练和边缘端-云端结合的远程部署。该域适应检测算法中,基于注意力机制的全局特征对抗学习算法可减弱背景特征在迁移学习中的负作用;基于字典学习的实例级特征对齐方法,对实例级特征进行高精度对齐。经过实验对比,本文的方法达到了接近SOTA(state-of-the-art)的水平,并通过消融实验定量地证明了本方法对于域适应检测效果的提升。本文将提出的域适应检测技术与具有数据传输链路的边缘端系统结合,在实际场景中使检测效果提升近10个点。
Abstract:When actually applying the detection model, due to the difference between the real scene and the training data set, the effect of the detection algorithm is greatly affected. In order to obtain the better detection effect in the target scene, it is usually necessary to collect and label data and then train, which is not only costly but also complicated. The proposed global-instance domain adaptation detection algorithm and system based on the attention mechanism only needed to collect part of the real scene data to perform transfer learning, realizing rapid model training and remote deployment of edge-cloud integration. In this domain adaptation detection algorithm, the global feature adversarial learning algorithm based on the attention mechanism could reduce the negative effect of background features in transfer learning; the instance-level feature alignment method based on dictionary learning could align instance-level features with high precision. After experimental comparison, the proposed method reached a level close to SOTA(state-of-the-art), and the ablation experiment was quantitatively proved the improvement of the domain adaptation detection effect of this method. The proposed domain adaptation detection technology is combined with an edge system with data transmission links, improving the detection effect by nearly 10 points in actual scenarios.
-
Keywords:
- domain adaptation detection /
- instance level /
- attention /
- edge device
-
引言
红外光谱辐射度计量可为遥感对地观测、气候变化、目标识别、航空航天等领域的红外波段高精度辐射定标提供技术支持;还可用于特殊建材、工业品检验、医疗等行业领域中材料发射率的测量和检测校准。国内外一些计量研究机构已经搭建了基于非低温或者低温/真空舱的红外光谱辐射度测量系统[1-8]。比如,美国国家标准和技术研究院(简称NIST)采用固定点黑体、变温黑体、带通辐射计或者傅里叶光谱仪等设备,实现了600 K~1400 K温度范围、2 µm~20 µm波段范围的光谱辐射亮度和样品发射率的测量。整套系统在873 K、10 µm条件下的相对光谱辐射亮度的扩展不确定度为0.94%(k=2) [1]。之后,NIST还搭建了常温光谱辐射亮度测试装置(简称AIRI)。AIRI系统可以实现223 K~523 K温度范围、3 µm~13 µm的光谱辐射亮度绝对值测量和辐射温度测量[2]。国内的西安应用光学研究所建立了红外光谱辐射亮度测量装置,实现了323 K~1273 K温度范围、2.5 µm~14 µm光谱范围的光谱辐射亮度测量[3]。
中国计量科学研究院已建有紫外、可见和近红外波段的光谱辐射亮度国家基准,波长范围0.2 µm~2.55 µm[9]。将现有的光谱辐射亮度国家基准的波长范围向红外波段扩展,开展基于中常温黑体高精度复现红外光谱辐射亮度的方法和计量技术研究,建立2 µm~14 µm光谱辐射亮度计量基标准装置和量传体系,将红外光谱辐射亮度基准量值逐级向下传递,可为我国2 µm~14 µm红外光谱辐射亮度的量值提供可靠的溯源依据。
1 红外光谱辐射亮度测量系统原理和装置
光谱辐射亮度测量系统的工作原理是采用分光谱技术和比较法实现对被测辐射源光谱辐射亮度的测量。根据普朗克公式[10],辐射源的光谱辐射亮度与温度之间的关系如(1)式:
$$ L\left(\lambda , T\right)={\rm{\varepsilon }}\left(\lambda \right)\frac{{c}_{1}}{\pi {\lambda }^{5}}\frac{1}{{\rm{exp}}\left(\dfrac{{c}_{2}}{\lambda T}\right)-1} $$ (1) 式中:L(λ,T)表示在温度T、波长λ时的光谱辐射亮度;c1和c2分别表示第一和第二辐射常数;ε(λ)表示在波长λ时的辐射源的发射率。对于理想黑体来说,ε(λ)=1;对于系统中的变温标准黑体辐射源,其发射率已知;而对于不同的被测辐射源,ε(λ)一般并不相同。
因为光谱辐射亮度和输出电信号之间呈线性关系,所以可以分别测量被测辐射源和标准辐射源的光谱辐射输出电信号Vm(λ,T)和VS(λ,T),通过计算两者的比值即可获得被测辐射源与标准辐射源的光谱辐射亮度比值,如(2)式所示:
$$ \frac{{L}_{m}(\lambda , T)}{{L}_{S}(\lambda , T)}=\frac{{V}_{m}(\lambda , T)}{{V}_{S}(\lambda , T)} $$ (2) 式中:Lm(λ,T)和LS(λ,T)分别表示被测辐射源和标准辐射源的光谱辐射亮度。
实验中,通过红外辐射温度计测量,将被测辐射源和变温标准黑体辐射源的温度设为同一温度T。根据(1)式可以计算得到标准黑体的光谱辐射亮度LS(λ,T);通过准确测量被测辐射源和变温标准黑体辐射源的输出电信号Vm(λ,T)和VS(λ,T);根据(2)式可以计算出被测辐射源的光谱辐射亮度Lm(λ,T)。
根据上述工作原理,搭建了如图1所示的系统装置。实验中,将固定点黑体、标准黑体、被测辐射源并排放置于同一可移动平台上,经过中继成像光路系统,再使用傅里叶变换红外光谱仪测得各个辐射源的光谱辐射亮度信号;通过固定点黑体对红外辐射温度计进行校准,再使用校准后的红外辐射温度计对标准黑体辐射源和被测辐射源进行测量,实现了温度的准确测量。
图1中,固定点黑体包含铟、锡、锌、铝、银等;标准黑体为扩展锥形变温黑体(323 K~1323 K,腔口直径25.4 mm,发射率 0.999);被测辐射源为大口径柱锥形黑体(323 K~973 K,腔口直径65 mm,发射率大于0.995),用于模拟用户辐射源;傅里叶光谱仪(FTIR)为德国布鲁克公司生产的傅里叶变换红外光谱仪VERTEX 80v(光谱响应范围2 µm~40 µm);中继成像光路系统使用了“一块凹面镜+两块平面反射镜”的方案(如图2所示);红外辐射温度计为德国KE公司的LP5。
根据(1)式和(2)式可知,标准黑体和被测辐射源输出电信号和温度的准确测量是红外光谱辐射亮度测量系统的关键。对搭建好的系统初步进行了不确定度评估,发现系统的标准黑体的温度均匀性和源尺寸效应的不确定度值较大,分别达到了0.50%和2.96%。因此,本文主要针对系统腔口温度均匀性和源尺寸效应等方面进行研究。
2 系统腔口温度均匀性和源尺寸效应的研究
2.1 黑体腔口温度均匀性的研究
通过红外辐射温度计测量扩展锥形黑体腔口不同位置点的温度(如图3(a)所示),以到腔口中心点的距离作为横轴,该点的温度作为纵轴,可画出图3(a)黑色虚线所示处的温度分布(如图3(b)所示)。采用(3)式极差法计算温度不均匀性:
$$ u=\frac{{T}_{{\rm{max}}}-{T}_{{\rm{min}}}}{{T}_{{\rm{average}}}} $$ (3) 式中:Tmax、Tmin和Taverage分别表示所测腔口位置点温度的最大值、最小值和平均值。实验中,图3(a)所示腔口温度点的实测最大值、最小值和平均值分别为869.43 K,865.05 K和867.92 K。代入(3)式得到该黑体在873 K、Φ16 mm区域内的温度不均匀性为0.50%。
2.1.1 实验1
为了提升黑体腔口的温度均匀性,通过加工高反射率锥形不锈钢光阑(锥底直径Φ250 mm,锥顶直径Φ16 mm,长度50 mm,无涂层),将光阑放置于黑体腔口正前方(图4),实现将腔体辐射能量反射回腔体以提升温度均匀性的目的。图4(a)所示为实验装置示意图,图4(b)和4(c)分别为光阑距腔口35 mm和光阑紧贴腔口的实验装置图。同样,采用(3)式极差法计算了有无光阑时相同区域内黑体腔口温度的不均匀性,实验结果如表1所示。
表 1 实验1的扩展锥形黑体腔口温度不均匀性Table 1. Temperature non-uniformity of extended cone blackbody cavity in experiment 1扩展锥形黑体@873 K,Φ16 mm 温度不均匀性 /% 无光阑 0.50 光阑与黑体腔口距离d=35 mm 0.44 光阑与黑体腔口距离d=0 mm 0.43 实验结果表明,加上光阑后与不加光阑相比,在相同区域内的温度均匀性均有所改善;说明通过将光阑放置于黑体腔口正前方的方法,可实现将黑体辐射能量反射回腔体,以改变腔体内部的温度场分布,达到提升温度均匀性的目的。当光阑紧贴腔口位置放置时(图4(c),d=0),温度不均匀性略低于当光阑与腔口有一定距离时的不均匀性数值(图4(b),d=35 mm)。这可能是由于当光阑紧贴腔口放置时,一方面会有更多的黑体辐射能量被反射回腔体实现二次或多次反射;另一方面外界环境产生的影响可能会更小。
2.1.2 实验2
为了进一步提升黑体腔口的温度均匀性,通过加工环形或柱形石墨光阑并将其放置于黑体腔口内,对比有无光阑时相同区域内的黑体温度均匀性的差异。图5(a)和5(b)分别为环形或柱形石墨光阑示意图。其中,图5(a)中每个石墨环的内径为Φ16 mm,长度为3 mm,3个石墨环分别分布在不锈钢支架的两端和中心位置,不锈钢支架的总长为80 mm;柱形石墨光阑的剖面图如图5(b)右侧所示,其中一端的内径为Φ16 mm,长度为3 mm,另一端的内径为Φ20 mm,总长为80 mm。采用极差法计算了有无内置光阑时相同区域内黑体的温度不均匀性,实验结果如表2所示。
表 2 实验2的扩展锥形黑体温度不均匀性Table 2. Temperature non-uniformity of extended cone blackbody cavity in experiment 2扩展锥形黑体@873 K,Φ8 mm 温度不均匀性/% 无光阑 0.18 环形光阑 0.16 柱形光阑 0.15 实验结果表明,在腔口内部加上光阑后与不加光阑相比,在相同区域内的温度均匀性均有所改善,说明通过将光阑放置于黑体腔口内部同样可实现提升腔口温度均匀性的目的。当使用柱形石墨光阑时(图5(b)),温度不均匀性略低于使用环形石墨光阑的情况(图5(a))。这可能是由于两者的结构不同,柱形石墨光阑更容易在腔体内部形成均匀的温度场。
2.1.3 小结
对于扩展锥形黑体,通过在腔口正前方或者腔口内部加光阑均可实现改善腔口温度均匀性的目的。当系统需要较大的腔口尺寸时(如根据系统测试设备光学视场角的要求等),可以使用外置的具有较高反射率的锥形光阑紧贴腔口前方放置(如图4(c)光阑与黑体腔口距离d=0的情况)。而当系统对腔口尺寸的要求较小时,可以使用内置柱形石墨光阑,通过限制腔口尺寸进一步提升腔口的温度均匀性(如图5(b)柱形光阑的情况)。
2.2 系统源尺寸效应的研究
源尺寸效应(size-of-source effect,SSE)是指系统的测量输出信号与被测辐射源尺寸大小有关的现象。它通常是由光路系统中光学元件的散射、衍射、透镜之间的反射、光学系统的像差等原因引起的。常用的SSE测量方法有:直接法、间接法和扫描法[11-16]。
实验中,采用直接法进行SSE的测量。首先,将一系列内径为50 mm、40 mm、…、10 mm的光阑依次放置于大口径黑体前,通过光谱辐射亮度系统测量在不同的源尺寸光阑情况下对应的光谱仪响应信号S(ri,T),并通过(4)式计算SSE系数:
$$ {\rm{\sigma }}\left({r}_{i}\right)=\frac{S({r}_{i},T)}{S({r}_{\max},T)} $$ (4) 式中:ri表示光阑的内径;S(rmax,T)表示内径最大的源尺寸光阑对应的光谱仪响应信号。之后,通过(5)式极差法计算源尺寸效应的不确定度为
$$ u=\frac{{{\rm{\sigma }}}_{{\rm{max}}}-{{\rm{\sigma }}}_{{\rm{min}}}}{{{\rm{\sigma }}}_{{\rm{average}}}} $$ (5) 式中:σmax、σmin和σaverage分别表示σ(ri)的最大值、最小值和平均值。经过计算,源尺寸效应的不确定度为2.96%。
为了有效地抑制SSE,将整套系统装置在光学仿真软件(Tracepro 7.0)中建模并采用光线追迹法进行杂散辐射分析。首先,根据仿真结果在光路中增加光阑来限制外界杂散辐射,并使用低反射比的材料对光学元件及镜架等进行包裹以防止多次反射引入杂散辐射。改进后系统SSE的不确定度为0.25%,SSE效应得到了有效的改善。
此外,由于光路系统中凹面反射镜和平面反射镜之间的空间位置较近,可能会引起对辐射信号的多次反射等问题,所以用离轴抛物面镜替换光路系统中的凹面反射镜和平面反射镜以简化光路,减小因光学元件之间的相互反射、散射等原因引起的源尺寸效应。新的光路系统的示意图如图6所示。同时,在系统中增加多个光阑,改进之后的系统SSE的不确定度降低至0.09%。下一步可在辐射源与光路系统入口之间增加恒温挡板,进一步抑制系统SSE效应。
3 结论
本文针对红外光谱辐射亮度测量中的黑体腔口温度均匀性和源尺寸效应进行研究。通过设计外置高反射率光阑或者内置石墨光阑改变腔体内部温度场、限制系统所用腔口位置等方法提升黑体腔口的温度均匀性;改进后的腔口温度不均匀性从0.50%降低至0.15%。根据光学仿真结果,通过在系统中增加光阑、简化光路系统、使用低反射比材料进行遮挡等方法降低系统的源尺寸效应;改进后的系统源尺寸效应的不确定度从2.96%降低至0.09%。下一步将针对系统的非线性效应等进行研究,并对系统整体的不确定度做评估。
-
表 1 本文的模型与其他域适应方法在Cityscapes向Foggy Cityscapes迁移性能对比
Table 1 Comparison of migration performance between proposed model and other domain adaptation methods from Cityscapes to Foggy Cityscapes dataset
方法 检测网络 Person Rider Car Truck Bus Train Motorcycle Bicycle mAP Source only Faster R-CNN 34.8 37.6 48.7 14.3 30.1 8.8 14.6 28.1 27.1 ConfMix[19] YOLOv5 45.0 43.4 62.6 27.3 45.8 40.0 28.6 33.5 40.8 SC-UDA[20] Faster R-CNN 38.5 43.7 56.0 27.1 43.8 29.7 31.2 39.5 38.7 MeGA-CDA[8] Faster R-CNN 37.7 49.0 52.4 25.4 49.2 46.9 34.5 39.0 41.8 MGA[21] Faster R-CNN 43.9 49.6 60.6 29.6 50.7 39.0 38.3 42.8 44.3 SSOD[22] Faster R-CNN 38.8 45.9 57.2 29.9 50.2 51.9 31.9 40.9 43.3 Ours Faster R-CNN 46.6 49.2 61.8 30.1 49.8 39.8 36.7 39.4 44.2 Oracle Faster R-CNN 52.2 55.0 72.1 31.2 52.7 45.0 33.9 50.0 49.0 表 2 在Cityscapes向Foggy Cityscapes数据集迁移学习的消融实验
Table 2 Ablation experiment of transferring learning from Cityscapes to Foggy Cityscapes dataset
方法 注意力(损失) 注意力(特征) 字典学习 mAP50 性能提升 Baseline 27.1 Baseline √ 38.5 +11.4 Baseline √ 39.6 +12.5 Baseline √ 40.2 +13.1 Baseline √ √ 44.3 +17.2 表 3 在自有数据集上域适应前后的检测性能对比
Table 3 Comparison of detection performance before and after domain adaptation on self-owned datasets
方法 骨干网络 mAP 不进行迁移 C2fDarknet 36.5 本文方法 C2fDarknet 44.2 监督学习 C2fDarknet 46.3 表 4 引入可变分组卷积前后网络的检测性能以及参数量
Table 4 Detection performance and number of parameters of network before and after using variable group convolution
方法 骨干网络 mAP 参数量/M 推理时间/ms 不进行迁移 C2fDarknet 31.5 3.2 74.2 本文方法 C2fDarknet 41.8 3.2 74.2 本文方法 C2fDarknet +VarGNet 40.5 2.5 23.4 -
[1] 李小宁, 雷涛, 钟剑丹, 等. 基于改进SSD的车辆小目标检测方法[J]. 应用光学, 2020, 41(1): 150-155. doi: 10.5768/JAO202041.0103004 LI Xiaoning, LEI Tao, ZHONG Jiandan, et al. Detecting method of small vehicle targets based on improved SSD[J]. Journal of Applied Optics, 2020, 41(1): 150-155. doi: 10.5768/JAO202041.0103004
[2] 廖延娜, 姚亮. 改进YOLOX的桥梁病害检测识别[J]. 应用光学, 2023, 44(4): 792-800. doi: 10.5768/JAO202344.0402004 LIAO Yanna, YAO Liang. Bridge disease detection and recognition based on improved YOLOX algorithm[J]. Journal of Applied Optics, 2023, 44(4): 792-800. doi: 10.5768/JAO202344.0402004
[3] ZAIDI S S A, ANSARI M S, ASLAM A, et al. A survey of modern deep learning based object detection models[EB/OL]. (2021-05-12)[2023-10-10]. http://arxiv.org/abs/2104.11892v1.
[4] CHEN Y, LI W, SAKARIDIS C, et al. Domain adaptive faster R-CNN for object detection in the wild[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. New York: IEEE, 2018: 3339-3348.
[5] HE Z, ZHANG L. Multi-adversarial faster-rcnn for unrestricted object detection[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. New York: IEEE, 2019: 6668-6677.
[6] KIM T, JEONG M, KIM S, et al. Diversify and match: a domain adaptive representation learning paradigm for object detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2019: 12456-12465.
[7] CHEN C, ZHENG Z, DING X, et al. Harmonizing transferability and discriminability for adapting object detectors[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2020: 8869-8878.
[8] VS V, GUPTA V, OZA P, et al. Mega-cda: Memory guided attention for category-aware unsupervised domain adaptive object detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2021: 4516-4526.
[9] XING W, ZHANG H, CHEN H, et al. Feature adaptation-based multipeak-redetection spatial-aware correlation filter for object tracking[J]. Neurocomputing, 2022, 488: 299-314. doi: 10.1016/j.neucom.2022.02.072
[10] ZHANG H, LI Y, LIU H, et al. Learning response-consistent and background-suppressed correlation filters for real-time UAV tracking[J]. Sensors, 2023, 23(6): 2980-3001.
[11] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 39(6): 1137-1149.
[12] ZHANG H, XING W, YANG Y, et al. SiamST: siamese network with spatio-temporal awareness for object tracking[J]. Information Sciences, 2023, 634: 122-139. doi: 10.1016/j.ins.2023.03.083
[13] GANIN Y, LEMPITSKY V. Unsupervised domain adaptation by backpropagation[C]//International conference on machine learning. [S. l. ]: PMLR, 2015: 1180-1189.
[14] HSU C C, TSAI Y H, LIN Y Y, et al. Every pixel matters: center-aware feature alignment for domain adaptive object detector[C]//Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part IX 16. Berlin: Springer International Publishing, 2020: 733-748.
[15] HE K, FAN H, WU Y, et al. Momentum contrast for unsupervised visual representation learning[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2020: 9729-9738.
[16] 娄树理, 王岩, 郭建勤, 等. 改进YOLOX-S的红外舰船目标检测算法[J]. 应用光学, 2023, 44(5): 1054-1060. doi: 10.5768/JAO202344.0502006 LOU Shuli, WANG Yan, GUO Jianqin, et al. Infrared ship target detection algorithm based on improved YOLOX-S[J]. Journal of Applied Optics, 2023, 44(5): 1054-1060. doi: 10.5768/JAO202344.0502006
[17] CORDTS M, OMRAN M, RAMOS S, et al. The cityscapes dataset for semantic urban scene understanding[EB/OL]. [2023-10-10]. http://download.visinf.tu-darmstadt.de/papers/2016-cvpr-cordts-cityscapes-preprint.pdf.
[18] SAKARIDIS C, DAI D, GOOL L V. Semantic foggy scene understanding with synthetic data[EB/OL]. [2023-10-10]. https://www.baidu.com/link?url=lX4kFbBqDNKz1JWpmt1YfKLcd0QtmaoMLIB3lEoRT2vaiaZjIYyd7CMRHwb9yjeM&wd=&eqid=c3bc4e3c00f50c840000000666cee097.
[19] MATTOLIN G, ZANELLA L, RICCI E, et al. ConfMix: unsupervised domain adaptation for object detection via confidence-based mixing[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. New York: IEEE, 2023: 423-433.
[20] YU F X , WANG D, CHEN Y P, et al. Style and content gaps aware unsupervised domain adaptation for object detection[C]//Proceedings of IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). New York: IEEE, 2022: 1061-1070.
[21] ZHOU W Z , DU D W , ZHANG L B , et al. Multi-granularity alignment domain adaptation for object detection[C]//Proceedings of IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2022: 9581-9590.
[22] FARZANEH R, RAKSHITH S, RAHAF A, et al. Seeking similarities over differences: similarity-based domain alignment for adaptive object detection[C]// Proceedings of IEEE/CVF International Conference on Computer Vision. New York: IEEE, 2021: 9204-9213.
[23] VAN D M L, HINTON G. Visualizing data using t-SNE[J]. Journal of Machine Learning Research, 2008, 9(11): 2579-2605.
[24] ZHANG Q, LI J, YAO M, et al. Vargnet: variable group convolutional neural network for efficient embedded computing[EB/OL]. [2023-10-10]. http://arxiv.org/pdf/1907.05653.
-
期刊类型引用(0)
其他类型引用(1)