Application of aerosol fluorescence spectrum recognition based on deep learning
-
摘要:
空气中的高危病原微生物对人类社会存在着极大威胁，而传统的监测方法无法对空气中的微生物实现准确的识别与分类。因此采用激光诱导荧光技术原理，以单光子探测器为核心器件，设计并搭建了一种高效的荧光光谱仪用于空气中高危病原微生物的识别与分类，并且该光谱仪可以实现对微生物浓度的预测，其对于环境安全具有重要意义。对于该光谱仪采集的数据，探索了以一维向量和二维矩阵2种输入形式来实现荧光光谱的识别与分类，并研究对比了主成分分析网络、卷积神经网络和全卷积网络等深度学习网络的识别与分类效果。实验结果表明以矩阵形式输入的卷积神经网络模型在测试集中识别分类准确率达到98.05%。采用矩阵形式输入的全卷积网络模型在测试集中微生物浓度预测准确率达到98.97%。
Abstract:The high-risk pathogenic microorganisms in the air pose a great threat to human society, but the traditional monitoring methods cannot accurately identify and classify the microorganisms in the air. Therefore, based on the principle of laser-induced fluorescence technology and single photon detector as the core device, an efficient fluorescence spectrometer was designed and built for the identification and classification of high-risk pathogenic microorganisms in the air, and the spectrometer could predict the concentration of microorganisms, which was of great significance to environmental safety. For the data collected by the spectrometer, the two input forms of one-dimensional vector and two-dimensional matrix were used to realize the identification and classification of fluorescence spectra, and the identification and classification effects of deep learning networks such as principal component analysis network, convolutional neural network and full convolutional network were studied and compared. The experimental results show that the identification and classification accuracy of convolutional neural network model with matrix input reaches 98.05% in the test set, and the prediction accuracy of microorganisms concentration of full convolutional network model with matrix input reaches 98.97% in the test set.
-
引言
激光熔覆技术是将高功率密度的激光束的能量，通过非接触方式使粉末材料加热并熔化，熔化后的粉末材料快速冷却与微观结构的形成，使得表面具有与基体材料本身不同的新性能[1-4]。在激光熔覆过程中，急冷急热的能量变化过程会对微观组织的形成产生极大的影响，而最终形成的微观组织与材料的性能有着紧密的联系[5-6]。在熔覆层凝固结晶时，最常见的是以树枝状生长的枝晶，且枝晶不同的形貌参数与其性能有着一定的对应关系[7]。因此，实现自动识别枝晶形貌，对研究熔覆层性能具有十分重要的价值。基于上述背景分析，本文提出了一种从复杂的金相图中识别并分割出枝晶形貌的深度学习算法。
近些年，基于深度学习的计算机视觉检测在不同工况均展现了其优异的能力[8-10]。特别是用于像素级别分类的语义分割更是在工业、医学等领域得到了大量的应用[11-12]。Li等人利用收发声信号技术监测激光熔覆过程，并通过深度学习神经网络提取特征向量，从而分析熔覆状态以及是否存在产生裂纹的迹象[13]，该研究表明可以利用深度学习技术分析熔覆层状态及微观形貌。张海军等人基于遗传算法、二维最大类间方差提出双阈值分割法[14]，根据区域极大值初步确定阈值，并对金相图像进行分割，分割结果反馈调整阈值，实现了对不同金相组织的分割。为本文实现在复杂背景中分割出枝晶形貌提供了一种新思路。熔覆层金相图中树枝晶与不规则晶、胞状晶等混杂在一起[15]，不利于对树枝晶形貌进行观察研究。将树枝晶形貌识别视为二分类问题，通过语义分割的方法把树枝晶从复杂的金相图中分割出来，便于后续研究枝晶形貌与熔覆层性能的具体联系。
针对复杂背景的二分类问题，本文对原Unet网络加以改进，引入串行放置的通道注意力机制、空间注意力机制和批量标准化（Batch Normalization，BN）层，并部署在下采样和上采样过程，建立了BNC-Unet（BN+CBAM-Unet）（convolutional block attention module，CBAM）即枝晶形貌分割网络模型。本网络模型用于树枝晶形貌的识别分割，在观测树枝晶形貌时排除其他晶粒的干扰，有效地促进了树枝晶形貌对熔覆层性能影响的研究。
1 树枝晶形貌识别网络
语义分割是深度学习三大应用之一，其特点是效率和精度高[16-17]。搭建适于识别并分割样本特征的深度学习模型，建立训练集及测试集，用以训练、测试模型，并根据网络反馈优化参数，最终可以快速、准确得到分割结果，节省大量的时间。本研究以U-net网络模型为基础，U-net网络本身是为了解决医学影响的细胞分割而提出，便于辅助医护人员客观、准确地分析病理，为做出准确的医学诊断提供支撑数据[18]。由于其出色完成了在复杂背景下分割样本目标而得到了众多领域专家的青睐[19]。针对样本背景复杂问题，在原来的U-net网络基础上，部署串行注意力模型和BN层，并调整2种模型的部署位置，使得本次改进的BNC-Unet模型能更好地胜任树枝晶形貌分割任务，取得较为满意的分割结果。
1.1 总体网络架构
本次设计的树枝晶形貌识别网络主要分为2个部分，其结构如图1所示。一是用于提取特征的下采样部分，即编码区；二是得到更加准确特征信息的上采样部分，即解码区。树枝晶识别网络整体架构呈现字母U型，接下来依次介绍2个区域。
第1部分是模型的编码部分，用于提取金相特征，该部分的各子过程大体包括了2个卷积层（其中卷积核为3×3）、防止模型过拟合的丢弃层、用于对每层数据标准化处理的BN层、elu激活函数层、最大池化层。在该部分的第一阶段引入CBAM，使得提取到的特征更加精准。将3通道128像素×128像素的原始图像输入编码区，经过卷积等操作生成4组通道数与大小不同的特征图，其通道数和大小如表1所示。这些特征图用于与解码区中相同通道数、相同大小的特征图进行跳跃融合。经编码区最后一次处理得到256通道8像素×8像素的特征图，并传递至解码区。
表 1 特征图指标Table 1. Feature map indexes组别 通道数 大小 /(像素×像素) 1 16 128×128 2 32 64×64 3 64 32×32 4 128 16×16 第2部分是凝练特征信息的解码部分，该部分的每个阶段大体包括了用于扩大图像尺寸的ConvTranspose2d逆卷积层（卷积核为2×2、步长为2）、特征融合（解码区内的特征图与编码区内的特征图通道数、尺寸大小对应相等）、2个卷积层（其中卷积核为3×3）、丢弃层、BN层、elu激活函数层。在该部分的最后一个阶段引入CBAM，细化特征，调整权重。由编码区传递的256通道8像素×8像素的特征图经过上采样过程，最终生成单通道128像素×128像素的灰度图像。
1.2 串行注意力机制原理
串行注意力机制，即将输入的特征图先经过通道注意力模块，然后将该模块的输出结果加权传递至空间注意模块，经过这2个模块的作用，最终将结果输出作为下一过程的输入。这种注意力机制模型在2018年由Woo[20]提出，并对比了单独使用这2个模块和空间注意模块加通道注意力模块的布局，结果表明先通道后空间得到的特征信息最为准确，其对目标特征的识别覆盖最广。串行注意力模型结构如图2所示，通道注意力模型与空间注意力模型串行放置，使得提取特征更为准确。
在通道注意力模型内，焦点在于通道维度，特征图的每个通道即为各通道包含的特征。提取通道的池化参数，再经过同一个多层感知机（Multilayer Perceptron, MLP），输出值相加后经过归一化处理得出最终权重，得到的权重与特征图的乘积即为通道注意力模型输出的加权特征图。
在空间注意力模型内，焦点在于特征图中每个像素的权重。与通道注意力模型类似，在空间注意力模型中，提取不同通道的同一平面空间点的池化参数，经卷积和归一化处理得出最终权重，得到的权重与空间特征的乘积即为空间注意力模型输出的加权特征图。
特征图经过串行注意力模型后，特征权重得到进一步调整处理，有利于提高网络对样本特征学习、提取的能力，从而提高网络的性能。
1.3 网络参数的选取
网络参数的选择主要是Batch Size的确定、优化器的选取和损失函数的选取。
1.3.1 Batch Size的确定和优化器的选取
Batch Size的大小对网络的训练速度和梯度具有一定的影响，其优点在于可以有效地防止内存爆炸，加速收敛，避免局部最优。梯度方差如（1）式所示：
$$ Var(g) = Var\left({\frac{1}{m}\sum\nolimits_{i = 1}^m {g({x_i},{y_i})}}\right) $$ (1) 式中：m为Batch Size。因为样本数量固定且随机，所以各样本方差相同，（1）式可简化为
$$ Var(g) = \frac{1}{m}Var(g({x_i},{y_i})) $$ (2) 由（2）式可以看出，梯度方差与批量大小成反比，一般Batch Size取值范围在2～32之间[21]，本次实验取Batch Size大小为14，epoch设置为75。
学习率对于神经网络训练起到非常重要的作用，本次选用Adam优化算法。该算法整合了AdaGrad和RMSProp两种算法的优势[22]，与单独使用这2种算法相比，使用Adam算法收敛最快。该算法属于自适应学习率算法，其算法策略如下：
$$ {{{m}}_t} = {\beta _1}{m_{t - 1}} + (1 - {\beta _1}){g_t},{\hat m_t} = \frac{{{m_t}}}{{1 - \beta _1^t}} $$ (3) 式中：${{{m}}_t}$为一阶动量项；${\hat {{m}}_t}$为修正值；根据经验设定$\; {\beta _1} $为0.9。
$$ {v_t} = {\beta _2}{v_{t - 1}} + (1 - {\beta _2})g_t^2,{\hat v_t} = \frac{{{v_t}}}{{1 - \beta _2^t}} $$ (4) 式中：$ {v_t} $为二阶动量项；$ {\hat v_t} $为修正值；根据经验设定$\; {\beta _2}$为0.999。
$$ {W_{t + 1}} = {W_t} - \frac{\eta }{{\sqrt {{{\hat v}_t}} + \varepsilon }}{\hat m_t} $$ (5) 式中：$ {W_t} $为迭代模型参数；取$ \varepsilon $值为10−8。Adam优化器在收敛速度和准确率方面表现优秀，故本网络模型选择Adam优化器。
1.3.2 损失函数的选取
本次分割任务属于二分类问题，故Loss损失函数选用二进制交叉熵。由于树枝晶特征与其背景中其余晶粒特征相差不大，故本次设计的网络模型的输出层激活函数选用Sigmoid函数，其函数原理如（6）式所示：
$$ {{f}}(x) = \dfrac{1}{{1 + \exp ( - x)}} $$ (6) 从（6）式可以看出，该函数可以把数值控制在0～1区间，故能良好地应用于二分类问题。
二元交叉熵损失函数如（7）式所示：
$$ L{\text{o}}ss = - \dfrac{1}{N}\sum\limits_{i = 1}^N {\{ {y_i}} \cdot \log [p({y_i})] + (1 - {y_i}) \cdot \log [1 - p({y_i})]\} $$ (7) 式中：$ p({y_i}) $是标签$ {y_i} $（0或1）出现的概率；$ N $为样本数。故该文采用binary cross entropy作为损失函数，且搭配Sigmoid使用。
2 实验结果与讨论
为了检验本次设计的基于语义分割树枝晶形貌识别网络的分割能力，进行了激光熔覆实验，并采集了训练网络所需的样本。本次的训练集和测试集均是由课题组激光熔覆样块在光学显微镜下捕获所得，光学显微镜型号为DM2700M（leica microsystems，GmbH）。使用型号为LDP6000-60（laserline，GmbH）大功率光纤激光器进行熔覆实验，将熔覆样块进行线切割、镶块处理，经打磨抛光和王水腐蚀后在光学显微镜下捕获金相图像，至此激光熔覆实验结束，后续需要在计算机上进行下一阶段实验。利用Labelme软件为金相图制作标签后，建立金相数据集，其中包括420张训练图像和20张测试图像，原金相图和标签如图3所示。
本次研究使用的计算机操作系统为Windows10，CPU为Intel®Core™i5-10200H，RAM为8.00 GB，GPU为GTX1650Ti。网络搭建、运行、调试选用Tensorflow框架，选择基于网页版编译器Jupyter notebook和Python语言编译开发，该编译器可以直接在网页上调试代码，程序结果直接在网页中显示，便于直接观察。为了防止网络模型训练时出现过拟合现象，本设计引入用于提前终止训练的Early Stopping命令，并设置耐心值为20步，即训练过程中Loss值出现连续20步无下降现象，模型训练停止。
实验结果的评价指标选用交并比（intersection over union，IoU），其表达了网络分割像素与标签像素总数上的比值。通常以混淆矩阵作为基础，再计算评价指标数值。混淆矩阵如图4所示，A为真实值，B为预测值。预测与标记相同为True；相反为False。预测值为树枝晶像素记Positive；反之为Negative。
IoU计算方式为
$$ IoU = \frac{{TP}}{{TP + FP + FN}} $$ (8) 本网络共训练了378张图片，验证了42张图片，并做了3组对比试验，其结果如表2所示。设定相同参数，对比了Unet、BN-Unet、CBAM-Unet、BNC-Unet输出结果如图5所示。从表2可以看出本次针对树枝晶特征设计的BNC-Unet模型结果最好，其IoU值为84.20%，比原Unet模型结果提高了8.97%。从图5中的分割结果看，BNC-Unet自动分割的树枝晶结果最为精确。
表 2 不同改进方式的网络结果Loss、IoU对比Table 2. Comparison of Loss and IoU network results of different improved methods网络架构 Loss IoU/% Unet 0.066 6 75.23 BN-Unet 0.065 8 81.05 CBAM-Unet 0.066 2 75.37 BNC-Unet 0.059 1 84.20 3 结论
本实验基于U-net网络引入注意力模型和BN层，搭建了针对分割树枝晶的BNC-Unet网络，建立了用于训练网络和测试网络的数据集，将交并比IoU作为本次网络的评价指标，并对比了原Unet网络、BN-Unet网络、CBAM-Unet网络的分割结果。其对比结果表明BNC-Unet网络能够较为准确自动标记树枝晶形貌，BNC-Unet网络分割准确率为84.2%，比原Unet网络结果提高了8.97%。注意力机制在浅层和深层对称部署一次可以在实现较好的特征提取结果的基础上而不增加网络训练时间，实现自动标记树枝晶形貌，便于在进行激光熔覆试验后，为自动分析熔覆层性能提供参考。
-
![]()
图 1 荧光光谱仪系统结构示意图
Figure 1. Schematic diagram of fluorescence spectrometer system structure
![]()
图 2 金葡萄球菌、花粉、NADH、维生素B2、化妆品、香烟的荧光光谱
Figure 2. Fluorescence spectra of staphylococcus aureus, pollen, NADH, vitamin B2, cosmetics and cigarettes
表 1 不同方法对荧光光谱分类的准确率
Table 1 Accuracy of fluorescence spectrum classification by different methods
% 方法 算法网络 输入形式 ACCc ACCv ACCp 深度学习 PCANeta 向量 99.94 84.31 84.13 CNNa 99.56 94.93 94.58 FCNa 97.65 94.03 94.13 PCANetb 矩阵 99.63 96.11 96.61 CNNb 99.91 98.17 98.05 FCNb 97.64 94.97 95.01 机器学习 RF 向量 94.68 87.88 82.01 KNN 94.93 91.06 90.75 SVM 94.96 92.97 92.76 
下载: 导出CSV
表 2 不同方法对荧光光谱生物成分浓度预测的准确率
Table 2 Accuracy of concentration prediction of biological components in fluorescence spectrum by different methods
% 方法 算法网络 输入形式 ACCc ACCv ACCp 深度学习 PCANet a 向量 95.24 95.67 96.07 CNNa 95.99 96.03 94.07 FCNa 96.73 96.74 96.84 PCANetb 矩阵 97.89 97.99 97.35 CNNb 97.65 96.99 97.03 FCNb 98.97 98.13 97.93 机器学习 LR 向量 94.99 93.86 93.98 RF 93.89 94.87 94.87 PLSR 95.94 94.81 94.91
下载: 导出CSV
-
[1] LI Tengfei, LI Song, WANG Yapei, et al. Development of micro spectrometer for iron and steel detection[J]. Applied Optics,2014,35(6):981-986.
[2] GU Yantian. American LEEMANLabs company launched the fourth generation of ICP products[J]. Chemistry,2000,15(6):59-60.
[3] AL P A. New directions: the role of bioaerosols in atmospheric chemistry and physics[J]. Atmospheric Environment,2004,38(8):1231-1232.
[4] GUO Lehui, CHEN Ping, LI Lili, et al. Research progress on key technologies of photomultiplier tubes[J]. Vacuum electronics,2020,347(4):1-13.
[5] JACK R. Abundance of cellular material and proteins in the atmosphere[J]. Science,2005,308(8):73-73.
[6] ZHONG Yuan, LUO Zongnan. The selection of light detector in light source measurement[J]. Chinese Journal of Electron Devices,2003,26(1):95-98.
[7] HO J, DUNCAN S. Estimating aerosol hazards from an anthrax letter[J]. Journal of Aerosol Science,2005,36(5-6):701-719.
[8] LEE N, HUI D, WU A, et al. A major outbreak of severe acute respiratory syndrome in Hong Kong[J]. New England Journal of Medicine,2003,348(20):1986-1994.
[9] DESPRES V, HUFFMAN J A, BURROW S M, et al. Primary biological aerosol particles in the atmosphere: a review[J]. Chemical and Physical Meteorology,2012,64(1):15598.
[10] HU Zhende, GUAN Yihua, XIE Jianjun, et al. Development of a weak fluorescence detector based on lock-in amplification[J]. Wireless communication technology,2021,30(2):50-55.
[11] JU Hui. Research on miniaturization of spectrometer used in biochemical analysis[D]. Beijing: Academia Sinica, P. R. China, 2002.
[12] YOU Zezhang, WANG Xianpei, TIAN Meng, et al. Design of optical system of miniature wide-band spectro-meter[J]. Applied Optics,2017,38(5):740-745.
[13] XIA Guo. Design optimization and application of wideband micro-spectrometer[D]. Hangzhou: Zhejiang University, 2013.
[14] SUN J, ARIYA P A. Atmospheric organic and bio-aerosols as cloud condensation nuclei (CCN): A review[J]. Atmospheric Environment,2006,40(5):795-820.
[15] BAUER H, GIEBL H, HITZEN R, et al. Airborne bacteria as cloud condensation nuclei[J]. Journal of Geophysical Research:Atmospheres,2003,108(21):1192-1200.
[16] FRANC G D, DEMOTT P J. Cloud activation characteristics of airborne erwinia carotovora cells[J]. Journal of Applied Meteorology,1998,37(10):1293-1300.
[17] CHEN Faguo, HAN Yi, YU Weiyue, et al. The application status and prospect of silicon photomultiplier in dose measurement[J]. Nuclear Electronics & Detection Tech-nology,2016,36(1):82-86.
[18] CHENG Y F, DOVICHI N J. Subattomole amino acid analysis by capillary zone electrophoresis and laser-induced fluorescence[J]. Science,1988,242(48):562-564.
[19] KUANG Ye. Research on quantum signal detection technology based on silicon photomultiplier[J]. Science and Technology Innovation Herald,2019,16(28):153-155.
[20] GONG Xingzhi. Design and application system of wide band micro spectrometer[D]. Hangzhou: Zhejiang University, 2013.
-
期刊类型引用(1)
1. 武文权，任志红，闫静静. 基于遗传神经网络的光纤激光网络回波信号增强方法. 激光杂志. 2025(01): 185-190 . 
百度学术
其他类型引用(1)
计量
- 文章访问数: 596
- HTML全文浏览量: 243
- PDF下载量: 79
- 被引次数: 2
陕公网安备 61011302001501号 