Particles image detection based on Mask R-CNN combined with edge segmentation
-
摘要:
对颗粒物的尺寸检测是生产中重要的环节,使用相机采集图像并处理是常用的非接触检测方法。围绕颗粒物的识别与尺寸检测需求,选用沙粒为检测对象,提出了一种改进颗粒物边界掩膜的Mask R-CNN模型。该模型结合经典的边缘检测技术,并利用深度学习模型预测掩膜,根据边缘分割的结果来得到更高精度的掩膜。使用DenseNet作为检测网络的主干网络,使得整体网络参数量更少,并利用通道注意力机制加强网络的特征提取能力。实验结果表明,改进的网络可以提高检测的精度,且结合图像处理的方式能够改善掩膜尺寸检测的准确度,为颗粒物的工业检测提供了一种有意义的方法。
Abstract:Particles size detection is an important link in production, and the use of cameras to capture and process images is a commonly-used non-contact detection method. To meet the requirements of identification and size detection of particles, the sand particles were selected as the detection object, and a Mask R-CNN model with the improved boundary mask of particles was proposed. Combined with the classical edge detection technology, the deep learning model was used to predict the mask, and the mask with higher precision was obtained according to the results of edge segmentation. The DenseNet was used as the backbone network of the network detection to reduce the number of network parameters, and the channel attention mechanism was used to strengthen the feature extraction ability of the network. The experiments show that the improved network can improve the detection accuracy, and the combination of image processing can improve the accuracy of mask size detection, which provides a meaningful method for industrial detection of particles.
-
Keywords:
- particles detection /
- deep learning /
- image segmentation /
- machine vision /
- size distribution
-
引言
目前,微小物体表面三维形貌测量因其独特的工程价值在众多领域具有广泛的应用前景,例如缺陷检测、三维测量、虚拟现实、机器视觉、医疗检测等[1-4]。常见的微小物体表面三维测量技术包括傅里叶变换轮廓术[1]、干涉测量轮廓术[2]、条纹投影轮廓术[3]、调制度测量轮廓术[4]等。随着机械加工、微电子、材料分析等新技术的快速发展,越来越多与制造业相关的行业对微小物体表面的三维轮廓信息产生了需求。
近年来,国内外众多学者针对微小物体表面三维形貌的测量方法和测量系统展开了研究。Vargas J等人[5]为了解决具有高动态成像范围的微小芯片测量的问题,调整相机的曝光时间并利用格雷码加相移完成微小芯片的三维测量,但是该方法由于需要调整曝光时间且投影的条纹图较多导致测量速度无法满足工业检测。Anand A等人[6]提出了一种基于深紫外高分辨率的定量相位显微成像方法,也提出了相应的相位恢复方法。李阿蒙等人[7]提出了一种基于立体显微镜和条纹投影轮廓术的定量三维显微系统,分辨率达到1 μm,但由于视场限制,每次只能测量一部分,需要多次测量。Van der Jeught.S等人[8]提出了一种实时显微相移轮廓术,将投影仪和相机集成到体式显微镜的2个独立的光学通道中,显微镜的放大功能会减小相机的视场,同时需要超高速帧率的相机用于实时测量,目前相机采集帧率大多无法满足要求。於燕琴等人[9]搭建了一套基于数字条纹投影和立体显微镜的三维小视场测量系统,系统的集成度不高无法满足实时测量。艾佳等人[10]研发了一种基于远心镜头和三频外差的小视场三维测量系统,系统精度为10 μm,但由于采用了三频外差的方法导致测量速度较慢。胡岩等人[11]提出了一种基于Greenough体视显微镜的三维显微表面测量系统,在消除透镜畸变的情况下,实现测量系统的高精度标定。孔玮琦等人[12]提出了一种基于远心镜头的标定技术,并利用相机的多重曝光进行高动态范围测量, 但是还无法实现实时测量。
根据上述国内外研究现状可知,大部分针对微小物体表面三维形貌的测量方法因受限于测量范围、测量速度、测量精度等因素,都不能很好地满足工业测量需求。条纹投影轮廓术因其测量无损伤、测量范围大、测量精度高、测量速度快等优点,备受国内外研究学者关注和研究。
本文采用基于数字条纹投影的三步相移法[13],在相位展开时采用可靠路径跟踪相位展开算法,仅需3幅相移条纹图,即可实现截断相位的提取和连续相位的恢复,能够在保证较高测量精度和较大测量范围的条件下,提升测量速度。本文设计实现的微小物体三维形貌测量系统,结构简单,利用立体显微镜将Light Crafter 4500投影组件投影的正弦条纹进行缩小,然后投射到微小物体表面,因立体显微镜光学成像畸变小、能连续变倍,保证了缩小后投影到微小物体表面的正弦条纹质量,搭配与CCD相机共同采集变形条纹图的远心镜头,因其大景深、低畸变、无透视误差,确保了采集的变形条纹图质量,经过三步相移算法和可靠路径跟踪相位展开算法处理可以获取相应的连续相位,再由相位-高度转换关系,即可实现对静态微小物体表面轮廓的三维测量与重建。
1 条纹投影轮廓术原理
1.1 三步相移法
三步相移法因其所需要的带条纹的图像幅数少,算法实现简单[13],因此本文采用三步相移法,进行相应的相位提取,其基本原理如下。
通过精确地移动投影的光栅条纹,获得3幅条纹图像,每个条纹图像可以表示为
$$ \left. {\begin{array}{*{20}{l}} {{I_1}(x, y) = a(x, y) + b(x, y)\cos [\phi (x, y) - \alpha ]}\\ {{I_2}(x, y) = a(x, y) + b(x, y)\cos [\phi (x, y) + 0]}\\ {{I_3}(x, y) = a(x, y) + b(x, y)\cos [\phi (x, y) + \alpha ]} \end{array}} \right\} $$ (1) 式中:a(x, y)为条纹图背景光强;b(x, y)为调制强度函数;ϕ(x, y)表示光栅条纹上的相位(即连续相位);α是相移长度。在本文中,采用α =120°,此时求解方程(1),可得到截断相位φ(x, y),即:
$$ \varphi(x, y)=\tan ^{-1}\left(\sqrt{3} \frac{I_{1}(x, y)-I_{3}(x, y)}{2 I_{2}(x, y)-I_{1}(x, y)-I_{3}(x, y)}\right) $$ (2) 获取截断相位后,通过一定的相位解包裹方法,就能恢复连续相位φ(x, y)。
1.2 可靠路径跟踪相位展开算法
本文采用基于可靠路径跟踪的空间相位展开算法,其实质是一种质量图引导的相位展开算法。算法表达式如下[14]:
$$ \varphi (r) = \int\limits_c {} \nabla \varphi + \varphi \left( {{r_0}} \right) $$ (3) 式中:$ \nabla $表示梯度;$ \nabla \varphi $表示截断相位梯度;r0表示积分起点;c代表任意一条从积分起点r0到终点r的积分路径。当(3)式满足以下2个条件时:1)积分结果只由积分终点和积分起点决定;2)积分结果不受积分路径影响。(3)式就可以看做对截断相位梯度进行积分的过程。
基于可靠路径跟踪的空间相位展开算法的具体实现过程如下:
1) 首先,进行简单的相位展开,对获取的截断相位剔除其中相位差值大于2π的分量;
2) 然后,对步骤1)中获取的结果进行二阶差分求取,以便获取用于引导相位展开的质量图;
3) 根据步骤2)中获取的质量图进行引导,对截断相位进行解相位。
由(3)式可知相位展开本质上可看作一个积分过程,因此,若根据连续路径的积分求解,前面任意一点出现误差,误差将会按照相位展开路径进行传播。若根据获得的质量引导图进行导向求解,在进行相位展开时,是从高质量点到低质量点进行相位计算,将会从根本上限制误差传递。
2 测量系统
2.1 立体显微镜工作原理
在本文系统中,要实现微小物体三维形貌测量,需要将条纹图投射到被测物体表面,并将被投影的条纹图缩放。图案缩放单元基于一台立体显微镜,其工作原理[15]如图 1所示。
立体显微镜还兼具普通光学显微镜不具备的优点。首先,大景深、大视场以及工作距离大,方便全局观察被测物体。其次,正立成像,便于生物解剖和操作。最后,光线经过两组中间透镜组构成一定的体视角,能形成立体图像,满足光学三角测量法的要求。
2.2 远心镜头成像原理
远心镜头因其具有以下特点:1)低畸变(通常 < 1%);2)大景深;3)有效景深内,物像倍率固定;4)竖立成像时,无虚影现象(无透视误差);5)主光线平行于光轴而成像。
因此,远心镜头能很好地解决透视投影误差问题,这也使得在精密测量领域中越来越广泛地采用远心镜头替代传统镜头,如图 2所示为双远心镜头成像原理图。
2.3 系统结构
如图 3所示为微小物体三维形貌测量系统原理图,从图 3可以发现,该测量系统基本构成包括:投影仪、缩放单元、CCD摄像机、远心镜头、计算机、图像采集卡。
首先,使用计算机自动生成相应的相移光栅条纹图。然后,根据被测对象的材料和表面特征(如颜色、纹理等),使用投影仪通过体视显微镜将相移光栅条纹图依次投影到参考面与被测物体表面,因被测物体表面凹凸不平,被投影的相移光栅条纹图经过物体表面调制、反射后,被带至双远心镜头的CCD相机所拍摄并保存,此时的相移光栅条纹图包含被测物体表面的高度信息。然后,通过三步相移方法求解截断相位,并通过可靠路径跟踪相位展开算法获取连续相位。最终,通过相位-高度映射关系,求取被测物体高度,即可重建物体的三维形状。
3 实验与分析
3.1 系统硬件
基于上述原理,本文搭建了一套适用于测量微小物体三维形貌的测量系统,其测量装置如图 4所示。微小物体三维形貌测量系统采用型号为SMZ-168-TL的体视显微镜,投影装置为一款基于DLP4500芯片开发的高速数字投影套件DLP® Light Crafter 4500TM,分辨率为912 pixel ×1 140 pixel,CCD相机为德国Basler AG公司生产的一款acA1600-20gm型相机,分辨率为1 626 pixel×1 236 pixel,远心镜头放大倍率为0.4,景深为5.2 mm。在LightCrafter和体视显微镜中间加装一个偏振片用来调节条纹的亮度,然后依次将相移正弦条纹投影到小视场(1.8 cm×1.6 cm)的物体表面,并使用CCD相机配合远心镜头进行采集,利用三步相移和可靠路径跟踪算法对微小物体的表面三维形貌进行测量与重建。
3.2 实验结果及讨论
本文测量的微小物体均为日常生活中常见的银行卡、五角硬币、金属条纹板以及BGA芯片上的微小局部区域,如图 5所示为银行卡实物图。投影3幅相同频率的相移条纹图到物体表面,三步相移条纹的投影条纹频率为1/128,相应的三步相移条纹的投影条纹周期数为128。因本文采用横条纹,LightCrafter分辨率为912 pixel×1 140 pixel,单条条纹对应的像素数为912/128 pixel。
采集得到银行卡卡号数字“6000”表面投影条纹频率为1/128的一组变形条纹图,如图 6所示,图像分辨率大小为912 pixels×1 140 pixels。
然后利用三步相移法计算获得对应的截断相位图,如图 7所示。
根据可靠路径跟踪相位展开算法的原理,针对得到的截断相位进行相位展开计算,可获得连续相位。此时需要将相位转换为高度信息,根据相位高度公式(4),可以得到变化相位和高度之间的关系。
$$ h(x, y)=\frac{L \Delta \phi(x, y)}{2 \pi f d+\Delta \phi(x, y)} $$ (4) 式中:$ \Delta \phi $是物体和参考平面之间的相位差;高度为h;L为相机和参考平面之间的距离;d为投影仪和相机光心之间的距离;f为投影条纹的频率。将4个精确高度的标准块放在参考平面上,测量每一个标准块的相位差,由于标准块高度和投影条纹频率已知,通过4组数据可以反求出L、d的数据,从而得到相位与高度之间的对应关系,可以对展开相位进行高度映射。最终得到图 8所示的银行卡卡号数字“6000”的三维面形重建结果。
针对金属条纹板局部区域、BGA芯片引脚部分进行测量,实物图如图 9(a)所示,投影的正弦条纹频率不变,采用相同的方法,成功对其进行了三维重建。
用标准块对系统的测量精度进行评估,分别对3个标准块进行测量,并对测量所得的数据求取平均高度,计算所得标准偏差为11 μm,结果如表 1所示。
表 1 高度误差表Table 1. Chart of height error标准块 高度/mm 实际高度 测量所得的平均高度 标准偏差 标准块1 1.150 1.160 0.011 标准块2 1.350 1.361 标准块3 1.250 1.262 评估结果表明,系统精度为11 μm(标准偏差),在保证较高测量精度和较大测量范围的条件下,如果本系统采用更高采集速率的相机和投影速度更快的投影仪可以进一步提高测量速度;若对本文的标定方法做进一步改进可以提高系统的测量精度。
4 结论
微小物体表面三维形貌测量在工业检测、医疗检测、机器人视觉等领域均有着非常重要的作用,未来在其他领域的应用也将得到进一步拓展,而基于结构光的非接触式三维表面测量技术,因其非接触测量、高精度、高速测量等优势,已成为实现三维表面测量的一个重要手段,未来拥有广阔的应用前景。本文基于三步相移结合可靠路径跟踪相位展开算法的原理,利用体视显微镜、远心镜头、数字投影模块和CCD相机,设计并搭建了一套微小物体三维形貌测量系统,视场范围为1.8 cm×1.6 cm。实验结果表明,本文所搭建的测量系统投影相同频率的3幅相移条纹图,根据三步相移结合可靠路径跟踪相位展开算法,仅需3幅条纹图即可实现对微小物体的表面形貌进行重建,测量深度范围为700 μm,系统精度为11 μm,在保证较高测量精度和较大测量范围的条件下,提升系统测量速度。
-
表 1 不同主干网络的检测精度
Table 1 Detection accuracy of different backbone networks
主干网络 样本集1AP 样本集2AP 样本集3AP 网络权重大小/MB ResNet 0.972453729 0.96582670 0.968745449 106 DenseNet 0.953721519 0.92923514 0.952060297 29.5 DenseAttention 0.976117450 0.94481288 0.963881690 30.8 表 2 改进前后的IoU对比
Table 2 IoU comparison before and after improvement
样本集 ResNet
原模型DenseNet
原模型DenseAtt
原模型ResNet
改进模型DenseNet
改进模型DenseAtt
改进模型样本集1 0.714810 0.662648 0.714638 0.872522 0.849003 0.866694 样本集2 0.684141 0.654970 0.698584 0.841869 0.836759 0.843355 样本集3 0.718732 0.669550 0.710328 0.852613 0.837046 0.833949 表 3 不同网络的平均检测时间
Table 3 Mean detection time of different networks
s 样本集 ResNet
原模型DenseNet
原模型DenseAtt
原模型ResNet
改进模型DenseNet
改进模型DenseAtt
改进模型样本集1 0.508924 0.556057 0.558442 0.688702 0.703527 0.726827 样本集2 0.608456 0.634376 0.663617 0.934323 0.930722 0.991752 样本集3 0.659190 0.677558 0.680201 0.926070 0.935717 0.951665 表 4 不同方法的颗粒累计占比误差的统计标准差
Table 4 Statistical standard deviation of particles accumulative proportion error of different methods
方法 样本集1 样本集2 样本集3 Canny 0.270028 0.243427 0.154735 Watershed 0.223609 0.207637 0.155501 UNet 0.256473 0.228826 0.183079 UNet+Watershed 0.300005 0.261020 0.220387 ResNet+原模型 0.158070 0.153285 0.120736 DenseNet+原模型 0.368956 0.348426 0.255952 DenseAtt+原模型 0.149885 0.143315 0.109891 ResNet+改进掩膜 0.013807 0.025567 0.012105 DenseNet+改进掩膜 0.040248 0.040512 0.024433 DenseAtt+改进掩膜 0.018250 0.030876 0.006074 表 5 不同方法的尺寸分布相关性
Table 5 Correlation of size distribution between different methods
方法 样本集1 样本集2 样本集3 Canny 0.199998 0.439937 0.642170 Watershed 0.285612 0.542120 0.627450 UNet 0.128555 0.344368 0.438553 UNet+Watershed 0.087232 0.287599 0.278089 ResNet+原模型 0.611606 0.574975 0.694612 DenseNet+原模型 0.431583 0.494701 0.610243 DenseAtt+原模型 0.640869 0.648856 0.780750 ResNet+改进掩膜 0.935148 0.894378 0.983772 DenseNet+改进掩膜 0.783157 0.860752 0.969065 DenseAtt+改进掩膜 0.940563 0.940095 0.991209 -
[1] CANNY J. A computational approach to edge detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,8(6):679-698.
[2] YANG X, REN T, TAN L. Size distribution measurement of coal fragments using digital imaging processing[J]. Measurement,2020,160:107867. doi: 10.1016/j.measurement.2020.107867
[3] ZHENG J, HRYCIW R D. Soil particle size and shape distributions by stereophotography and image analysis[J]. Geotechnical Testing Journal,2017,40(2):1-14.
[4] SHELHAMER E, LONG J, DARRELL T. Fully Convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39:640-651.
[5] RONNEBERGER O, FISCHER P, BROX T. U-net: convolutional networks for biomedical image segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. USA: IEEE, 2015: 234-241.
[6] REN S, HE K, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39:1137-1149. doi: 10.1109/TPAMI.2016.2577031
[7] CAI Zhaowei, VASCONCELOS N. Cascade R-CNN: delving into high quality object detection[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2018: 6154-6162.
[8] LIU W , ANGUELOV D, ERHAN D, et al. SSD: single shot multibox detector[C]// European Conference on Computer Vision. [S. l. ]: arxiv, 2016: 21-37.
[9] REDMON J, FARHADI A. YOLOv3: an incremental improvement[EB/OL]. (2018-08-08)[2022-01-22] https://arxiv.org/abs/1804.02767?fbclid=IwAR3A2nyK8EPa-JcoGp_N6tNqVkKOmy2J1ip5AYcEki5FzkZ62E3z6tbNSy0
[10] HAFIZ A M, BHAT G M. A survey on instance segmentation: state of the art[J]. International Journal of Multimedia Information Retrieval,2020,9(3):171-189. doi: 10.1007/s13735-020-00195-x
[11] LI Y, QI H, DAI J, et al. Fully convolutional instance-aware semantic segmentation[C]// IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2017: 4438-4446.
[12] HE K, GKIOXARI G, DOLLÁR P, et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2020,42:386-397. doi: 10.1109/TPAMI.2018.2844175
[13] 鄢然, 廖记登, 吴小勇, 等. 基于卷积神经网络的砂石骨料分类方法研究[J]. 激光与光电子学进展,2021,58(20):211-218. YAN Ran, LIAO Jideng, WU Xiaoyong, et al. Research on classification method of sand and gravel aggregate based on convolutional neural network[J]. Laser & Optoelectronics Progress,2021,58(20):211-218.
[14] 张芳, 吴玥, 肖志涛, 等. 基于U-Net卷积神经网络的纳米颗粒分割[J]. 激光与光电子学进展,2019,56(6):137-143. ZHANG Fang, WU Yue, XIAO Zhitao, et al. Nanoparticle segmentation based on U-net convolutional neural network[J]. Laser & Optoelectronics Progress,2019,56(6):137-143.
[15] 朱大庆, 曹国. 基于全卷积网络的砂石图像粒径检测[J]. 计算机与现代化,2020(7):111-116. doi: 10.3969/j.issn.1006-2475.2020.07.021 ZHU Daqing, CAO Guo. Particle size detection of sandstone images based on full convolutional network[J]. Computer and Modernization,2020(7):111-116. doi: 10.3969/j.issn.1006-2475.2020.07.021
[16] LIANG Z Y, NIE Z H, AN A J, et al. A particle shape extraction and evaluation method using a deep convolutional neural network and digital image processing[J]. Powder Technology,2019,353,:156-170. doi: 10.1016/j.powtec.2019.05.025
[17] 李夏霖. 基于机器视觉的颗粒物缺陷检测[D]. 成都: 电子科技大学, 2019. LI Xialin. Paticle defect detection based on machine vision[D]. Chengdu: University of Electronic Science and Technology of China, 2019.
[18] 申志超. 基于YOLO的颗粒状农作物检测算法研究[D]. 哈尔滨: 哈尔滨工业大学, 2021. SHEN Zhichao. Research on detection algorithm of granular cropsbased on YOLO[D]. Harbin: Harbin Institute of Technology, 2021
[19] 谢涛. 基于深度学习的微细粒矿物识别研究[D]. 徐州: 中国矿业大学, 2020. XIE Tao. Research on recognition of fine-grained minerals based on deep learning[D]. Xuzhou: China University of Mining and Technology, 2020.
[20] HUANG G, LIU Z, et al. Densely connected convolutional networks[C]// IEEE Conference on Computer Vision and Pattern Recognition. USA: IEEE, 2017: 2261-2269.
[21] HE K, ZHANG X, REN S, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37:1904-1916. doi: 10.1109/TPAMI.2015.2389824
[22] JIE H , LI S, ALBANIE S, et al. Squeeze-and-excitation networks[C]//IEEE Transactions on Pattern Analysis and Machine Intelligence. USA: IEEE, 2017 : 99.
[23] WOO S H , PARK J C , LEE J Y , et al. CBAM: convolutional block attention module[C]// European Conference on Computer Vision. [S. l. ]: arxiv, 2018: 3–19.
[24] BANERJEE S, CHAKRABORTI P C, SAHA S K. An automated methodology for grain segmentation and grain size measurement from optical micrographs[J]. Measurement,2019,140:142-150. doi: 10.1016/j.measurement.2019.03.046
-
期刊类型引用(11)
1. 王晓健,孙小叶,连海涛,王子瑄. 夜景照明亮度比例视觉适宜性评价仿真研究. 计算机仿真. 2024(06): 411-415 . 百度学术
2. 饶繁星,李浩然,向玉鹏,曾美祖,杨小品. 基于图像处理的小口径球面光学镜片划痕检测方法研究. 工业控制计算机. 2024(08): 70-71 . 百度学术
3. 高万芳. 基于卷积神经网络的柔性皮革材料缺陷无损检测技术研究. 中国皮革. 2024(10): 20-23 . 百度学术
4. 李彦,王卫斌. 基于机器视觉技术的皮革材料缺陷可视化研究. 中国皮革. 2023(02): 55-58+64 . 百度学术
5. 任菊香,李玉鑫. 车辆盲区检测导航系统的设计. 山西电子技术. 2023(01): 24-27 . 百度学术
6. 唐艺明. 基于机器视觉的轴承表面微小缺陷检测技术. 佳木斯大学学报(自然科学版). 2023(04): 102-105 . 百度学术
7. 王也夫. 基于不同视觉检测技术的体育用品合成革缺陷检测研究. 中国皮革. 2023(08): 102-105 . 百度学术
8. 廖达海,殷明帅,罗宏斌,黄佳雯,吴南星. 基于耦合去噪算法的航空发动机中Si_3N_4圆柱滚子表面缺陷的检测方法. 兵工学报. 2022(01): 190-198 . 百度学术
9. 黄一平. 基于视觉显著度的篮球用天然皮革缺陷可视化检测研究. 中国皮革. 2022(10): 36-39+43 . 百度学术
10. 王爱英. 基于独立分量分析的纺织品缺陷快速检测系统. 信息技术. 2022(11): 117-123+129 . 百度学术
11. 赵青青. 大数据挖掘与分析在图像处理中的应用与实践研究. 信息与电脑(理论版). 2022(17): 119-121 . 百度学术
其他类型引用(7)