Research on rotary drum assembly and adjustment technology based on improved probabilistic Hough transform
-
摘要: 为解决裂隙灯转鼓装校时人眼对转鼓图像中的十字叉丝的中心距离计算存在的不确定性问题,提出一种基于改进的概率Hough变换的转鼓数字化装校技术。通过对原图像预处理、改进概率Hough直线检测、制定直线交点筛选规则,实现了高精度的转鼓图像十字叉丝直线检测和叉丝中心距离计算。实验表明,改进的概率Hough变换能够准确地检测图像中的十字叉丝,并将多余直线100%拟合成4条直线;利用交点筛选规则可以准确筛选出2个有效交点。该装校技术能够实现转鼓数字化装校,以数字信息来提示工人转鼓装校优劣,且能够满足转鼓生产线上的实际需求。Abstract: In order to solve the problem that when installing the slit lamp in the rotary drum, the human eye has an uncertainty of calculating the center distance of the cross-hair in the drum image, a digital adjustment technique based on the improved probabilistic Hough transform was proposed. By preprocessing the original image, improving the probability Hough line detection, and formulating the line intersection screening rules, the high-precision drum image cross-hair straight line detection and cross-hair center distance calculation were realized. Experiments show that the improved probability Hough transform can accurately detect the crosshairs in the image and fit the excess straight line 100% into 4 straight lines; and the intersection point screening rule can be used to accurately screen out 2 effective intersection points. The adjustment technology can realize digital assembly of rotary drum and the digital information can be used to remind the workers of the adjustment of drums better or, which can meet the actual needs of the drum production line.
-
引言
在新能源开发技术领域,光伏发电能够解决能源危机、减少环境污染以及实现可持续发展,其作为一种绿色环保的新能源技术得到了社会的广泛认可[1]。然而光伏电池板上的缺陷严重影响其使用寿命和日常生产生活安全,因此缺陷检测的市场需求越来越大[2]。光致发光(photoluminescence, PL)[3-4]缺陷检测技术无需对光伏电池板通电,对户外光伏电池板原有接线线路也无需做任何变动,在安全性、便捷性、可操作性上有着不可替代的优势[5]。因此,PL技术在光伏电池板的缺陷检测中引起了广泛关注[6]。
PL检测技术利用图像传感器将光伏电池板的辐射光经光电转换输出为数字图像,从而进行缺陷检测[7]。由于亮环境下太阳光的辐射波段与PL辐射光波段存在重合部分,亮环境下难以观察光伏电池板的PL现象[8]。随着环境光强度增加,光伏电池板的缺陷信息将被彻底淹没[9]。因此目前成熟的光伏电池板PL缺陷检测需在暗环境下进行[10]。一方面,由于户外分布式光伏电池板从室外转移至室内暗环境的过程较为繁琐,增加了移动时导致光伏电池板损坏的可能性,大幅降低检测效率并增加人工成本。另一方面,倘若在夜晚进行室外缺陷检测存在时间和环境上的限制,进而限制了PL检测技术在光伏电池板大规模检测中的应用潜力[11]。因此在亮环境下进行光伏电池板PL缺陷检测成为亟待解决的问题。
DaySy设备由德国GMC-I光伏检测公司生产,搭载分辨率为1 600万像素的硅基CCD相机,光源均匀照射光伏电池板,激励面均匀性高达97%,每日可高效地检测3 000块小型光伏电池板,但其检测环境仍为密闭暗箱。BHOOPATHY R[12]与KUNZ O [13]团队均使用分辨率640×512 pixel的面阵InGaAs相机进行PL缺陷检测,前者在上位机端求取调制周期内激励前后图像的差值,后者拍摄两个不同红外波段PL图像,由上位机计算差分图像。两者均有效减小环境光的干扰,但均未在硬件端实时处理。同时工业上进行室外大面积光伏电池板PL缺陷检测,对光源的均匀性和功耗问题有较高的要求。因此当使用线阵相机时,可以将线阵光源作为辅助光源,相比面阵光源,更容易实现打光的均匀性,并能够解决高强度匀光面阵光源难以制作以及面阵光源长时间工作功耗过高的困扰[14]。另外线阵相机相比面阵相机而言成本更低,分辨率具有更高扩展性。同时光伏电池板辐射出近红外光,在近红外波段相对于 Si 材料而言,InGaAs 材料具有更高的量子效率[15]。而在可见光波段,InGaAs 材料的量子效率极低,使用 InGaAs 相机能够进一步提高光伏电池板缺陷检测系统对亮环境下环境光的适应性[16]。
针对在亮环境下光伏电池板PL缺陷检测难以实现的问题,本文拟使用0~1 kHz频率可调的稳定调制电流信号驱动850 nm光源,从而激励光伏电池板辐射出近红外光,由线阵InGaAs相机[17]获取图像信号,并通过现场可编程门阵列(field programmable gate array, FPGA)实时处理缺陷信息。当环境照度在2.9 lx~(12 580±5) lx范围内变化时,此方法能够有效抑制环境光的干扰,可为亮环境下大面积光伏电池板的连续性缺陷检测提供一种有效手段。
1 PL检测技术
半导体材料的PL效应是当物体受到外部光源的照射时,入射的光子能量高于材料本身的带隙能量时,半导体材料会处于激发态,此时入射的光子会被吸收,载流子被激发到更高的能级,即在导带顶和价带底分别形成电子和空穴。此时,它是一个不稳定的准平衡状态,在相应能级上停留极短的时间后,电子会向价带的最小值进行能量和动量的弛豫。在弛豫过程之后,载流子被去激发并返回到较低的能级,电子和空穴复合产生的能量以光子的形式向外释放。
光伏电池板的主要制备材料是硅,其带隙宽度为1.12 eV。通过式(1),当对光伏电池板外加光源激励时,推断出硅光伏电池板所辐射光波段的中心波长约为1 100 nm。由于光伏电池板中杂质的存在,辐射光波段的实际中心波长约为1 150 nm[18]。无缺陷处的辐射光强度强于有缺陷处,使用光电传感器捕获存在强弱差异的光波段,数字图像上显示缺陷图样。
$$ \lambda=\frac{\mathrm{h\mathit{c}}}{E\left(\text{eV}\right)} $$ (1) 式中:$E\left( {{\text{eV}}} \right)$为禁带宽度;${\mathrm{h}}$为普朗克常数;$ \mathrm{\mathit{c}} $为光在真空中的传播速度;$\lambda $是半导体化合物的辐射波长。
当进行PL检测时,光伏电池板上不同程度的缺陷点对光照变化具有不同的响应能力。无缺陷点对外界光照变化具有较强的响应能力,而严重缺陷点则几乎无响应,在数字图像上表现为亮暗变化。通过相机直接获取PL成像装置在不同环境照度下的原始图像,可以发现在暗室20 lx左右时,呈现出黑斑、黑团和隐裂等缺陷的细节图像,具有较高的对比度,如图1所示,其中图1(a)为黑斑图样,图1(b)为黑团图样,图1(c)为隐裂图样。其中黑斑和黑团是由于硅棒的熔化温度与热场温度不匹配,过大的热应力导致硅片中的位错。产生隐裂的因素有很多,可能是光伏电池板在挤压、碰撞等外力作用下形成。当进行亮环境下光伏电池板PL检测,随着照度的不断增加,图像对比度降低,细节全部丢失,无法进行后续的缺陷提取处理。
不同外界环境光照下的隐裂图样如图2所示。当外界环境光照度仅为560 lx左右时,PL现象仍略微存在,如图2(a)所示。当外界环境光照度为(2 220±5) lx左右时,PL现象已被环境光淹没,如图2(b)所示。当照度为(12 580±5) lx,对比度严重下降,光伏电池板的缺陷信息已经被完全淹没,如图2(c)所示。
出现上诉情况的原因是在亮环境下进行PL检测时,光伏电池板发射中心波长为1 150 nm的近红外光,而在白天环境中环境光也存在相同的波段。通过实验分析,在短时间内,环境光经过近红外镜头和滤光片之后被视为直流分量,图像噪声增加,信噪比降低。与暗室PL检测相比,直流分量在数字图像上表现为灰度值整体增加,对比度整体降低。随着外界光照度的增加,光伏电池板的缺陷信息将被完全掩盖。
2 亮环境下光伏电池板PL检测
2.1 亮环境下光伏电池板PL检测装置
实验室阶段亮环境下光伏电池板PL检测装置如图3所示,技术成熟之后将由无人机搭载相机进行室外亮环境下缺陷检测。本装置主要由512×1分辨率的线阵InGaAs相机(装有近红外镜头和(1 150±50) nm带通滤光片,镜头采用TAWOV 公司的GF5018M SWIR 镜头)、光伏电池板、850 nm LED阵列、快速PWM斩波恒流电源、传送带以及上位机等组成。其中850 nm光源的选取是在控制功率和 LED珠数相同的前提下,对390 nm UV LED、480 nm蓝光 LED 和850 nm近红外 LED进行光激发实验,整理原始PL图像灰度分布信息。结果表明,850 nm LED 对光伏电池板具有优越的激励效果。因此,检测装置选择了中心波长为850 nm的LED阵列。
利用斩波恒流电源输出调制电流信号,驱动实验阶段使用的850 nm面阵光源输出调制光激发光伏电池板,光伏电池板发出 1 150 nm的光波段,线阵InGaAs相机采集光信号,通过CameraLink接口将图像传送至上位机内部,经过数据处理得到光伏电池板缺陷图像,利用数字图像处理技术进行缺陷图像的预处理,得到缺陷信息。此时线阵InGaAs相机捕获白天环境光与光伏电池板辐射出的周期调制光的叠加信号,其中白天环境光只引起图像灰度值的整体增加。
2.2 亮环境下光伏电池板PL检测算法模型
本算法模型在2.9 lx~(12 580±5) lx照度下,采用调制光开展PL检测。无缺陷点的灰度值随着调制激励光源明暗周期性变化而产生一定幅值跳变,缺陷点的灰度值跳变幅值较小或无变化。总体可认为光伏电池板某处的受损程度越小,该处灰度值跳变幅值越大。通过获取具有调制信息的灰度图像序列,不同程度缺陷点的像素灰度值呈现如图4所示的跳变状态。
在图4图像序列中,大致均匀分布着高低振幅激励光信号所传输的灰度信息。一个调制周期内,不同位置上的像素灰度值变化取决于缺陷严重程度。无缺陷点像素灰度值同缺陷点有较大的差别,此差别较好地表征了光伏电池板的缺陷信息。对于同一个像素位置,以相对平均值的误差值来表征该像素的缺陷程度。随着图像序列的偏移,该误差值更加稳定。图像中每个像素相对于其平均值的时域误差值$ \mathop G\nolimits_e \left( n \right) $如式(2)所示:
$$ \mathop G\nolimits_e \left( n \right) = X\left( n \right) - \frac{{\displaystyle\sum\nolimits_1^N {X\left( n \right)} }}{N} $$ (2) 式中:$X\left( n \right)$为每个像素在时域上的灰度值;$n$为图像编号;$N$为样本个数。
该算法最终对偏差值进行运算,获得平均值$ \mathop G\nolimits_M (X) $,该平均值可以表征图像中每个像素点相对于平均值的跳跃程度。为了便于算法的后续硬件逻辑描述,逻辑运算应尽可能简单,采用平均绝对误差(mean absolute error, MAE)的数学表达式进行逻辑运算,如式(3)所示:
$$ \mathop G\nolimits_{{\mathrm{MAE}}} \left( X \right) = \frac{{\displaystyle\sum\nolimits_1^N {\left| {\mathop G\nolimits_e \left( n \right)} \right|} }}{N} $$ (3) 3 亮环境下光伏电池板PL检测算法硬件实现
亮环境下光伏电池板PL检测算法的硬件实现,关键在于匹配成像精度、传送带速度、相机行频和快速PWM斩波恒流电源的调制频率,使相机成像清晰。
相机需达到一定的成像精度,满足工程上的应用。成像精度计算如式(4)所示:
$$ P = \frac{L}{D} $$ (4) 式中:$P$为成像精度;$L$为物体实际物理长度;$D$为物体在图像中所占像素数。
由成像精度确定物体对应的运动行频,如式(5)所示:
$$ \mathop V\nolimits_W = \frac{{\mathop V\nolimits_C }}{P} $$ (5) 式中:$\mathop V\nolimits_W $为光伏电池板运动行频;$\mathop V\nolimits_C $为传送带速度。
当相机行频高于物体运动行频时,光伏电池板每行多次成像,此时图像拉伸,成像次数计算公式如式(6)所示:
$$ N = \frac{{\mathop V\nolimits_X }}{{\mathop V\nolimits_W }} = \frac{{\mathop V\nolimits_X \times P}}{{\mathop V\nolimits_C }} $$ (6) 式中:$\mathop V\nolimits_X $为相机行频;$N$为光伏电池板每行成像次数。
在实际成像时,每$N$行图像所携带的图像信息大致相同,忽略其变化。将$N$行图像进行处理,获得亮环境下缺陷图样。与此同时,线阵相机成像速率与物体运动速率相匹配,避免成像拉伸或压缩。
当缓存$N$行图像序列时,$N$至少为一次光调制周期内相机采集的图像行数,调制斩波电源的调制频率需满足式(7):
$$ \mathop f\nolimits_{{\mathrm{power}}} \geqslant \frac{{\mathop V\nolimits_X }}{N} $$ (7) 式中$ \mathop f\nolimits_{{\mathrm{power}}} $为斩波电源的调制频率。
相机直接采集调制辐射信号,呈现激励信号与不激励信号相间分布图像,如图5所示。
对于光伏电池板的缺陷成像需要达到一定的积分时间,使得相机清晰成像。对于本次成像实验的光伏电池板,通过FPGA调节线阵相机的积分时间以及控制其他时序的输出,使得相机输出行频$ \mathop V\nolimits_X $为400 line/s。通过调节传送带电机的各个参数,确定传送带匀速运动的速度$\mathop V\nolimits_C $为20 mm/s。调节光伏电池板与线阵InGaAs相机的距离,调节镜头焦距,使得成像精度为0.2 mm/pixel,为了方便硬件端的乘法和除法,$N$选用2、4或8。当$N$选用4时,最终可以确定斩波电源的调制频率应设置到100 Hz。各个参数的匹配如表1所示。
表 1 参数匹配表Table 1. Parameters matching成像精度/(mm·pixel−1) 传送带速度/(mm·s−1) 物体运动行频/(lines·s−1) 相机行频/(lines·s−1) 每行成像次数/次 调制频率/(Hz) 0.5 100 200 400 2 200 0.5 50 100 400 4 100 1.0 50 50 400 8 50 0.2 20 100 400 4 100 0.2 40 200 400 2 200 通过确定传送带速度,相机行频和斩波电源调制频率,从而对每4行图像序列完成平均绝对误差的硬件端处理。对于一次运算数据量较多时,可将数据在DDR(double data rate sdram)中缓存。而对于每一次算法处理数据量较少的情况,缺陷提取算法硬件端实现的逻辑设计可由3部分组成:建立4×1的滑动窗口,进行平均绝对误差算法计算以及控制最终的数据有效信号输出。
4×1 窗口的构建需基于 RAM 创建移位寄存器数组(shift register)。当缓存3行加1个像素点,由于相机存在512个像元,即取地址在 0、512、1 024和1 536 处的 4 个像素以构建 4×1 窗口。新数据进入移位寄存器,窗口内数据打拍更新,在图像上呈现为步长为 1 的滑动窗口。窗口构建示意图如图6所示。
将窗口内一列的数据进行缺陷显示的调制算法,每经过一个时钟周期,4×1窗口的数据进行更新。数据并行处理:数据(1-4)由并行的4个数据通道传输,并完成平均绝对误差运算。由于算法逻辑表达式复杂,为避免出现时序违例,插入三级寄存器以优化时序,分别对应在取数据(1-4)均值后、取数据(1-4)偏差值后、取偏差值的均值后。在硬件端的乘法使用左移运算符,除法使用右移运算符,从而简化逻辑。数据并行处理的示意图如图7所示。
对于数据有效信号,相对应需要进行有效信号与数据对齐。数据有效信号需随着有效数据的位置进行变化。倘若有效信号直接进行打拍操作,将浪费过多FPGA的触发器(flip flop, FF)资源。因此使用寄存器数组[3:0] sel_r的作为选择信号,初值赋为4’b0 001,对有效信号进行选择。通过将一行数据的初始有效信号valid,与其下一拍信号valid_next进行逻辑运算,产生脉冲信号pulse,进行选择信号的移位。每当一个脉冲信号来临,即一行的数据到来,选择信号左移一位。选择出最终的数据有效信号valid_finish。有效信号选取流程图如图8所示。
4 实验结果
通过上位机控制快速PWM斩波恒流电源以100 Hz的调制频率驱动光源,并控制传送带电机转速使传送带以20 mm/s匀速运动。调整线阵InGaAs相机的采集频率为400 lines/s,即相机每秒捕获400行图像序列。其中,每4个图像序列对应一个光调制周期。由国家计量技术规范JJF2061-2023《一级标准光伏组件校准规范》可知,缺陷检测时温度(25±2)℃,相对湿度≤75%,环境清洁通风,无影响仪器正常工作的磁场、机械振动,检查光伏电池板中是否存在肉眼无法观察的隐裂、虚焊、断栅等缺陷。本文检测装置符合国家计量标准实验条件,在室内有外界光照下进行实验,通过可调功率卤钨灯模拟太阳光以及幕布遮挡模拟较低环境光照度,采集亮环境下多组不同环境光照度的图像序列,基于时域误差的多帧图像处理,最终检测结果能够获取肉眼无法观察的隐裂等缺陷图样。算法前后对比效果如图9所示。
图9中选取的是具有代表性的4个光照条件下的对比图样。当环境照度为图9(a)中的560 lx,亮环境下环境光中的直流分量对光伏电池板的辐射光的干扰较小,原始图像仍然能够分辨缺陷信息。经过算法处理后,图像质量得到改善,图像中的隐裂显示的更加细腻;当环境照度达到图9(b)中的(2 200±5) lx,原始图像只能呈现微弱缺陷信息;当环境照度达到图9(c)中的(7 600±5) lx,缺陷信息几乎不显示;当环境照度达到图9(d)中的(12 580±5) lx时,隐裂已经完全被环境光覆盖,而算法后的对比度与信噪比得到明显提升。经过对调制图像序列的多行处理,成功提取了光伏电池板的缺陷,缺陷显著性不亚于图1中20 lx的暗环境采集图样。实现了亮环境下PL缺陷检测。随着亮环境下环境光照度增加,经过算法处理后,图像中引入少量的白点噪声,通过添加中值滤波算法有效地抑制噪声。与此同时,算法处理前物体运动速率小于线阵相机成像速率,出现图像拉伸的现象,算法处理后两个速率匹配,从而正常成像。由于多次重复采集图像时,对应的光伏电池板的位置有所不同,因此对比图中的缺陷信息存在位置不完全对等情况。
5 结论
现阶段,由于亮环境下环境光将覆盖光伏电池板PL辐射波段,因此光伏电池板的PL缺陷检测仍需在暗室中进行。通过分析亮环境下环境光的直流特性,提出了一种亮环境下缺陷检测方法,实现了亮环境下缺陷显示,为后续进行室外亮环境下缺陷检测提供了原理性验证。该方法使用快速PWM斩波恒流电源输出100 Hz调制电流信号,驱动近红外光源输出调制光激励光伏电池板,并基于平均绝对误差算法从图像序列中提取缺陷信息。实验结果表明,在2.9 lx~(12 580±5) lx环境照度下,缺陷图样对比度得到明显提升,能够满足人眼对缺陷的识别,该方法适用于亮环境下光伏电池板的PL缺陷检测。同时使用线阵InGaAs相机进行检测,为工业上实现亮环境下大面积光伏电池板的连续性PL缺陷检测提供了可行性。
-
表 1 直线检测结果对比表
Table 1 Straight line detection results comparison table
图像尺寸 标准PPHT变换 改进PPHT变换 耗时/ms 直线数量/条 耗时/ms 直线数量/条 1 280×960 549 11 579 4 -
[1] 隋成华, 沃圣杰, 高楠, 等. 数码裂隙灯显微镜光学系统的设计与实现[J]. 光子学报,2017,46(7):179-187. SUI Chenghua, WO Shengjie, GAO Nan, et al. Design and implementation of digital slit-lamp microscope optical system[J]. Acta Photonica Sinca,2017,46(7):179-187.
[2] 陈华, 沈建新, 姚凤莹. 基于裂隙灯转鼓的数字化装校技术研究[J]. 应用光学,2019(1):127-131. CHEN Hua, SHEN Jianxin, YAO Fengying. Research on digital alignment technology based on rotating drum of slit-lamp[J]. Journal of Applied Optics,2019(1):127-131.
[3] SHAPIRO S D. Feature space transforms for curve detection[J]. Pattern Recognition,1978,10(3):129-143. doi: 10.1016/0031-3203(78)90022-5
[4] DUDA R O, HART P E. Use of the hough transformation to detect lines and curves in pictures[J]. Communications of the Association for Computing Machinery,1972,15(1):11-15. doi: 10.1145/361237.361242
[5] HOUGH P V C. A method and means for recognizing complex patterns, US 3069654[P]. U S: Patent3, 1962-03-25.
[6] 王竞雪, 朱庆, 王伟玺, 等. 结合边缘编组的Hough变换直线提取[J]. 遥感学报,2014,18(2):378-389. doi: 10.11834/jrs.20143127 WANG Jingxue, ZHU Qing, WANG Weixi, et al. Straight line extraction algorithm by Hough transform combining edge grouping[J]. Journal of Remote Sensing,2014,18(2):378-389. doi: 10.11834/jrs.20143127
[7] XU L, OJA E, KULTANEN P. A new curve detection method: randomized Hough transform (RHT)[J]. Pattern Recognition Letters,1990,11(5):331-338. doi: 10.1016/0167-8655(90)90042-Z
[8] MATAS J, GALAMBOS C, KITTLER J. Robust detection of lines using the progressive probabilistic Hough transform[J]. Computer Vision and Image Understanding,2000,78(1):119-137. doi: 10.1006/cviu.1999.0831
[9] 刘通, 陈浩, 沈鸣, 等. 随机HOUGH变换提取空间碎片激光测距有效回波[J]. 中国激光,2016,43(4):175-185. LIU Tong, CHEN Hao, SHEN Ming, et al. Effective echo extraction for space debris laser ranging using randomized Hough transform[J]. Chinese Journal of Lasers,2016,43(4):175-185.
[10] 鄢然, 张李超, 张宜生, 等. 基于特征识别的经编布花边实时识别算法[J]. 激光与光电子学进展,2015,52(11):103-107. YAN Ran, ZHANG Lichao, ZHANG Yisheng, et al. Tricot lace real-time recognition method based on feature recognition[J]. Laser & Optoelectronics Progress,2015,52(11):103-107.
[11] 巩学美, 高昆, 王研, 等. 一种基于概率Hough变换的遥感图像中线目标检测新方法[J]. 影像科学与光化学,2017,35(2):162-167. GONG Xuemei, GAO Kun, WANG Yan, et al. A novel linear target detection method based on improved probability Hough transform in remote sensing imagery[J]. Imaging Science and Photochemistry,2017,35(2):162-167.
[12] 张振杰, 郝向阳, 刘松林, 等. 基于HOUGH一维变换的直线检测算法[J]. 光学学报,2016,36(4):0412005. ZHANG Zhenjie, HAO Xiangyang, LIU Songlin, et al. Line detection based on Hough one-dimensional transform[J]. Acta Photonica Sinca,2016,36(4):0412005.
[13] 段汝娇, 赵伟, 黄松岭, 等. 一种基于改进HOUGH变换的直线快速检测算法[J]. 仪器仪表学报,2010,31(12):2774-2780. DUAN Rujiao, ZHAO Wei, HUANG Songling, et al. Fast line detection algorithm based on improved Hough transformation[J]. Chinese Journa of Scientific Instrument,2010,31(12):2774-2780.
[14] 陈雪燕, 余雷, 费树岷. 切换滤波方法在深度图像噪声处理中的应用[J]. 控制理论与应用, 2019, 36(6): 975-982. CHEN Xueyan, YU Lei, FEI Shumin. Switching filtering method with its application of depth image noise processing[J]. Control Theory & Applications, 2019, 36(6): 975-982.
[15] 曾接贤, 周沥沥, 符祥. 改进的BEAMLET与CANNY相结合提取复杂图像线特征[J]. 中国图象图形学报,2012,17(7):775-782. ZENG Jiexian, ZHOU Lili, FU Xiang. Complex image line feature extraction based on improved Beamlet transform and the Canny operator[J]. Journal of Image and Graphics,2012,17(7):775-782.