一种抗姿态与表情变化的三维人脸识别方法

蔡川丽, 张建平, 张彦博

蔡川丽, 张建平, 张彦博. 一种抗姿态与表情变化的三维人脸识别方法[J]. 应用光学, 2018, 39(4): 491-499. DOI: 10.5768/JAO201839.0402002
引用本文: 蔡川丽, 张建平, 张彦博. 一种抗姿态与表情变化的三维人脸识别方法[J]. 应用光学, 2018, 39(4): 491-499. DOI: 10.5768/JAO201839.0402002
Cai Chuanli, Zhang Jianping, Zhang Yanbo. 3D face recognition method against gesture and expression change[J]. Journal of Applied Optics, 2018, 39(4): 491-499. DOI: 10.5768/JAO201839.0402002
Citation: Cai Chuanli, Zhang Jianping, Zhang Yanbo. 3D face recognition method against gesture and expression change[J]. Journal of Applied Optics, 2018, 39(4): 491-499. DOI: 10.5768/JAO201839.0402002

一种抗姿态与表情变化的三维人脸识别方法

基金项目: 

国家自然科学基金 61763045

延安大学博士科研启动项目 YDBK2017-21

延安大学2016年度校级科研计划项目“伴随伸缩矩阵的二元周期小波框架的构造” YDQ2016-23

详细信息
    作者简介:

    蔡川丽(1988-),女,陕西韩城人,硕士,助教,主要研究方向为小波框架与图像处理。E-mai:2855772727@qq.com

    通讯作者:

    张建平(1982-), 男,陕西榆林人,博士,讲师,主要研究方向为小波分析。E-mai:2855772727@qq.com

  • 中图分类号: TN29;TP391

3D face recognition method against gesture and expression change

  • 摘要: 为了提高人脸在姿态和表情变化下的识别率,结合局部平面距离(DLP)对曲面局部凹凸性优良的判断能力,提出了一种采用人脸的等距不变表示形式来匹配的人脸识别方法。首先,对深度摄像头采集到的深度图像进行距离约束、位置约束、转换等操作,得到干净完整的三维人脸,利用三维人脸上每一点DLP值确定鼻尖点,利用聚类的思想确定鼻根点;其次,采用改进的快速推进算法计算人脸的测地距矩阵,设置阈值并切割出有效的人脸区域;最后,计算有效的人脸区域的高阶矩特征,作为人脸的特征向量进行匹配。实验结果表明,对于不同的数据库,本文算法的识别率接近97%;将本文算法与基于轮廓线特征的人脸识别算法以及基于Gabor特征的人脸识别算法进行比较,其识别率分别提高了14.1%和8.3%,同时有着较高的运算效率。
    Abstract: In order to improve the facial recognition rate under the change of posture and expression, combined with the ability of local plane distance (DLP) to judge the convexity of local curved surface, a face recognition method based on face equidistant invariant representation was proposed. Firstly, several operations such as distance constraint, location constraint and transformation were conducted on the depth image captured by the deep camera to get the clean and complete 3D face; then the nose tip was determined by the DLP value of every point on the 3D face, and the nasal root was determined by the clustering idea; secondly, the improved fast propulsion algorithm was used to calculate the geodesic distance matrix of face, then the threshold value was set and the effective face area was cut out; finally, the high-order moment feature of the effective face area was calculated as the feature vector of face for matching. The experimental results show that the recognition rate of this algorithm is close to 97% for different databases. Compared with the face recognition algorithms based on contour features and Gabor features, the recognition rate of this algorithm is increased by 14.1% and 8.3%, respectively, while having a high computing efficiency.
  • 高功率激光系统[1-3]中光学器件的镀膜受生产工艺和使用环境的影响,不可避免地存在缺陷与污染。在使用中以其为吸收中心产生的热量会导致器件局部温升,转化为热机械应力,进一步导致波前畸变等限制系统功率容量的不良因素。因此,在高功率激光系统设计中,器件吸收损耗的测量对系统功率容量的设计具有重要意义。

    极低吸收率的测量通常采用激光量热法(laser calorimetry)[4-5],直接利用热传感器测量激光辐照下样品产生的热量,通过与入射光能对比,获得样品的吸收率。该方法需要足够长的辐照和冷却时间以获得准确的测量结果。此外多种基于光热效应的方法也被用来测量吸收率,例如光热偏折法[6-7],光热解谐法[8-9]、表面热透镜效应法[10],光热自相位调制法[11]等,通常这类方法需要使用非常灵敏的空间光位置探测器,还需要将测量结果通过一系列与材料本身有关的复杂标定程序,才能获得吸收率的绝对值。

    随着红外热像仪和高功率激光器的普及,激光激发材料的温升可以直接被热像仪观测记录形成热像,在无损检测、功率耗散监测及生物医药[12-14]领域获得广泛应用,并为测量材料光吸收提供了可能性。但是对于吸收率极小的光学镀膜材料,吸收造成的温升往往难以达到热像仪的噪声等效温差(NETD),热像信噪比(signal-to-noise ratio, SNR)非常低,故很难提取到准确的温升值,为精确计算吸收率带来了困难。本文利用锁相热像(lock-in thermography, LIT)技术有效提升了热像信噪比,并利用标准样品标定法,实验测量了Nb2O5光学镀膜的吸收率。

    锁相热像技术,也称热波成像[15-18],是一种主动热成像技术。通过使用周期调制的热源(可为电-热,光-热等激励形式,调制频率称为锁相频率,记为flock-in)加载在待测样品上,在样品中形成周期调制的温度起伏(被称为热波),观测到的时变二维温度分布记为$T\left( {x,y,t} \right)$,在实际实验条件下,热像仪记录的热波为离散的时间序列${T_i}\left( {x,y} \right)$i=1~nn为相机采样率)。取同频同相的正弦相关函数${K_j} = 2\sin \left( {2{{\text{π}}}\left( {j - 1} \right)/n} \right)$,通过相关运算将热波的交变项提取出来,表示为

    $$PS\left( {x,y} \right) = \frac{1}{{nN}}\sum\limits_{i = 1}^N {\sum\limits_{j = 1}^n {{K_j}{T_{i,j}}\left( {x,y} \right)} } $$ (1)

    可以看到,仅同频交变的信号得以保留,并通过多周期的积分获得放大,而与调制非相关的热背景被平均和抑制,总体信噪比得到提升,同时还有效抑制了不同周期之间热漂移和背景杂散光。通过测得的光热信号可反演出吸收导致的温升信息,进一步可通过材料的热学特性计算出材料在激励激光作用下的吸收率。

    利用有限元方法(FEM)对薄膜光致热吸收和周期性热弛豫进行分析[19]。选择熔石英衬底通过Ti离子注入形成的标准薄膜吸收样品,吸收率为7×10−5,光源为波长1 060 nm的连续波激光,被调制为周期4 s的方波信号,样品表面光斑尺寸173 μm(与热像仪像素尺寸相当),激励光功率密度为1.3 GW/m2,初始温度为26 ℃(299 K),得到的温升曲线如图1所示。

    图  1  4个锁相周期中样品热吸收温升与随机热噪声
    Figure  1.  Thermal absorption temperature rise and random thermal noise in 4 lock-in periods

    可以看到,薄膜吸收光能产生的热弛豫时间小于所选取的锁相周期,在每个锁相周期中,温度都已经达到了准稳态。而吸收造成的温升为0.35 K,与标准差为0.17 K的背景噪声的比衬度仅为2。

    本研究中搭建的LIT实验系统框图如图2所示。

    图  2  LIT实验系统示意图
    Figure  2.  Schematic diagram of LIT experimental setup

    系统中抽运激光为红外连续激光(SPI redPOWER SP-200C),工作波长1 060 nm,通过TTL控制激光电源产生T=4 s的方波信号(flock-in=0.25 Hz),光束经透镜汇聚,以34°角入射到样品表面,光斑直径173 μm,中红外波段非制冷焦平面阵列热像仪(Optris PI 230,探测波长7.5 μm~13 μm)收集垂直于样品表面辐射出的热波信号,热像仪采样率设置为8帧/s,通过控制计算机与抽运激光的调制信号谐调,实现触发采样和数据采集。

    本研究中将光热信号绝对幅度-背景噪声的比率定义为信噪比[20]。表达式为

    $${\rm{SNR}} = 20 \times \lg \left( {\frac{{| {\overline {PS} - \overline N } |}}{{\sigma \left( N \right)}}} \right)$$ (2)

    式中:$\overline {PS} $为激发区域中光热信号的均值;$\overline N $为背景(临近激光激发区域周边的同材质均匀样品表面)温度均值;$\sigma \left( N \right)$为背景温度标准差,反映了背景区域温度起伏,即噪声水平。

    实验研究了信噪比随锁相周期增加的提升,实验样品为标准Ti离子注入吸收薄膜(样品特性及实验条件与2.1中所述相同),结果如图3所示。对比在激光辐照下获得的传统稳恒热像和实验获得的锁相热像,稳恒热像3(a)中背景噪声水平约为0.17 K,信号幅度为0.19 K,热信号湮灭在背景噪声中,同时视场中不同温度的物体形成的复杂背景热像对点状激发区域中激光激发热温升的分析造成了影响;而通过8个锁相周期的相关运算,背景噪声被抑制到0.02 K的水平,信噪比逐步提升到15 dB,如插图3(b)所示,此时提取到的激励点热温升信号PS可认为全部来源于激光能量,有利于定量测量薄膜的吸收率。

    图  3  LIT信噪比随锁相周期数的提升
    Figure  3.  Increasement of LIT SNR by number of lock-in periods

    在线性吸收区,样品吸收率和产生的光热信号幅值存在简单关系[20],如下式所示:

    $$A = C \cdot PS$$ (3)

    式中:A为吸收率;PS为激发点的光热信号强度幅值;系数C仅依赖于样品特性和实验条件(薄膜厚度、薄膜和衬底的热容率及热导率、激励功率、入射角等),对同样条件,C的取值相同。

    为了获得样品的绝对吸收率,需要使用吸收特性已知的标准样品进行系统标定。对于标准样品有:

    $${A_{CS}} = {C_{CS}} \cdot P{S_{CS}}$$ (4)

    式中:ACS为使用其他标准方法测量获得的已知吸收率;PSCS为实验条件下测得的标定样品光热信号强度。研究中我们使用了一组自制的标准吸收样品,在熔石英衬底(型号C7980,直径25.4 mm,厚度2 mm)表面注入Ti离子形成均匀吸收层[21],离子注入剂量分别为2×1015/cm2、5×1015/cm2、2×1016/cm2、及5×1016 /cm2,注入能量为70 keV,形成的吸收层厚度约为100 nm。利用标准分光光度法(spectrophotometric)[22]测量得到的吸收率-离子注入剂量关系如图4所示。将锁相光热像法测量得到的光热信号与其相比较,得到系数CCS的值为7.1×105

    图  4  使用标准分光光度法测量的4种样品的吸收率[22]和使用LIT方法测量获得的光热信号幅度
    Figure  4.  Absorptance of the four calibrator samples measured by standard spectrophotometric method[22] and the photothermal signal achieved by LIT method for the same samples.

    同时观察到光热信号幅度与吸收率的线性依赖度非常好,如图5所示。对于待测样品,利用同样的实验条件和测量方法得到光热信号强度PSS,存在以下关系:

    图  5  用LIT方法测得的光热信号幅值与吸收率之间的线性关系
    Figure  5.  Linear relationship of measured photothermal signal with absorptance
    $${A_S} = {C_S} \cdot P{S_S}$$ (5)

    利用FEM方法仿真计算可知,在实际薄膜厚度范围(<1 μm)及材料热导率范围内(0.3 W/m∙K ~10 W/m∙K),样品关联系数CS与标准样品的关联系数CCS的偏差<1%[17],故可使用标准样品的系数来计算样品的吸收率。

    实验测量了Nb2O5光学镀膜样品的吸收率。Nb2O5是一种广泛使用的高稳定性高折射率的光学镀膜材料。使用等离子辅助磁控溅射方法(HELIOS Bühler)在熔石英衬底(型号、尺寸与标准样品相同)上制作了4种厚度的单层Nb2O5薄膜,制备中使用不同波长的单色激光透射测量控制样品厚度,监控条件、样品实际厚度与测得的折射率列于表1

    表  1  测量使用的4块样品的制备监控条件及测量厚度、折射率参数
    Table  1.  Optical prepared monitoring condition, measured thickness, and refractive index parameter of 4 samples in measurement
    样品序号#1#2#3#4
    折射率2.25(@1 060 nm)
    监控条件λ/4@343 nmλ/4@515 nmλ/2@343 nmλ/4@1 030 nm
    厚度/nm30.353.560.6113
    下载: 导出CSV 
    | 显示表格

    使用LIT方法测量得到的光热信号-激励光功率关系如图6所示,可见其关系位于线性区域。其中每次测量均在相同条件下在样品表面不同位置进行4次,以确认样品的均匀性,并将其标准差作为误差线。

    图  6  Nb2O5薄膜样品的光热信号幅度与激励光功率关系
    Figure  6.  Relationship between photothermal signal amplitude and pump light power for Nb2O5 coating samples

    在LIT测量中使用的激励激光波长为1 060 nm,亚波长厚度薄膜中由于干涉作用光场的分布将随厚度变化。由数值计算[23]获得薄膜中光强分布如图7所示。干涉导致薄膜中光强不再等于入射光强,且光强随位置分布产生变化。

    图  7  数值计算获得的待测Nb2O5薄膜样品中光强分布
    Figure  7.  Light intensity distribution in Nb2O5 film samples by numerical methods

    使用薄膜中光强的积分来归一化光热信号,并利用 (5) 式计算获得样品的吸收率数值,如图8所示。可以看到,在所测量的4种样品中,较厚的膜层中电场强度较弱,反之较薄的膜层中电场强度较强,积分获得的总光通量差异减小,故4种不同样品作为标定试样测得的吸收量差异较小(<20%),且本工作中运用LIT方法测量得到的绝对吸收值可达80 ppm。

    图  8  测得的4种薄膜样品的吸收
    Figure  8.  Measured absorptance value of 4 samples

    锁相热像法具有灵敏度高,可无接触无损测量的特点。将其应用于薄膜吸收率的测量,相比其他传统方法,体现出测量平台结构简单、测量速度快(本研究中单点测量均为8个锁相周期,32 s测量时长)、可室温操作、无需系统校准等优势,只需要使用与待测样品特性相似的样品进行标定,便可定量获得待测样品的吸收率数值。

    本文分析了锁相热像信噪比的提升,比较了标准分光光度法测量的吸收结果和锁相热像法测量的结果,并利用1 060 nm波长的抽运激光实验测量了不同厚度Nb2O5单层光学薄膜的吸收率数值,证明了该方法是测量低吸收率薄膜类材料的有效方法。

  • 图  1   计算测地线测试图

    Figure  1.   Test image of computing geodesic

    图  2   鼻尖点检测测试图

    Figure  2.   Test image of nose tip detection

    图  3   鼻尖点筛选过程

    Figure  3.   Filtering process of nose tip

    图  4   鼻根点筛选过程

    Figure  4.   Filtering process of nasal root point

    图  5   人脸识别算法流程

    Figure  5.   Algorithmic flow chart of face recognition

    图  6   FRGC V2.0、Ear Database和CASIA-3D FaceV1的测试结果

    Figure  6.   Test result of FRGC V2.0, Ear Databasevand CASIA-3D FaceV1

    表  1   识别率统计结果

    Table  1   Statistical results of recognition rate

    数据库 识别率
    FRGC V2.0 96.26%
    Ear Database 96.46%
    CASIA-3D FaceV1 97.41%
    下载: 导出CSV

    表  2   不同文献的识别结果比较

    Table  2   Comparison of identification results from different literatures

    比较文献 识别率
    文献[16] 82.4%
    文献[17] 88.2%
    本文算法 96.5%
    下载: 导出CSV
  • [1] 邹国锋, 傅桂霞, 李海涛, 等.多姿态人脸识别综述[J].模式识别与人工智能, 2015, 28(7):613-625. http://d.old.wanfangdata.com.cn/Periodical/mssbyrgzn201507006

    ZOU Guofeng, FU Guixia, LI Haitao, et al. A survey of multi-pose face recognition[J]. Pattern Recognition & Artificial Intelligence, 2015, 28(7):613-625. http://d.old.wanfangdata.com.cn/Periodical/mssbyrgzn201507006

    [2] 胡敏, 程天梅, 王晓华.融合全局和局部特征的人脸识别[J].电子测量与仪器学报, 2013, 27(9):817-822. http://d.old.wanfangdata.com.cn/Periodical/jsjgcyyy201405031

    HU Min, CHENG Tianmei, WANG Xiaohua. Face recognition based on fusion of global and local feature[J]. Modern Computer, 2013, 27(9):817-822. http://d.old.wanfangdata.com.cn/Periodical/jsjgcyyy201405031

    [3] 朱冰莲, 王大为, 李明均, 等.针对表情变化的三维人脸识别系统研究[J].仪器仪表学报, 2014, 35(2):299-304. http://d.old.wanfangdata.com.cn/Periodical/yqyb201402009

    ZHU Binglian, WANG Dawei, LI Mingjun, et al. Study on 3D face recognition system against expression change[J]. Chinese Journal of Scientific Instrument, 2014, 35(2):299-304. http://d.old.wanfangdata.com.cn/Periodical/yqyb201402009

    [4] 李晓莉, 达飞鹏.基于侧面轮廓线和刚性区域的3维人脸识别[J].中国图象图形学报, 2010, 15(2):266-273.. http://d.old.wanfangdata.com.cn/Periodical/zgtxtxxb-a201002013

    LI Xiaoli, DA Feipeng. 3D face recognition based on profile and rigid regions[J]. Journal of Image & Graphics, 2010, 15(2):266-273. http://d.old.wanfangdata.com.cn/Periodical/zgtxtxxb-a201002013

    [5]

    WANG X, FANG Z, WU J, et al. Discrete geodesic graph (DGG) for computing geodesic distances on polyhedral surfaces[J]. Computer Aided Geometric Design, 2017, 52(C):262-284. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=acac086cc37edba711045aac11173983

    [6]

    XU C, TAN T, WANG Y, et al. Combining local features for robust nose location in 3D facial data[J]. Pattern Recognition Letters, 2006, 27(13):1487-1494. doi: 10.1016/j.patrec.2006.02.015

    [7]

    ZHOU H, YUAN Y, SADKA A H. Application of semantic features in face recognition[J]. Pattern Recognition, 2008, 41(10):3251-3256. doi: 10.1016/j.patcog.2008.04.008

    [8]

    LEE K C, HO J, KRIEGMAN D J. Acquiring linear subspaces for face recognition under variable lighting.[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2005, 27(5):684. http://cn.bing.com/academic/profile?id=42c505fc4ba7ccdfbc8cec19040b7dac&encoded=0&v=paper_preview&mkt=zh-cn

    [9]

    LU J, YUAN X, YAHAGI T. A method of face recognition based on fuzzy c-means clustering and associated sub-NNs.[J]. IEEE Transactions on Neural Networks, 2007, 18(1):150-60. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=cf8badbaa29508fa15596438183bebed

    [10] 祝磊, 朱善安.基于二维广义主成分分析的人脸识别[J].浙江大学学报, 2007, 41(2):264-267. doi: 10.3785/j.issn.1008-973X.2007.02.016

    ZHU Lei, ZHU Shan'an. Face recognition based on two-dimensional image principal component analysis[J]. Journal of Zhejiang University, 2007, 41(2):264-267. doi: 10.3785/j.issn.1008-973X.2007.02.016

    [11] 董晓庆, 陈洪财.基于子模式双向二维线性判别分析的人脸识别[J].液晶与显示, 2015, 30(6):1016-1023. http://d.old.wanfangdata.com.cn/Periodical/yjyxs201506019

    DONG Xiaoqing, CHEN Hongcai. Face recognition based on sub-pattern two-directional two-dimensional linear discriminan t analysis[J]. Chinese Journal of Liquid Crystals and Displays, 2015, 30(6):1016-1023. http://d.old.wanfangdata.com.cn/Periodical/yjyxs201506019

    [12] 柴智, 刘正光.应用复小波和独立成分分析的人脸识别[J].计算机应用, 2010, 30(7):1863-1866. http://d.old.wanfangdata.com.cn/Periodical/jsjyy201007045

    CHAI Zhi, LIU Zhengguang. Face recognition using complex wavelet and independent component analysis[J]. Journal of Computer Applications, 2010, 30(7):1863-1866. http://d.old.wanfangdata.com.cn/Periodical/jsjyy201007045

    [13]

    PERAKIS P, THEOHARIS T, PASSALIS G, et al. Automatic 3D facial region retrieval from multi-pose facial datasets[C]// Eurographics Conference on 3d Object Retrieval.[S.l]: [s.n.], 2009: 37-44. https: //www.researchgate.net/publication/220888669_Automatic_3D_Facial_Region_Retrieval_from_Multi-pose_Facial_Datasets

    [14] 陆慧铭.基于微分几何方法的3D人脸识别[D].南京: 南京邮电大学, 2009. http://www.wanfangdata.com.cn/details/detail.do?_type=degree&id=Y1590660

    LU Huiming. 3D face recognition based on differential geometric method[D]. Nanjing: Nanjing University of Posts and Telecommunications, 2009. http://www.wanfangdata.com.cn/details/detail.do?_type=degree&id=Y1590660

    [15]

    WEBER O, DEVIR Y S, BRONSTEIN A M, et al. Parallel algorithms for approximation of distance maps on parametric surfaces[J]. Acm Transactions on Graphics, 2008, 27(4):1-16.. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=423b937ac85e72eee99edcd44165263a

    [16] 李晓娟, 杨唐文, 阮秋琦, 等.基于轮廓线特征的三维人脸识别改进算法[J].铁道学报, 2012, 34(1):34-38. doi: 10.3969/j.issn.1001-8360.2012.01.007

    LI Xiaojuan, YANG Tangwen, RUAN Qiuqi, et al. Modified 3D face recognition algorithm based on contour curve features[J]. Journal of the China Railway Society, 2012, 34(1):34-38. doi: 10.3969/j.issn.1001-8360.2012.01.007

    [17]

    XU C, LI S, TAN T, et al. Automatic 3D face recognition from depth and intensity Gabor features[J]. Pattern Recognition, 2009, 42(9):1895-1905. doi: 10.1016/j.patcog.2009.01.001

图(6)  /  表(2)
计量
  • 文章访问数:  818
  • HTML全文浏览量:  231
  • PDF下载量:  63
  • 被引次数: 0
出版历程
  • 收稿日期:  2017-12-29
  • 修回日期:  2018-05-25
  • 刊出日期:  2018-06-30

目录

/

返回文章
返回