3-D human pose measurement method based on deep learning and epipolar constraint
-
摘要: 为了实现汽车座椅上三维人体姿态的高精度实时测量，基于现有二维人体关节点和三维人体关节点测量方法，提出了一种融合深度学习与外极线约束的三维人体姿态测量方法。该方法将二维人体关节点深度网络提取方法和双目测量系统相结合，采用双通道多阶段迭代网络分别提取左右相机图像中人体二维关节点，结合关节点位置的Brief特征和外极线约束，利用双目相机标定结果将匹配二维关节点信息转换到三维空间中，最终得到三维人体姿态。实验结果表明，文中提出方法在自采测试集中的检测精度可达到98%。通过得到三维关节点计算所得关键位姿角度的偏差小于10°。该文所提出的方法能够满足实际汽车座椅设计的数据采集要求。Abstract: It is necessary for the design of car seat to realize the high precision and real-time measurement of the 3-D human pose on the car seat. Based on the existing 2-D and 3-D human joint measurement methods, a 3-D human pose measurement method is proposed, which integrates deep learning and epipolar constraint. This method combines 2-D human joint depth network extraction method with binocular measurement system, uses two-channel multi-stage iterative network to extract 2-D human joint points in the images taken by left and right cameras respectively, combines the Brief feature of joint point position and epipolar constraint, uses binocular camera calibration results to convert the matching 2-D joint point information into 3-D space, and finally obtains 3-D human pose. The experimental results show that the detection accuracy of the proposed method in the self sampling test set can reach 98%. The deviation of the angle of the key position of human body calculated by the 3-D joint point is less than 10°. Therefore, the method proposed in this paper can meet the data acquisition requirements of the actual car seat design.
-
Keywords:
- 2-D human joint points /
- depth neural network /
- epipolar constraint /
- 3-D human pose
-
引言
为设计更符合我国驾驶员人体工学的汽车座椅，需采集大量汽车座椅上人体的三维数据。目前人体关节点采集方式主要是基于二维图像和三维点云[1-3]。
赖军等人[4]提出的基于点云的人体尺寸测量方法能够精确获取人体关键尺寸，但需粘贴标记点。朱欣娟等人[5]提出的基于改进ASM（active shape model）的人体特征点定位和建模方法具有定位精度高、测量速度快的优势，但需要被测者保持特定的姿态。鲍陈等人[6]提出的基于散乱点云三维姿态测量方法精度高，但需被测者保持直立姿态。Deng J等人[7]提出的堆叠沙漏网络（stacked hourglass）能够适应不同的测量场景。Shen C等人[8]在堆叠沙漏网络基础上提出的生成对抗网络（generative adversarial network，GAN）在识别精度上提高了0.2%。Kaiming H等人[9]提出的Mask R-CNN网络耗时长且精度受待测场景复杂度影响大。SIMON T等人[10]提出利用自底向上进行关节点识别的模型OpenPose，该模型能准确获取人体二维关节点坐标并利用PAF方法[11]提取人体骨架。基于深度学习的二维关节点检测方法耗时短、精度高，但缺乏深度信息，无法满足设计的需求。
针对上述问题，本文设计了融合深度学习和外极线约束的三维关节点获取方法。在保留了深度学习二维关节点检测方法精度高、耗时短优势的同时也能获取关节点的三维信息。
1 二维关节点提取网络
现有二维关节点提取网络主要分为基于回归和基于检测2类，基于回归的网络检测精度较高，但其受待测场景影响较大且耗时较长。基于检测的网络通过输出关节点热图来获取关键点位置，检测速度快，但无法排除误检点的影响[12]。实际应用中，通常将关节点热图和回归网络相结合，提高网络检测效率。
1.1 网络结构
网络的初始化阶段分为关节点位置初始化
${\rho ^1}$ 和肢体初始化${\phi ^1}$ ，如图1所示。该阶段采用VGGNet-19网络前10层的输出作为输入，经过卷积处理最终得到与输入图像大小相同的掩模图像，2个初始化阶段的处理过程分别如公式（1）和公式（2）所示。
$${S^1} = {\rho ^1}(F)$$ (1) $${L^1} = {\phi ^1}(F)$$ (2) 网络核心阶段主要用来获取关节点和肢体的准确位置，如图2所示。
该阶段采用VGGNet-19网络前10层的输出及前一层关节点和肢体检测网络的输出作为输入，通过卷积运算得到修正后的掩模图像。处理过程如公式（3）和公式（4）所示。
$${S^t} = {\rho ^t}(F,{S^{t - 1}},{L^{t - 1}})$$ (3) $${L^t} = {\phi ^t}(F,{S^{t - 1}},{L^{t - 1}})$$ (4) 1.2 损失函数
由于采用双通道网络，因而采取双损失函数进行网络训练，损失函数分别如公式（5）和公式（6）所示。
$$f_1^t = \sum\limits_{i = 1}^I {\sum\limits_{(x,y)} {W(x,y) \cdot \left\| {S_i^t(x,y) - S_i^*(x,y)} \right\|_2^2} } $$ (5) $$f_2^t = \sum\limits_{j = 1}^J {\sum\limits_{(x,y)} {W(x,y) \cdot \left\| {L_j^t(x,y) - L_j^*(x,y)} \right\|_2^2} } $$ (6) 式中：I、J分别表示
${S^t}$ 、${L^t}$ 特征图中特征关节点和肢体的数量；（x, y）为特征点的位置；$W(x,y)$ 表示二值化函数；$S_i^t(x,y)$ 和$L_j^t(x,y)$ 分别代表第t次迭代时${S^t}$ 、${L^t}$ 掩模图上各点像素值；$S_i^*(x,y)$ 、$L_j^*(x,y)$ 分别代表关节点和肢体的真值置信图，其中$S_i^*(x,y)$ 可由公式（7）获取。$$S_{i,k}^*(x,y) = \exp \Bigg( - \frac{{\left\| {(x - {x_{i,k}},y - y{}_{i,k})} \right\|_2^2}}{{{\sigma ^2}}}\Bigg)$$ (7) 式中：
$S_{i,k}^*(x,y)$ 表示图像中第k个人的第i个关节点的置信度；$({x_{i,k}},y{}_{i,k})$ 表示该关节点的真实位置；$\sigma $ 用来调节迭代的速度。$L_j^*(x,y)$ 表示图像中肢体的位置，其计算过程由公式（8）和公式（9）共同决定。$$L_{j,k}^*(x,y) = \left\{ {\begin{array}{*{20}{l}} {v,\;\;{\text{如果点}}(x,y){\text{在肢体}}j,k{\text{上}}}\\ {0,{\text{其他}}} \end{array}} \right.$$ (8) 式中：
$L_{j,k}^*(x,y)$ 表示图像中第k个人第j部分肢体的向量表达；$v$ 表示从关节点${x_{j1,k}}$ 到关节点${x_{j2,k}}$ 的单位方向向量，故有$v = ({x_{j2,k}} - {x_{j1,k}})/{\left\| {{x_{j2,k}} - {x_{j1,k}}} \right\|_2}$ ，最终可由公式（9）计算所得。$$L_j^*(x,y) = \frac{1}{{{n_c}(x,y)}}\sum\limits_k {L_{j,k}^*(x,y)} $$ (9) 式中：
${n_c}(x,y)$ 表示非零向量$L_{j,k}^*(x,y)$ 个数。2 人体三维位姿测量方法
2.1 基于外极线约束的双目三维数据获取方法
文中采用如图3所示的双目系统进行数据采集，系统包含2个工业相机和1个辅助照明投影仪。
假设某一关节点的三维坐标为
${[X,Y,Z,1]^T}$ ，其在左右相机成像平面的坐标分别为${[{u_1},{v_1},1]^T}$ 和${[{u_2},{v_2},1]^T}$ 。经双目相机标定后可分别获取左右相机的内参矩阵${M_l}$ 、${M_r}$ 及其旋转矩阵${R_l}$ 、${R_r}$ 和平移矩阵${T_l}$ 、${T_r}$ 。根据世界坐标系和相机成像坐标系的转换关系，上述参数满足公式（10）和公式（11）。$$Z\left[ {\begin{array}{*{20}{c}} {{u_1}} \\ {{v_1}} \\ 1 \end{array}} \right] = {M_l}\left[ {\begin{array}{*{20}{c}} {{R_l}}&{{T_l}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} X \\ Y \\ Z \\ 1 \end{array}} \right]$$ (10) $$Z\left[ {\begin{array}{*{20}{c}} {{u_2}} \\ {{v_2}} \\ 1 \end{array}} \right] = {M_r}\left[ {\begin{array}{*{20}{c}} {{R_r}}&{{T_r}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} X \\ Y \\ Z \\ 1 \end{array}} \right]$$ (11) 为了简化后续描述，做如公式（12）的假设。
$$N{\rm{ = }}M\left[ {\begin{array}{*{20}{c}} R&T \end{array}} \right] = \left[ {\begin{array}{*{20}{l}} {{n_{11}}}&{{n_{12}}}&{{n_{13}}}&{{n_{14}}} \\ {{n_{21}}}&{{n_{22}}}&{{n_{23}}}&{{n_{24}}} \\ {{n_{31}}}&{{n_{32}}}&{{n_{33}}}&{{n_{34}}} \end{array}} \right]$$ (12) 将公式（12）分别代入公式（10）和公式（11），得到公式（13）和公式（14）。
$$Z\left[ {\begin{array}{*{20}{c}} {{u_1}} \\ {{v_1}} \\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{l}} {n_{11}^1}&{n_{12}^1}&{n_{13}^1}&{n_{14}^1} \\ {n_{22}^1}&{n_{22}^1}&{n_{23}^1}&{n_{24}^1} \\ {n_{31}^1}&{n_{32}^1}&{n_{33}^1}&{n_{34}^1} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} X \\ Y \\ Z \\ 1 \end{array}} \right]$$ (13) $$ Z\left[\begin{array}{c} u_{2} \\ v_{2} \\ 1 \end{array}\right]=\left[\begin{array}{cccc} n_{11}^{2} & n_{12}^{2} & n_{13}^{2} & n_{14}^{2} \\ n_{22}^{2} & n_{22}^{2} & n_{23}^{2} & n_{24}^{2} \\ n_{31}^{2} & n_{32}^{2} & n_{33}^{2} & n_{34}^{2} \end{array}\right]\left[\begin{array}{c} X \\ Y \\ Z \\ 1 \end{array}\right] $$ (14) 联立公式（13）和公式（14）可得公式（15）。
$$\left\{ {\begin{array}{*{20}{l}} \begin{array}{l} ({u_1}n_{31}^1 - n_{11}^1)X + ({u_1}n_{32}^1 - n_{12}^1)Y + \\ ({u_1}n_{33}^1 - n_{13}^1)Z = n_{14}^1 - {u_1}n_{34}^1 \end{array}\\ \begin{array}{l} ({v_1}n_{31}^1 - n_{21}^1)X + ({v_1}n_{32}^1 - n_{22}^1)Y + \\ ({v_1}n_{33}^1 - n_{23}^1)Z = n_{24}^1 - {v_1}n_{34}^1 \end{array}\\ \begin{array}{l} ({u_2}n_{31}^2 - n_{11}^2)X + ({u_2}n_{32}^2 - n_{12}^2)Y + \\ ({u_2}n_{33}^2 - n_{13}^2)Z = n_{14}^2 - {u_2}n_{34}^2 \end{array}\\ \begin{array}{l} ({v_2}n_{31}^2 - n_{21}^2)X + ({v_2}n_{32}^2 - n_{22}^2)Y + \\ ({v_2}n_{33}^2 - n_{23}^2)Z = n_{24}^2 - {v_2}n_{34}^2 \end{array} \end{array}} \right.$$ (15) 从二维关节点获取三维关节点的过程可归结为公式（15）所示的方程求解问题。文中采用外极线约束补足漏检二维关节点，原理如图4所示[13]。
空间中某一点
$P(x,y,z)$ 分别投影到左右相机成像平面${P_l}$ 、${P_r}$ 处，分别位于极平面$P{O_l}{O_r}$ 与左右图像平面交线${P_l}{e_l}$ 和${P_r}{e_r}$ 上。搜索过程中采用Brief特征作为待匹配特征，Brief特征描述算子是一种简单有效的特征提取方法，通过统计特征点
$(x,y)$ 周围$S \times S$ 区域内N对像素点的像素变化，得到该点的特征表示[14]。提取Brief特征时，首先在特征点的邻域内按照公式（16）选取一对点$({x_i},{y_i}),\;\;i = 1,2$ 。$$\left\{ {\begin{array}{*{20}{c}} {{x_i} \sim N\Bigg(0,\dfrac{{{S^2}}}{{25}}\Bigg)} \\ {{y_i} \sim N\Bigg(0,\dfrac{{{S^2}}}{{25}}\Bigg)} \end{array}} \right.$$ (16) 式中：
$N(\mu ,{\sigma ^2})$ 表示服从均值为$\;\mu $ ；方差为${\sigma ^2}$ 的正态分布。假设随机选取2点的像素值分别为
$a$ 、$ b $ ，则2点处的Brief特征可做如公式（17）的表示。$$\tau (x,y) = \left\{ {\begin{array}{*{20}{l}} {1,a < b}\\ {0,{\text{其他}}} \end{array}} \right.$$ (17) 由于人体关节点位置接近，选取S = 35作为Brief特征算子的作用范围。考虑到关节点位置的像素较为相似，选取N = 256作为Brief特征算子的位数。文中采用汉明距离作为特征相似度衡量的指标，选取Brief特征相同位数最多的2个点作为匹配点对。
2.2 人体三维关节点数据获取流程
文中采用二维关节点提取网络获取左右相机图像中关节点位置，利用外极线约束和Brief特征获取左右相机图像中关节点的匹配关系，整个三维关节点获取流程如图5所示。
本文关节点提取方法，不仅保留了基于深度学习的二维关节点提取网络速度快、精度高的特点，并且采用双目采集装置与外极线约束相结合的方式提高了三维关节点检测效率。
3 实验结果与分析
综合考虑设备成本和采集效果，选取海康威视公司的RS_A1300_GM60_M10相机和Computar系列的M0814-MP镜头搭建文中的双目采集系统，选取BenQ公司的E540系列投影仪作为辅助照明装置。系统构成如图6所示。
双目标定采用的靶标及标定数据如图7所示。靶标圆心的水平距离为55 mm，竖直距离为51 mm。
将5个不同位置的标定数据输入基于OpenCV2.4.10设计的标定程序[15]，得到左右相机的内参，具体如表1所示。利用表1所得相机内参可得表2所示的双目相机外参。
表 1 左右相机的内部参数Table 1. Internal parameters of left and right cameras参数名称 左相机 右相机 标准焦距/mm 8.000 8.000 水平焦距/mm 8.102 8.130 垂直焦距/mm 8.104 8.135 内参矩阵/pixel $\left[ {\begin{array}{*{20}{c}} {1528.679}&0&{645.373} \\ 0&{1529.057}&{{\rm{523}}{\rm{.636}}} \\ 0&0&1 \end{array}} \right]$ $\left[ {\begin{array}{*{20}{c}} {1533.962}&0&{623.691} \\ 0&{1534.906}&{531.121} \\ 0&0&1 \end{array}} \right]$ 相机旋转矩阵 ${R_l} = \left[ {\begin{array}{*{20}{c}} {0.960}&{0.001}&{{\rm{0}}{\rm{.281}}} \\ { - 0.030}&{0.995}&{0.099} \\ { - 0.280}&{ - 0.104}&{0.954} \end{array}} \right]$ ${R_r} = \left[ {\begin{array}{*{20}{c}} {0.996}&{0.063}&{0.055} \\ { - 0.069}&{0.989}&{0.130} \\ { - 0.047}&{ - 0.133}&{0.990} \end{array}} \right]$ 相机平移矩阵 ${T_l} = {\left[ {\begin{array}{*{20}{c}} { - 389.195}&{ - 294.836}&{2205.241} \end{array}} \right]^T}$ ${T_r} = {\left[ {\begin{array}{*{20}{c}} { - 455.331}&{ - 198.374}&{2128.140} \end{array}} \right]^T}$ 表 2 双目相机外部参数Table 2. External parameters of binocular cameras参数名称 参数值 左相机到右相
机的旋转矩阵$R = \left[ {\begin{array}{*{20}{c}} {{\rm{0}}{\rm{.940}}}&{{\rm{0}}{\rm{.058}}}&{{\rm{0}}{\rm{.339}}} \\ {{\rm{ - 0}}{\rm{.132}}}&{{\rm{0}}{\rm{.971}}}&{{\rm{0}}{\rm{.203}}} \\ {{\rm{ - 0}}{\rm{.318}}}&{{\rm{ - 0}}{\rm{.235}}}&{{\rm{0}}{\rm{.918}}} \end{array}} \right]$ 左相机到右相
机的平移矩阵$T = {\left[ {\begin{array}{*{20}{c}} { - 819.496}&{ - 410.394}&{ - 89.741} \end{array}} \right]^T}$ 通过统计水平和竖直方向上测量数据与真值数据的差异，得到系统的标定误差。计算过程如公式（18）所示。
$$MAE = \frac{1}{N}\sum\limits_{i = 1}^N {\left| {{y_i} - {{\hat y}_i}} \right|} $$ (18) 式中：
${y_i}$ 为圆心距离的测量值；${\hat y_i}$ 为圆心距离的标称值；N为测量数据样本数，文中水平方向误差评定时有N = 10×9 = 90，竖直方向评定时有N = 8×11 = 88，测量结果如图8所示。文中所测量人体关节点如图9所示。
由于文中采集的待检测数据有限，选取COCO2017数据集作为本文的训练及验证数据。文中采用的训练测试数据构成如表3所示。
表 3 二维人体关节点提取网络训练测试数据集构成Table 3. Construction of dataset of human 2-D joint extraction network类型 来源 数量/张 训练集 COCO2017-train 5 000 验证集 COCO2017-val 500 测试集 自采数据 100 训练过程中每隔10张进行一次验证以获取训练过程中各项数据，通过选取不同核心网络循环次数t，得到如图10所示的训练结果。
由图10可知，当t = 6时，网络具有较快的收敛速度和检测精度，实际使用中也选取t = 6。为测试其在本文待测场景中的检测准确率，采集左右相机各50张图像构成测试集，测试结果如图11所示（红色圈部位代表漏检关节点）。
通过统计每辆车左相机和右相机检测情况，利用公式（19）得到二维关节点提取网络在整个测试集上的检测精度。
$$P = \frac{{{n_r} + {n_l}}}{n} \times 100{\text{%}} $$ (19) 式中：P为测试精度；n代表待测样本关节点总数；nr和nl分别表示左相机和右相机采集关节点总数，具体统计数据如表4所示。
表 4 左右相机关节点检测结果统计Table 4. Joint point detection results of left and right cameras车辆 选取图
像/组左相机关节
点数nr/个右相机关节
点数nl/个合计/
个准确率P 1号 5 40 35 75 0.938 2号 6 46 44 90 0.938 3号 6 43 48 91 0.948 4号 6 41 45 86 0.896 5号 7 52 47 99 0.884 6号 6 46 42 88 0.917 7号 7 50 51 101 0.902 8号 7 54 52 106 0.946 合计 50 382 354 736 0.920 由表4可知，二维关节点提取网络平均提取精度为92%，并且漏检往往发生在左右相机某一幅图中，因而可通过本文提出的基于外极线匹配的方法来获取漏检点的位置，进行缺失点补足后的二维关节点检测，结果如表5所示。
表 5 改进二维关节点检测结果统计Table 5. Statistics of improved 2-D joint detection results车辆 选取图
像/组左相机关节
点数nr/个右相机关节
点数nl/个合计/
个准确率P 1号 5 40 39 79 0.988 2号 6 46 48 94 0.979 3号 6 45 48 93 0.969 4号 6 46 47 93 0.969 5号 7 55 56 111 0.991 6号 6 48 46 94 0.979 7号 7 54 55 109 0.973 8号 7 55 56 111 0.991 合计 50 389 395 784 0.980 采用外极线约束和Brief特征后二维关节点检测精度从原来的92%增加到了98%。文中采用图12中
${\theta _1}$ 、${\theta _2}$ 、${\theta _3}$ 对算法进行稳定性评价。假设
$B({x_1},{y_1},{{\textit{z}}_1})$ 、$C({x_2},{y_2},{{\textit{z}}_2})$ 、$D({x_3},{y_3},{{\textit{z}}_3})$ ，根据余弦定理可知：$$\begin{array}{l} {\theta _1}{\rm{ = }}\arccos (\overrightarrow {BC} \cdot \overrightarrow {DC} /(\left| {\overrightarrow {BC} } \right|*\left| {\overrightarrow {BC} } \right|))\\ \;\;\;{\rm{ = arccos((}}{a_1}{a_2} + {b_1}{b_2} + {c_1}{c_2}{\rm{)}}/\\ \;\;\;\;{\rm{sqrt(}}{a_1}{a_1} + {b_1}{b_1} + {c_1}{c_1}{\rm{)}}/\\ \;\;\;\;{\rm{sqrt(}}{a_2}{a_2} + {b_2}{b_2} + {c_2}{c_2}{\rm{))}} \end{array}$$ (20) 式中：
$\arccos (\varphi )$ 为$\varphi $ 反余弦值；$\left| {\overrightarrow A } \right|$ 表示$\overrightarrow A $ 的模值；$\overrightarrow {BC} = ({x_2} - {x_1},{y_2} - {y_1},{{\textit{z}}_2} - {{\textit{z}}_1})$ ；$\overrightarrow {DC} = ({x_2} - {x_3},{y_2} - {y_3}, {{\textit{z}}_2} - {{\textit{z}}_3})$ 。同理可计算${\theta _2}$ 、${\theta _3}$ 的值。分别利用传统测量方法和本文方法获取40组三维关节点坐标信息，计算待测关键角度
${\theta _1}$ 、${\theta _2}$ 、${\theta _3}$ ，求取其均值和方差作为观测量，如表6所示。表 6 不同方法关键角度统计结果Table 6. Statistical results of key angles of different methods测量项 传统三维关节点测量方法 本文三维关节点测量方法 ${\theta _1}$/（°） ${\theta _2}$/（°） ${\theta _3}$/（°） ${\theta _1}$/（°） ${\theta _2}$/（°） ${\theta _3}$/（°） 均值 122.35 79.64 89.79 122.53 99.71 83.98 方差 16.15 8.30 12.43 7.26 5.71 8.45 由表6可知，本文方法和传统方法所得
${\theta _1}$ 、${\theta _3}$ 均值基本相同，但${\theta _2}$ 测量结果存在较大偏差。驾驶情况下${\theta _2}$ 角度通常大于90°，因而传统方法测量结果存在较大偏差。本文方法稳定性较高，适用于汽车座椅上三维人体位姿数据的测量。4 结论
对比传统关节点测量方法，本文提出了一种融合深度学习和外极线约束的人体三维关节点检测方法。该方法采用多阶段循环网络提取关节点二维坐标，利用外极线约束和Brief特征进行缺失关节点补足和匹配，最终获取人体关节点的三维信息。实验结果表明，本文三维关节点检测方法检测精度达到98%，并且相比传统三维关节点获取方法，该方法稳定性较高。目前该方法仍存在以下问题：1）二维关节点提取网络存在漏检，需搜集自采数据进行网络性能调节。2）采集系统对环境光线要求较高，后续需增加多组补光装置，保证采集环境光线波动较小。
-
表 1 左右相机的内部参数
Table 1 Internal parameters of left and right cameras
参数名称 左相机 右相机 标准焦距/mm 8.000 8.000 水平焦距/mm 8.102 8.130 垂直焦距/mm 8.104 8.135 内参矩阵/pixel $\left[ {\begin{array}{*{20}{c}} {1528.679}&0&{645.373} \\ 0&{1529.057}&{{\rm{523}}{\rm{.636}}} \\ 0&0&1 \end{array}} \right]$ $\left[ {\begin{array}{*{20}{c}} {1533.962}&0&{623.691} \\ 0&{1534.906}&{531.121} \\ 0&0&1 \end{array}} \right]$ 相机旋转矩阵 ${R_l} = \left[ {\begin{array}{*{20}{c}} {0.960}&{0.001}&{{\rm{0}}{\rm{.281}}} \\ { - 0.030}&{0.995}&{0.099} \\ { - 0.280}&{ - 0.104}&{0.954} \end{array}} \right]$ ${R_r} = \left[ {\begin{array}{*{20}{c}} {0.996}&{0.063}&{0.055} \\ { - 0.069}&{0.989}&{0.130} \\ { - 0.047}&{ - 0.133}&{0.990} \end{array}} \right]$ 相机平移矩阵 ${T_l} = {\left[ {\begin{array}{*{20}{c}} { - 389.195}&{ - 294.836}&{2205.241} \end{array}} \right]^T}$ ${T_r} = {\left[ {\begin{array}{*{20}{c}} { - 455.331}&{ - 198.374}&{2128.140} \end{array}} \right]^T}$ 
下载: 导出CSV
表 2 双目相机外部参数
Table 2 External parameters of binocular cameras
参数名称 参数值 左相机到右相
机的旋转矩阵$R = \left[ {\begin{array}{*{20}{c}} {{\rm{0}}{\rm{.940}}}&{{\rm{0}}{\rm{.058}}}&{{\rm{0}}{\rm{.339}}} \\ {{\rm{ - 0}}{\rm{.132}}}&{{\rm{0}}{\rm{.971}}}&{{\rm{0}}{\rm{.203}}} \\ {{\rm{ - 0}}{\rm{.318}}}&{{\rm{ - 0}}{\rm{.235}}}&{{\rm{0}}{\rm{.918}}} \end{array}} \right]$ 左相机到右相
机的平移矩阵$T = {\left[ {\begin{array}{*{20}{c}} { - 819.496}&{ - 410.394}&{ - 89.741} \end{array}} \right]^T}$
下载: 导出CSV
表 3 二维人体关节点提取网络训练测试数据集构成
Table 3 Construction of dataset of human 2-D joint extraction network
类型 来源 数量/张 训练集 COCO2017-train 5 000 验证集 COCO2017-val 500 测试集 自采数据 100
下载: 导出CSV
表 4 左右相机关节点检测结果统计
Table 4 Joint point detection results of left and right cameras
车辆 选取图
像/组左相机关节
点数nr/个右相机关节
点数nl/个合计/
个准确率P 1号 5 40 35 75 0.938 2号 6 46 44 90 0.938 3号 6 43 48 91 0.948 4号 6 41 45 86 0.896 5号 7 52 47 99 0.884 6号 6 46 42 88 0.917 7号 7 50 51 101 0.902 8号 7 54 52 106 0.946 合计 50 382 354 736 0.920
下载: 导出CSV
表 5 改进二维关节点检测结果统计
Table 5 Statistics of improved 2-D joint detection results
车辆 选取图
像/组左相机关节
点数nr/个右相机关节
点数nl/个合计/
个准确率P 1号 5 40 39 79 0.988 2号 6 46 48 94 0.979 3号 6 45 48 93 0.969 4号 6 46 47 93 0.969 5号 7 55 56 111 0.991 6号 6 48 46 94 0.979 7号 7 54 55 109 0.973 8号 7 55 56 111 0.991 合计 50 389 395 784 0.980
下载: 导出CSV
表 6 不同方法关键角度统计结果
Table 6 Statistical results of key angles of different methods
测量项 传统三维关节点测量方法 本文三维关节点测量方法 ${\theta _1}$/（°） ${\theta _2}$/（°） ${\theta _3}$/（°） ${\theta _1}$/（°） ${\theta _2}$/（°） ${\theta _3}$/（°） 均值 122.35 79.64 89.79 122.53 99.71 83.98 方差 16.15 8.30 12.43 7.26 5.71 8.45
下载: 导出CSV
-
[1] 刘秉瀚, 李振达, 柯逍. 基于混合关节肢体模型的深度人体姿态估计方法[J]. 模式识别与人工智能,2019,32(2):97-107. LIU Binghan, LI Zhenda, KE Xiao. Deep human pose estimation method based on mixture articulated limb model[J]. Pattern Recognition and Artificial Intelligence,2019,32(2):97-107.
[2] 霍笑. 基于坐姿分析的座椅舒适度评价方法研究[D]. 乌鲁木齐: 新疆大学, 2018. HUO Xiao. Research on seat comfort evaluation method based on sitting posture analysis[D]. Urumqi: Xinjiang University, 2018.
[3] 郭连朋, 陈向宁, 刘彬, 等. 基于Kinect传感器多深度图像融合的物体三维重建[J]. 应用光学,2014,35(5):811-816. GUO Lianpeng, CHEN Xiangning, LIU Bin, et al. 3D-object reconstruction based on fusion of depth images by Kinect sensor[J]. Journal of Applied Optics,2014,35(5):811-816.
[4] 赖军, 王博, 付全, 等. 基于点云模型的人体尺寸自动提取方法[J]. 中南大学学报(自然科学版),2014,45(8):2676-2683. LAI Jun, WANG Bo, FU Quan, et al. Automatic extraction method of human body size based on 3D point clouds[J]. Journal of Central South University :Science and Technology,2014,45(8):2676-2683.
[5] 朱欣娟, 熊小亚. 基于改进ASM模型的人体特征点定位和建模方法[J]. 系统仿真学报,2015,27(2):286-294. ZHU Xinjuan, XIONG Xiaoya. Feature point positioning and modeling approach for human body based on improved ASM[J]. Journal of System Simulation,2015,27(2):286-294.
[6] 鲍陈, 缪永伟, 孙瑜亮, 等. 基于散乱点云的三维人体自动测量[J]. 纺织学报,2019,40(1):120-129. BAO Chen, MU Yongwei, SUN Yuliang, et al. Automatic measurement of three-dimensional human body based on scattered point cloud[J]. Journal of Textile Research,2019,40(1):120-129.
[7] NWWELL A, YANG K, DENG J. Stacked hourglass networks for human pose estimation[C]//2016 European Conference on Computer Vision (ECCV 2016): SPIE, 2016: 483-499.
[8] CHEN Y, SHEN C, WEI X S, et al. Adversarial posenet: a structure-aware convolutional network for human pose estimation[C]//2017 IEEE International Conference on Computer Vision (ICCV 2017): IEEE Computer Society, 2017: 1212-1230.
[9] KAIMING H, GEORGIA G, PIOTR D, et al. Mask R-CNN[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2018:1-1.
[10] CAO Z, SIMON T, WEI S E, et al. OpenPose: realtime multi-person 2D pose estimation using part affinity fields[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2017): IEEE Computer Society, 2017: 7291-7299.
[11] ZHU X, JIANG Y, LUO Z. Multi-person pose estimation for posetrack with enhanced part affinity fields[C]//2017 IEEE International Conference on Computer Vision (ICCV 2017), October 22-29, 2017. Venice, Italy: IEEE Computer Society, 2017: 1-4.
[12] 汪检兵, 李俊. 基于OpenPose-slim模型的人体骨骼关键点检测方法[J]. 计算机应用,2019,39(12):3503-3509. WANG Jianbing, LI Jun. Human skeleton key point detection method based on OpenPose-slim model[J]. Journal of Computer Applications,2019,39(12):3503-3509.
[13] 姜宏志, 赵慧洁, 梁宵月, 等. 基于极线校正的快速相位立体匹配[J]. 光学精密工程,2011,19(10):2520-2525. doi: 10.3788/OPE.20111910.2520 JIANG Hongzhi, ZHAO Huijie, LIANG Xiaoyue, et al. Phase-based stereo matching using epipolar line rectification[J]. Optics and Precision Engineering,2011,19(10):2520-2525. doi: 10.3788/OPE.20111910.2520
[14] CALONDER M, LEPETIT V, STRECHA C, et al. BRIEF: binary robust independent elementary features[C]//2010 European Conference on Computer Vision (ECCV 2010): SPIE, 2010: 778-792.
[15] 王长元, 邢世蒙. 基于OpenCV的双目摄像机标定技术研究[J]. 计算机与数字工程,2014,42(12):2392-2395. doi: 10.3969/j.issn1672-9722.2014.12.038 WANG Changyuan, XING Shimeng. Binocular camera calibration technique based on OpenCV[J]. Computer and Digital Engineering,2014,42(12):2392-2395. doi: 10.3969/j.issn1672-9722.2014.12.038
-
期刊类型引用(1)
1. 苗慧，李明. 基于数字画像的人体运动信息特征采集方法. 吉林大学学报(工学版). 2024(12): 3637-3645 . 
百度学术
其他类型引用(1)
计量
- 文章访问数: 1070
- HTML全文浏览量: 443
- PDF下载量: 34
- 被引次数: 2
陕公网安备 61011302001501号 