Position and pose measurement of spacecraft based on monocular vision
-
摘要: 鉴于实时高精度航天器位姿测量不仅是航天器实时监控和跟踪的重要技术保证，同时也是实时调整和补偿航天器姿态的主要依据，提出一种基于单目视觉的航天器实时位姿测量方法，利用高精度旋转平台几何摄像机的方式对被测目标进行位姿解算。该方法不需要对被测目标进行几何约束，同时也不用进行转站测量，因而可以进行动态实时的在线位姿检测。航天器位姿实验结果表明：该单目视觉测量方法姿态测量误差小于0.05°，位置测量误差小于0.02 m，满足实际工程0.1°和0.05 m的精度需求。Abstract: In view of real-time high-precision spacecraft pose measurement is not only an important technical assurance of real-time monitoring and tracking of spacecraft, but also main basis for real-time adjustment and compensation of spacecraft attitude, this paper propose a monocular vision-based real-time pose measurement method, which utilizes a high precision rotating platform geometric camera to carry out pose solution to the measured object. This method does not need to geometrically constrain measured object, and does not need to carry on measurement of station, so it can carry on dynamic real-time on-line pose detection. Experimental results show that attitude measurement error of monocular vision measurement is less than 0.05° and position measurement error is less than 0.02 m, which satisfies accuracy requirements of practical engineering of 0.1 ° and 0.05 m.
-
Keywords:
- machine vision /
- monocular vision /
- spacecraft /
- pose measurement
-
引言
高精度航天器位姿实时测量轨迹是一种广泛应用于国防工业、航空航天工程等军工领域的核心技术[1]，同时也广泛应用在例如搜寻和救援、工业监视、交通管制甚至动物迁徙等一般领域[2]。在国防应用中[3]，运动目标轨迹预测是导弹防御系统和精确巡航制导的核心技术之一，同时运动目标轨迹预测也为诸如反恐和维和行动提供了技术支援。
受被测运动目标大尺寸、轨迹难测及速度变化等因素的影响，非接触式测量方法大量应用于运动目标特别是大尺寸运动目标的姿态测量[4]。视觉测量技术是建立在计算机视觉研究基础上的一门新兴技术，研究重点是物体的几何尺寸及物体在空间的位置、姿态等的测量[5]。利用视觉传感器测量运动目标的位姿是被广泛应用的有效方法，在测量过程中不需要引入其他的测量装置，也不会影响被测目标的运动参数。因此，对于大尺寸运动目标轨迹位姿测量，视觉测量方法是有效且合适的[6]。同时视觉测量是基于光学图像理论，因而测量系统具有很高的可靠性[7]。
单目视觉位姿测量是指用目标上的特征点来估计三维物体的位置和姿态，其结构简单，测量范围大，测量方法多，广泛应用于物体识别、跟踪导航、三维姿态估计、场景分析等多个领域[8]。文献[9]中作者提出了一种基于单目视觉的运动目标测距方法，该方法需要被测目标的准确几何信息，对于未知物体具有局限性。文献[10]中作者基于单目小孔成像原理，搭建了一种主动式测量系统，用于测量平台的位姿，有效地提高了系统的姿态测量精度。与此同时，国内外学者也基于单目视觉原理，提出了一系列用于几何量测量[11-14]的测量装置和测量方法。
本文提出一种基于单目视觉的航天器实时姿态测量方法。利用单轴高精度旋转平台结合摄像机的方法进行航天器的位姿测量。与一般的单目视觉测量系统相比，该方法不需要对被测目标进行几何约束，同时也不需要进行转站测量，因而能保证进行动态实时位姿测量，可用于在线航天器的在线监测。
1 单目视觉模型
对于摄像机能观测到的空间目标上特征点P，其在世界坐标系Ow-xwywzw的坐标表示为(xw, yw, zw)，如图 1所示, 点P通过摄像机镜头投影到摄像机图像平面的点为p。点p在图像坐标系Om-XmYm下的坐标是(u, v)。
根据摄像机的针孔摄像模型，空间点位于摄像机坐标系下的坐标与其图像投影的图像坐标满足如下关系：
$$ w\left[ \begin{array}{l} u\\ v\\ 1 \end{array} \right] = A\left[ \begin{array}{l} {x_c}\\ {y_c}\\ {z_c} \end{array} \right], \;\;\;A = \left[ {\begin{array}{*{20}{c}} {{f_x}}&0&{{u_0}}\\ 0&{{f_y}}&{{v_0}}\\ 0&0&1 \end{array}} \right] $$ (1) 式中：[xc yc zc]T为空间点摄像机坐标系下坐标值；[u v]T是空间点在图像平面投影的坐标值；w是任意坐标尺度因子；矩阵A是摄像机的内参矩阵，可以通过摄像机标定获取，其中fx和fy为有效焦距，(u0, v0)为摄像机图像平面的光学中心或主点的图像坐标值。
位于世界坐标系下的空间点P的坐标与其在摄像机坐标系下的坐标满足如下关系：
$$ \left[ \begin{array}{l} {x_w}\\ {y_w}\\ {z_w} \end{array} \right] = \mathit{\boldsymbol{R}} \cdot \;\left[ \begin{array}{l} {x_c}\\ {y_c}\\ {z_c} \end{array} \right] + \mathit{\boldsymbol{T}}{\rm{, }}\;\mathit{\boldsymbol{R = }}\left[ {\begin{array}{*{20}{c}} {{r_1}}&{{r_2}}&{{r_3}}\\ {{r_4}}&{{r_5}}&{{r_6}}\\ {{r_7}}&{{r_8}}&{{r_9}} \end{array}} \right], \mathit{\boldsymbol{T}} = \left[ \begin{array}{l} {t_s}\\ {t_y}\\ {t_z} \end{array} \right] $$ (2) 矩阵R是摄像机坐标系Oc-xcyxzc与世界坐标系Ow-xwywzw之间的旋转矩阵；向量T是2个坐标系之间的偏移。R和T为被测目标在相对于摄像机坐标系的位姿。
旋转矩阵R可以表示为
$$ \mathit{\boldsymbol{R = R}}\left( \alpha \right)\mathit{\boldsymbol{R}}\left( \beta \right)\mathit{\boldsymbol{R}}\left( \gamma \right) $$ (3) $$ \mathit{\boldsymbol{R = }}\left[ {\begin{array}{*{20}{c}} {\cos \left( \beta \right)\cos \left( \alpha \right)}&{ - \cos \left( \beta \right)\sin \left( \alpha \right)}&{\sin \left( \beta \right)}\\ {\sin \left( \alpha \right)\sin \left( \beta \right)\cos \left( \gamma \right) + \cos \left( \alpha \right)\sin \left( \gamma \right)}&{ - \sin \left( \alpha \right)\sin \left( \beta \right)\sin \left( \gamma \right) + \cos \left( \alpha \right)\cos \left( \gamma \right)}&{ - \sin \left( \alpha \right)\cos \left( \beta \right)}\\ { - \cos \left( \alpha \right)\sin \left( \beta \right)\cos \left( \gamma \right) + \sin \left( \alpha \right)\sin \left( \gamma \right)}&{\cos \left( \alpha \right)\sin \left( \beta \right)\sin \left( \gamma \right) + \sin \left( \alpha \right)\cos \left( \gamma \right)}&{\cos \left( \alpha \right)\cos \left( \alpha \right)} \end{array}} \right] $$ (4) 式中(α, β, γ)为旋转矩阵R的3个欧拉角，分别表示Ow-xwywzw绕xc, yc, zc轴之间的旋转角。当R已知时，通过(4)式即可解出3个姿态角。
2 位姿测量原理
纯粹的单目摄像机系统会失去被测目标的深度信息，因此常见的解决方法主要是对被测目标进行几何约束，或者进行多站测量。本文将摄像机安装在一台高精度的旋转平台上，图 2所示为单轴旋转视觉测量系统图。主要包括一台高精度旋转平台(用于带动摄像机旋转)、光栅编码器实时输出旋转角度和一台安装在单轴旋转平台上的摄像机(用于实时捕捉测量对象)。
在测量过程中旋转平台带动摄像机旋转，摄像机在不同的位置对被测目标进行拍摄，根据测量系统的先验信息对拍摄到的图像进行位姿解算。图 3所示为单目位姿测量原理示意图。
根据单目摄像机模型与转台模型可得：
$$ {s_i}\left[ {\begin{array}{*{20}{l}} {{u_i}}\\ {{v_i}}\\ 1 \end{array}} \right] = A{\left[ {\begin{array}{*{20}{l}} {{x_c}}\\ {{y_c}}\\ {{z_c}} \end{array}} \right]_i} $$ (5) $$ \left[ \begin{array}{l} {x_c}\\ {y_c}\\ {z_c} \end{array} \right] = \mathit{\boldsymbol{R}}_c^i \cdot \left[ \begin{array}{l} {x_c}\\ {y_c}\\ {z_c} \end{array} \right]{\;_{_{i + 1}}}\; + \mathit{\boldsymbol{T}}_c^i $$ (6) 式中R和T为i+1位置与i处摄像机坐标系之间的旋转矩阵和平移向量。测量系统联合校准之后，Rci和Tci可以由安装在旋转平台上光栅编码器的输出值结合转台旋转模型进行解算得到。
在测量之前先对选择平台与摄像机进行联合标定，获取摄像机坐标系与旋转平台坐标系的几何关系。联立(5)式和(6)式可以求出空间被测点的图像投影与其空间坐标的映射关系。通过计算机对摄像机图片进行实时处理，即可得到被测物体的实时位姿。
3 实验分析
图 4所示为航天器试验的视觉测量系统示意图。航天器可以在图中所示的3自由度导轨上自由运动。3个运动方向由大地坐标系确定。垂直运动方向上有重力加速度作用，其他2个方向上没有加速度。视觉测量系统包括安装有摄像机的高精密转台。在航天器表面和实验场粘贴一些靶标，用于航天器识别和位姿解算。不失一般性，世界坐标系的坐标轴由大地坐标系确定，其坐标原点设在航天器初始的位置处。
![]()
图 4 航天器姿态测量实验系统Figure 4. Experimental measuring system for pose and position of spacecraft在航天器上安装高精度加速度计和陀螺仪组成的惯性导航系统(inertial navigation system, INS)。在给定的实验条件下，INS姿态误差小于15″，位置误差小于1 mm。在实验条件下精度远高于单目视觉测量系统的精度，因此可以将INS的输出值作为航天器的位姿真值。图 4实验的单目视觉系统的摄像机选用Basler公司生产的分辨率为2 400×2 050像素的面阵CCD。摄像机镜头为Computar公司生产的25 mm摄像机镜头。在实验条件下成像信噪比为60 dB。实验过程中，单目视觉测量系统与实验框架的距离为5 m。
实验中，航天器按照预先设定的运动轨迹和姿态进行调整运动。单目视觉测量系统持续获取航天器实时位姿，便于实验分析等间距，取其中25个采样点作为实验样本。姿态测量误差与位置测量误差定义如下：
$$ \left\{ \begin{array}{l} {E_a} = \sqrt {E_a^2 + E_\beta ^2 + E_\gamma ^2} \\ {E_p} = \sqrt {E_x^2 + E_y^2 + E_z^2} \end{array} \right. $$ (7) 式中：Ea和Ep分别是姿态测量误差和位置测量误差；Eα，Eβ，Eγ分别是3个姿态角的测量误差；Ex，Ey，Ez分别是3个方向上的位置测量误差。
图 5~7所示为单目视觉测量系统测量的航天器3个姿态角与其真实的姿态角的对比。对于变化的姿态角实时测量，本文所提出的单目视觉测量方法与真实值之间吻合度较高。图 8为航天器姿态角测量的合成误差，从中可得出，在给定实验条件下，航天器姿态角的测量误差小于0.05°，满足实际工程0.1°的精度要求。
图 9所示为航天器运动过程中测量系统测量的位置与真实的位置的对比，各采样点实际测量值和真实值都非常接近。图 10为单目视觉测量系统的位置测量误差图，从中可得本文提出的单目视觉测量方法的位置测量误差小于0.03 m，满足实际工程所需的0.05 m的精度要求。
航天器姿态测量和位置测量结果均表明，本文提出的单目视觉测量方法满足实际工程测量的精度需求。姿态角测量误差小于0.05°，位置测量误差小于0.03 m。因此本文提出的航天器实时位姿测量方法是可靠和有效的。
4 结论
本文提出一种基于单目视觉的航天器实时位姿测量方法，该方法将单个摄像机安装在高精度单轴旋转平台上，通过旋转平台的旋转对被测目标进行空间位姿解算。该方法不需要对被测目标进行几何约束，同时也不用进行转站测量，因而可以进行动态实时的在线位姿检测。实验结果表明本文提出的单目视觉测量方法姿态测量误差小于0.05°，位置测量误差小于0.03 m，可用于实时在线位姿测量。
-
![]()
图 4 航天器姿态测量实验系统
Figure 4. Experimental measuring system for pose and position of spacecraft
-
[1] Wang Qiyue, Zhang Zili., Wang Zhongyu, et al. The trajectory prediction of spacecraft by grey method[J]. Measurement Science and Technology, 2016, 27(8), 085011-08520. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=11f0aa2e92ca28cd884174c657e79ecc
[2] Rao B S Y, Durrant-Whyte H F, Sheen J A. A fully decentralized multi-sensor system for tracking and surveillance[J]. International Journal of Robotics Research, 1993, 12(1):20-44. doi: 10.1177-027836499301200102/
[3] Tidrow M Z, Dyer W R. Infrared sensors for ballistic missile defense[J]. Infrared Physics & Technology, 2001, 42(3-5):333-336. http://cn.bing.com/academic/profile?id=65d489eda271add6d70580f44727d37b&encoded=0&v=paper_preview&mkt=zh-cn
[4] Quek F K H, Yarger R W I, Kirbas C. Surface parameterization in volumetric images for curvature-based feature classification[J]. IEEE Transactions on Systems Man & Cybernetics, 2003, 33(5):758-765. http://cn.bing.com/academic/profile?id=1cecb507b2abe6edd52ea1f5d09b7676&encoded=0&v=paper_preview&mkt=zh-cn
[5] 叶声华, 邾继贵, 王仲, 等.视觉检测技术及应用[J].中国工程科学, 1999, 1(01):49-52. doi: 10.3969/j.issn.1009-1742.1999.01.011 Ye Shenghua, Zhu Jigui, Wang Zhong, et al. Visual inspection technology and its application[J]. Engineering Science, 1999, 1(01):49-52. doi: 10.3969/j.issn.1009-1742.1999.01.011
[6] 全燕鸣, 黎淑梅, 麦青群.基于双目视觉的工件尺寸在机三维测量[J].光学精密工程, 2013, 21(4):1054-1061. http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201304031 Quan Yanming, Li Shumei, Mai Qiqun. On-machine 3D measurement of workpiece dimensions based on binocular vision[J]. Optics & Precision Engineering, 2013, 21(4):1054-1061. http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201304031
[7] 吴德刚, 赵利平.基于机器视觉的圆孔尺寸测量系统研究[J].应用光学, 2013, 34(06):1014-1018. http://d.old.wanfangdata.com.cn/Periodical/yygx201306025 Wu Degang, Zhao Liping. Circular hole size measurement system based on computer vision[J]. Journal of Applied Optics, 2013, 34(6):1014-1018. http://d.old.wanfangdata.com.cn/Periodical/yygx201306025
[8] 黄桂平, 李广云, 王保丰, 等.单目视觉测量技术研究[J].计量学报, 2004, 25(04):314-317. doi: 10.3321/j.issn:1000-1158.2004.04.007 Huang Guiping. Li Guangyun, Wang Baofeng, et al. Evolution for monocular vision measurement[J]. Acta Metrologica Sinica, 2004, 25(04):314-317. doi: 10.3321/j.issn:1000-1158.2004.04.007
[9] 韩延祥, 张志胜, 戴敏.用于目标测距的单目视觉测量方法[J].光学精密工程, 2011, 19(05):1110-1117. http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201105024 Han Yanxiang, Zhang Zhisheng, Dai Min. Monocular vision system for distance measurement based on feature points[J]. Optics and Precision Engineering, 2011, 19(5):1082-1087. http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201105024
[10] 耿明超, 赵铁石, 边辉, 等.基于并联理论的单目视觉位姿估计[J].光学精密工程, 2013, 21(10):2617-2626. http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201310021 Geng Minchao, Zhao Tieshi, Bian Hui, et al. Pose estimation of monocular vision based on parallel theory[J]. Optics and Precision Engineering, 2013, 21(10):2617-2626. http://d.old.wanfangdata.com.cn/Periodical/gxjmgc201310021
[11] Liverani A, Leali F, Pellicciari M. Real-time 3D features reconstruction through monocular vision[J]. International Journal for Interactive Design & Manufacturing, 2010, 4(2):103-112. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=8642b79a37acdd55282dbadc61ac64f2
[12] 尹英杰, 徐德, 张正涛, 等.基于单目视觉的平面测量[J].电子测量与仪器学报, 2013, 27(04):347-352. http://d.old.wanfangdata.com.cn/Periodical/dzclyyqxb201304010 Yin Yingjie, Xu De, Zhang zhengtao, et al. Plane measurement based on monocular vision[J]. Journal of Electronic Measurement & Instrument, 2013, 27(4):347-352. http://d.old.wanfangdata.com.cn/Periodical/dzclyyqxb201304010
[13] 于明, 李凯, 韩焱.惯性-视觉复合传感器同步内触发设计[J].应用光学, 2013, 34(4):584-587. http://d.old.wanfangdata.com.cn/Periodical/yygx201304006 Yu Ming, Li Kai, Han Yan. Synchronous inner triggering design of inertial visual compound sensor[J]. Journal of Applied Optics, 2013, 34(4):584-587. http://d.old.wanfangdata.com.cn/Periodical/yygx201304006
[14] Liu C, Zhang Y. 3D Trajectory Reconstruction From Monocular Vision Based on Prior Spatial Knowledge[J]. IEEE Sensors Journal, 2016, 16(3):817-822. doi: 10.1109/JSEN.2015.2487039
-
期刊类型引用(13)
1. 刘峰，郭英华，王霖，高裴裴，张月桐. 二维主动位姿引导的单目空间姿态测量方法. 红外与激光工程. 2024(02): 87-97 . 
百度学术
2. 杨心语，曾祥远，杜华军，刘天赐，杨皓安，李杰. 星座构型筛选的改进几何定位方法. 清华大学学报(自然科学版). 2024(11): 1979-1986 . 百度学术
3. 张建花，陈贝，马晓东. 基于图像的空中加油软管平衡拖曳位置测量方法. 应用光学. 2021(04): 723-727 . 本站查看
4. 李刚，陈祚，姜蓉. 基于红外传感器的运动目标位姿测量与误差分析. 激光杂志. 2020(03): 86-90 . 百度学术
5. 屈也频，刘坚强，侯旺. 单目视觉高精度测量中的合作目标图形设计. 光学学报. 2020(13): 124-131 . 百度学术
6. 罗哉，蔡泽亮，江文松，杨力. 基于单目视觉的工业机器人末端轨迹测量方法. 组合机床与自动化加工技术. 2020(11): 60-64 . 百度学术
7. 屈也频，侯旺. 基于误差传播理论的PnP问题姿态精度分析. 光学精密工程. 2019(02): 479-487 . 百度学术
8. 张旭辉，王冬曼，杨文娟. 基于视觉测量的液压支架位姿检测方法. 工矿自动化. 2019(03): 56-60 . 百度学术
9. 屈也频，张超然，吕余海. 基于机器视觉的最大似然位姿估计算法. 应用光学. 2019(02): 253-258 . 本站查看
10. 张建花，张杰. 基于多视场拼接的飞机偏心定位距精确测量. 应用光学. 2018(03): 379-384 . 本站查看
11. 陈建明，时铭慧. 结合改进的SIFT算法的双目视觉测距. 轻工学报. 2018(05): 90-96 . 百度学术
12. 王婧，李双江，田石柱. 双目立体视觉技术在结构试验中的应用. 应用光学. 2018(06): 821-826 . 本站查看
13. 杨文娟，马宏伟，张旭辉. 悬臂式掘进机截割头姿态视觉检测系统. 煤炭学报. 2018(S2): 581-590 . 百度学术
其他类型引用(13)
下载:
计量
- 文章访问数: 1000
- HTML全文浏览量: 331
- PDF下载量: 105
- 被引次数: 26
陕公网安备 61011302001501号 