Sequence-interleaving mapping method for direction of polarization
-
摘要: 偏振方向是偏振成像技术中的基本信息之一，能够反映出场景物体表面的方向信息，因此场景中偏振方向的分布对场景信息的解译有着重要的作用。传统的偏振方向表示方法存在着二维或三维信息映射方法的映射结果维度较高和由映射关系的距离相关性低而引起的映射方法噪声鲁棒性低问题。提出了具有距离保持特性的基于交织序列的偏振方向信息一维数值映射方法。选择从斯托克斯矢量分量中提取方向信息作为偏振方向的二维映射方法，再基于交织序列方法将二维数据映射为一维数值；之后研究了距离保持特性与映射方法对噪声鲁棒性的关系，并分析了该文所提出的偏振方向映射方法与传统偏振角映射方法的距离保持特性；进行了仿真实验与真实场景实验。仿真实验中，该文所提方法映射结果的PSNR均值相较于偏振映射方法提升了6%；真实场景实验中，该文方法映射结果相较于斯托克斯矢量映射方法降低了信息维度，相较于偏角映射方法，NMF特征的NRPSNR均值提升约14%，证明了所提出的映射方法具有低信息维度及较好的噪声鲁棒性。Abstract: Direction of polarization, as one of the basic information in polarization imaging technology, can reflect the direction information of object surface in the scene. Therefore, the distribution of polarization direction in the scene plays an important role in the interpretation of the scene information. The conventional representation method of polarization direction has two main problems: one is high dimension of mapping results for 2-D or 3-D information mapping methods, another one is low noise-robustness of mapping methods caused by the low distance correlation of mapping relationship. A 1-D numerical value mapping method of polarization direction information based on the interleaved sequence with distance-preserving property was proposed. Firstly, the direction information was extracted from the stokes vector component as the 2-D mapping method of polarization direction. Based on the interleaved sequence method, the 2-D numerical value was mapped into the 1-D numerical value. Then, the relationship between the distance-preserving property and mapping method to noise-robustness was studied, and the distance-preserving property of the proposed mapping method of polarization direction and the conventional mapping method of polarization angle was analyzed. Finally, the simulation experiment and real-scene experiment were conducted. In the simulation experiment, the peak signal to noise ratio (PSNR) mean of the mapping results of proposed method was increased by 6% compared to the mapping method of polarization. In the real-scene experiment, the mapping results of proposed method reduced the information dimension compared to the mapping method of stokes vector and the no-reference PSNR (NRPSNR) mean of the non-negative matrix factorization (NMF) features was increased by 14% compared to the mapping method of polarization angle, which proved that the proposed mapping method has low information dimension and good noise-robustness.
-
引言
稳定、均匀的空气其折射率一般是均匀的，但在温度差距显著的局部温度场中，空气折射率受到温度分布和空气气流等因素的影响会发生微小变化，光线在此空气温度场传播过程中会随着微变折射率的积累而使光路发生不可忽略的改变[1]，引发成像光束偏移、像点抖动、光束扩展等一系列问题，进而导致成像图像发生畸变和模糊[2-4]。因此，测量目标位移和应变的视觉测量领域中，研究热干扰成像变化规律、寻找合适的成像补偿方法以期获取准确、清晰的高质量图像，成为提高视觉测量精度、降低测量误差的一项关键内容[5]。目前关于环境温度场对成像影响的研究主要集中于红外热成像[6-8]以及三维温度场检测方面[9-10]，此外，基于可见光成像系统，文献[11]对比了有无热扰动下的成像差异以及在热扰动下相邻帧图像之间的变化，未就热源相对于成像系统和成像目标位置的影响进行分析；文献[12]利用光线追迹算法研究了热干扰下视场角、物距、折射率变化幅度与成像畸变的关系；文献[4]分析了热源辐射下空气折射率变化对光学成像的影响，在轴向热干扰成像变化规律研究方面，相关实验中热源放置位置较少，得出的相关结论较为牵强。本文基于热源在光学成像系统和成像目标之间作轴向运动，利用多种图像相似性评价方法，分析热源干扰对成像变化的影响，得出热干扰成像变化与热源位置之间的相关规律，为后期实现成像补偿并最终获得准确、清晰的高质量图像提供依据。
1 原理
1.1 热干扰原理
一般情况下，地球周围大气的折射率分布是空间位置、时间和波长的函数，根据其特性可以将其看作非随机变化部分和随机变化部分的组合，如(1)式所示[13]。其中：n代表地球周围大气折射率；s、t、λ分别代表空间位置、时间和波长：n0、n1分别代表折射率中的非随机变化部分和随机变化部分。由式(1)可知，折射率中的非随机变化部分n0只与空间位置s及波长λ有关，随机变化部分n1则会受到时间nt影响。
$$ n\left( {s, t, \lambda } \right) = {n_0}\left( {s, \lambda } \right) + {n_1}\left( {s, t} \right) $$ (1) $$ n = 1 + N\left( {\lambda , P, T, e} \right) \times {10^{ - 6}} $$ (2) $$ \begin{array}{l} N\left( {\lambda , P, T, e} \right){\rm{ = }}7.7748\frac{P}{T}\left( 1 \right.{\rm{ + }}\\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;0.006063\left. {{\lambda ^{ - 2}}} \right){\rm{ + }}0.1127\frac{e}{T} \end{array} $$ (3) 在小范围局部大气场中，由于光速很快，光传播时间极短，折射率中的随机变化部分就可以忽略不计。因此，局部大气场折射率的主要影响因素通常为绝对温度T=Δt+273.15K、湿度e、气压P和波长λ，其具体相关关系如(2)~(3)式所示[14]。在近地空间，一般大气压P=101 325 Pa，水汽压e=0，取光线的波长λ=0.65 μm，则可将(2)~(3)式简化为(4)式。(4)式表明，小范围局部大气场的折射率主要受温度影响，并且温度差异越大，折射率变化越明显。
$$ n = 1 + \frac{{0.0797663}}{T} $$ (4) 1.2 相似性评价
相似性评价是用来判断变化图像相对于参考图像的相似程度，一般评价内容包括位置信息的相似程度和灰度信息的相似程度[15]。对于轴向热干扰成像的变化，在位置信息上的变化表明图像发生热干扰成像畸变，在灰度信息上的变化表明图像发生热干扰成像模糊。利用图像中的特征点平均位移来表示热干扰成像图像特征点的平均畸变位移(average distortion displacement，ADD)，反映热干扰成像图像的畸变程度，如下式所示：
$$ \text{ADD}=\frac{1}{K}\sum\limits_{i=1}^{K}{\sqrt{{{\left( {{x}_{i}}-x_{i}^{'} \right)}^{2}}+{{\left( {{y}_{i}}+y_{i}^{'} \right)}^{2}}}} $$ (5) 式中:K表示特征点总个数；xi、yi分别表示第i个特征点在参考图像像素坐标系中的横、纵坐标；x′i、y′i分别表示对应第i个特征点在热干扰成像图像像素坐标系中的横、纵坐标。
利用图像的峰值信噪比(peak signal to noise ratio，PSNR)和灰度的均方误差(mean square error，MSE)表示热干扰成像图像的模糊程度，如(6)~(7)式所示[16]。其中:N、M表示待测图像的尺寸; f(i, j)、g(i, j)分别表示参考图像与热干扰成像图像像素点的灰度值。由公式可以得知，PSNR值越小、MSE值越大，热干扰成像图像整体像素点的灰度值越接近参考图像，表明热干扰成像图像越清晰、模糊程度越小。
$$ \text{PSNR}=10\times \lg \frac{NM\times {{255}^{2}}}{\sum\limits_{i=1}^{N}{\sum\limits_{j=1}^{M}{{{\left[ f\left( i, j \right)-g\left( i, j \right) \right]}^{2}}}}} $$ (6) $$ \text{MSE}=\frac{1}{NM}\sum\limits_{i=1}^{N}{\sum\limits_{j=1}^{M}{\left| f\left( i, j \right)-g\left( i, j \right) \right|}} $$ (7) 利用参考图像与热干扰成像图像的互相关系数(cross correlation，CC)表示两图像的总体相似程度，如(8)式所示[15]。由公式可以得知，两幅图像的数值越接近1，表明两幅图像之间对应像素点的灰度值越趋于相同，两图像的相似程度越高，即被测图像相对于参考图像的保真度越高。
$$ \text{CC}=\frac{\sum\limits_{i=1}^{N}{\sum\limits_{j=1}^{M}{\left[ f\left( i, j \right)g\left( i, j \right) \right]}}}{\sqrt{\sum\limits_{i=1}^{N}{\sum\limits_{j=1}^{M}{{{f}^{2}}\left( i, j \right)}}}\sqrt{\sum\limits_{i=1}^{N}{\sum\limits_{j=1}^{M}{{{g}^{2}}\left( i, j \right)}}}} $$ (8) 2 实验过程
为研究局部温度场中热源在相机轴向干扰下成像的规律，设计热源为酒精灯火焰的相关实验，如图 1所示：将成像系统中的相机安置在距离竖直放置棋盘格L=500 mm处，并保证两者的中心轴线重合；将酒精灯放置在距离相机与棋盘格轴线正下方H=100 mm处、距离棋盘格S1=100 mm处，点燃酒精灯并在其火焰稳定正常燃烧后在轴向范围内向相机方向作间隔为d=50 mm的轴向移动，在距离相机S2=100 mm处移动停止；成像系统在酒精灯点燃前和稳定燃烧作轴向间隔移动时，对棋盘格进行图像采集。
在进行实验时，具体实验实施现场如图 2所示。成像系统所选用的相机为IMPERX 4M工业相机，分辨率为2 060 pixel×2 056 pixel，可设置的采集速度为1 f/s~100 f/s；所选用的标准棋盘格整体尺寸为100 mm×100 mm，单个小格尺寸为5 mm，尺寸精度为0.001 mm；所选用的酒精灯燃料为标准工业酒精，其火焰外焰温度为650℃~700℃；实验采用三维精密平移台控制酒精灯作轴向间隔移动，其运动精度为0.002 mm。结合实验器材及具体实施条件，首先利用成像系统在酒精灯点燃前连续采集10幅图像，在酒精灯火焰稳定正常燃烧时，轴向间隔运动总位移量D为0 mm、50 mm、100 mm、150 mm、200 mm、250 mm、300 mm的位置处各连续采集10幅图像。然后，为降低其他随机因素对成像图像的影响，在运用Matlab图像处理平台对同一位置、同一热源状态的10幅图像相同像素点的灰度值进行平均得到合成处理的图像后，再对合成的图像统一进行图像剪裁，保留图像中心的棋盘格成像区域作为目标研究区域，将酒精灯点燃前连续采集、合成并剪裁的图像作为轴向热干扰成像的参考图像，将酒精灯火焰稳定正常燃烧时每一间隔运动位置所采集、合成并剪裁的图像作为该位置轴向热干扰的成像图像。最后依据参考图像，对各位置的轴向热干扰的成像图像进行相似性评价。
3 实验结果与分析
为降低成像系统自身原因(如相机镜头畸变、主点偏移等)对成像图像的影响，需要对所用相机进行标定以获取相机的主点位置及相关畸变参数，确保棋盘格成像在像面中心区域，并对所采集的图像统一进行图像剪裁，保留图像中心的棋盘格成像区域作为目标研究区域。根据上述实验设计，图 3(a)所示为采集、合成并剪裁后得到的参考图像。利用角点检测相关算法检测出棋盘格的角点；图 3(b)为参考图像的角点检测结果，设置合适的阈值检测出图像角点为128个；图 3(c)为角点检测结果对比图，其中符号“+”为参考图像检测出的角点，符号“·”为酒精灯轴向间隔位移在D=200 mm处成像图像检测出的角点。
将图像中检测的角点作为特征点，以参考图像中特征点为参考，分别计算上述热干扰成像图像中的特征点的平均畸变位移，进而得到热干扰成像图像相对于参考图像的畸变程度。由于可以利用Matlab图像显示中的“数据游标”操作获取图像任意点的坐标，因此，以标准棋盘格整体尺寸为100 mm×100 mm、单个小格尺寸为5 mm、尺寸精度为0.001 mm作为尺度参照，可获知图像中1 pixel约为0.270 5 mm，可将热干扰图像以像素为单位的畸变量转化为实际畸变量。轴向各位置位移处热干扰成像图像特征点的平均畸变位移如图 4所示。图 4曲线显示，酒精灯热源从棋盘格到相机沿轴向方向做间隔运动时，热干扰图像中特征点相对于参考图像的平均畸变位移依次增大，在D=0 mm即距离棋盘格最近处平均畸变位移值最小，为0.810 2 mm，在D=300 mm即距离相机最近处平均畸变位移达到最大值2.765 3 mm。上述实验结果表明，当热源在成像系统和成像目标之间作轴向运动时，热源距离成像系统越近，成像图像的畸变越大；热源距离成像目标越近，成像图像的畸变越小。
![]()
图 4 热干扰成像图像特征点平均畸变位移Figure 4. Average distortion displacement of feature points in thermal disturbance imaging以参考图像为标准图像，对各位置处的热干扰成像图像计算峰值信噪比和均方误差，以此评价热干扰成像图像的模糊程度，两项数据的计算结果如表 1中“PSNR”与“MSE”两行所示。表中两项数据显示，随着酒精灯热源的轴向位移增大，即越靠近成像系统的相机，热干扰成像图像相对于参考图像的峰值信噪比数值越小、灰度的均方误差数值越大。两项实验数据表明，当热源在成像系统和成像目标之间作轴向运动时，热源距离成像系统越近，成像图像模糊程度越严重；热源距离成像目标越近，成像图像的模糊程度越轻微。
表 1 热干扰成像图像的模糊指标与总体相似度指标Table 1. Indices of blurring and total similarity for thermal disturbance imaging热源轴向位置D/mm 0 50 100 150 200 250 300 PSNR 28.6657 27.7879 27.1556 26.3414 25.6443 24.0995 21.6146 MSE 5.6355 5.9422 6.3416 6.9844 7.2671 9.4033 14.0070 CC 0.9892 0.9889 0.9846 0.9837 0.9826 0.9775 0.9695 以参考图像为标准图像，对各位置处的热干扰成像图像计算互相关系数，以此评价热干扰成像图像的总体相似度，两项数据的计算结果如表 1中“CC”所在行所示。表中该项数据显示，随着酒精灯热源的轴向位移增大，即越靠近成像系统的相机，热干扰成像图像相对于参考图像的互相关系数数值越小。实验数据表明，当热源在成像系统和成像目标之间作轴向运动时，热源距离成像系统越近，成像图像与参考图像的总体相似度越低，即成像图像失真越严重；热源距离靠近成像目标，成像图像与参考图像的总体相似度提高，即成像图像的保真度越高。
4 结论
本文利用棋盘格角点的平均畸变位移评价轴向热干扰成像图像的畸变程度，利用峰值信噪比和均方误差评价轴向热干扰成像图像的模糊程度，利用互相关系数评价轴向热干扰成像图像的总体相似程度，最终根据实验结果得出轴向热干扰成像变化的规律：1)当热源在成像系统和成像目标之间作轴向运动时，热源距离成像系统越近成像图像的畸变越大，热源距离成像目标越近成像图像的畸变越小；2)当热源在成像系统和成像目标之间作轴向运动时，热源距离成像系统越近成像图像模糊程度越严重，热源距离成像目标越近成像图像的模糊程度越轻微；3)当热源在成像系统和成像目标之间作轴向运动时，热源距离成像系统越近成像图像失真越严重，热源距离靠近成像目标成像图像的保真度提高。
-
![]()
图 2 不同B值下交织序列映射法对极坐标角度坐标映射结果
Figure 2. Mapping results of polar -coordinate angle coordinates by mapping method of interleaved sequence under different B values
![]()
图 3 映射中数值突变对因变量噪声的影响
Figure 3. Influence of numerical mutation in mapping on noise of dependent variable
![]()
图 5 方向距离与映射关系中因变量距离之间的相关性
Figure 5. Correlation of direction distance and dependent variable distance in mapping relationship
![]()
图 6 交织映射方法及传统AoP映射方法下映射结果PSNR与加入不同高斯噪声后图像SNR之间的关系
Figure 6. Relationship between SNR of image after adding different Gaussian noises and PSNR of mapping results under interleaved mapping method and conventional AoP mapping method
表 1 加入噪声SNR=20时偏振角映射方法与交织序列映射方法映射结果及其PSNR
Table 1 Mapping results and PSNR values of mapping methods of polarization angle and interleaved sequence when SNR is 20
Mapping method Wthout noise Adding Gaussian noise with SNR=20 PSNR AoP mapping 
19.50 Sequence-interleaving mapping 
21.38 
下载: 导出CSV
表 2 场景偏振特征噪声水平
Table 2 Noise measurement of polarization features of scenes
Mapping method AoP mapping Sequence-inter-
leaving mappingPolarization feature
imageF1 F2 F3 F1 F2 F3 NRPSNR 23.09 24.55 33.62 28.99 30.24 33.63 Mean value of NRPSNR 27.09 30.95
下载: 导出CSV
-
[1] 李淑军, 姜会林, 朱京平, 等. 偏振成像探测技术发展现状及关键技术[J]. 中国光学,2013,6(6):803-809. doi: 10.3788/co.20130606.0803 LI Shujun, JIANG Huilin, ZHU Jingping, et al. Development status and key technologies of polarization imaging detection[J]. Chinese Journal of Optics,2013,6(6):803-809. doi: 10.3788/co.20130606.0803
[2] KAROUZOS M. Cloudy with a chance of depolarization[J]. Nature Astronomy,2021,5(3):224.
[3] MIYAZAKI D, HASHIMOTO S. Uncalibrated photometric stereo refined by polarization angle[J]. Optical Review,2021,28(1):119-133. doi: 10.1007/s10043-021-00640-0
[4] 刘娟, 胡滨, 周雅. 物理光学基础教程[M]. 北京: 理工大学出版社, 2017: 41. LIU Juan, HU Bin, ZHOU Ya. Fundamental concepts of physics optics[M]. Beijing: Beijing Institute of Technology Press, 2017: 41.
[5] KRUSE A W, ALENIN A S, TYO J S. Review of visualization methods for passive polarization imaging[J]. Optical Engineering,2019,58(8):82414.
[6] 吴飞. 基于等距特征映射的高光谱图像可视化研究[D]. 哈尔滨: 哈尔滨工程大学, 2018. WU Fei. Research on color visualization of hyperspectral imagery based on isometric mapping[D]. Harbin: Harbin Engineering University, 2018.
[7] KHOSLA K, JHA I P, KUMAR A, et al. Local-topology-based scaling for distance preserving dimension reduction method to improve classification of biomedical data-sets[J]. Algorithms,2020,13(8):192. doi: 10.3390/a13080192
[8] GOUDAIL F, BENIERE A. Estimation precision of the degree of linear polarization and of the angle of polarization in the presence of different sources of noise[J]. Applied Optics,2010,49(4):683-693. doi: 10.1364/AO.49.000683
[9] ALINA D, MONTIER L, RISTORCELLI I, et al. Polarization measurement analysis[J]. Astronomy & Astrophysics,2016,574(6):67-93.
[10] GONG Guang. Theory and applications of q-ary interleaved sequences[J]. IEEE Transactions on Information Theory,1995,41(2):400-411. doi: 10.1109/18.370141
[11] MAMOULIS N. Spatial data management[J]. Synthesis Lectures on Data Management,2011,3(6):1-149. doi: 10.2200/S00394ED1V01Y201111DTM021
[12] 于修成, 宋燕, 胡浍冕. 融合Spearman相关性系数与多尺度框架的立体匹配算法[J]. 上海理工大学学报,2020,42(1):88-93. YU Xiucheng, SONG Yan, HU Huimian. An algorithm that fuses Spearman correlation coefficient and multi-scale framework for stereo matching[J]. Journal of University of Shanghai for Science and Technology,2020,42(1):88-93.
[13] CHEN Zhenyue, WANG Xia, LIANG Rongguang. Calibration method of microgrid polarimeters with image interpolation[J]. Applied Optics,2015,54(5):995-1001. doi: 10.1364/AO.54.000995
[14] 孙晶. 多波段偏振图像融合方法研究[D]. 北京: 北京理工大学, 2019. SUN Jing. Study on multiband polarization image fusion method[D]. Beijing: Beijing Institute of Technology, 2019.
[15] 范媛媛, 桑英军, 沈湘衡. 视觉掩盖效应下的无参考图像信噪比评价[J]. 应用光学,2012,33(4):711-716. FAN Yuanyuan, SANG Yingjun, SHEN Xiangheng. No-reference image SNR assessment under visual msaking[J]. Journal of Applied Optics,2012,33(4):711-716.
-
期刊类型引用(1)
1. 王从政, 胡松, 高椿明, 冯常. 水下热扰动的光学成像失真问题研究. 光电工程. 2019(10): 3-11 . 
百度学术
其他类型引用(0)
计量
- 文章访问数: 699
- HTML全文浏览量: 231
- PDF下载量: 37
- 被引次数: 1
陕公网安备 61011302001501号 