引言

光纤陀螺仪(fiber optic gyroscope, FOG)是一种光纤传感器设备，它基于Sagnac效应测量载体相对于惯性空间的角速度^[1]，在军事等领域中有广泛应用。在影响FOG性能的众多因素中，光纤环(fiber optic coil, FOC)的绕制质量是影响光纤陀螺测量精度的关键因素，但是由于光纤材料的直径微小，只有125 μm，因此对FOC图像的分辨率有极高的要求。

图像超分辨率(super-resolution, SR)是一种通过超分模型，将低分辨率图像(low-resolution, LR)或者是图像序列进行恢复得到高分辨率(high-resolution, HR)图像的图像处理技术。现有的图像SR方法可以分为：基于插值^[2]、基于重建^[3-4]和基于学习^[5]的方法。基于插值的方法通过内插函数重建HR图像，简洁高效，但通常会模糊重建图像的边缘和纹理。基于重建的方法通常根据一些图像先验提出假设，如稀疏先验，重建过程非常耗时。而基于深度学习的方法^[6-8]直接学习从LR图像到HR图像的映射关系，通过加深或加宽网络^[9-11]来提高性能，但也加重了运算负担。因此，设计轻量级SR网络至关重要。

FOC图像不同于自然图像，其包含更丰富的纹理，需要特定的网络来还原细节特征。其次，由于深度模型带来的运算负担，将现有的SR方法直接应用于FOC图像会存在适应性问题。并且，利用递归卷积块^[12]、组卷积或深度卷积^[13-14]构建的轻量级网络，其计算复杂度与具有独立展开块的网络相同。最后，相对较少的训练样本，会使得训练更加困难。

因此，本文提出了一种基于卷积神经网络(convolutional neural network, CNN)的图像超分辨率方法，来提高光纤环绕制FOC图像的分辨率。首先设计了提取梯度信息的双分支网络，利用梯度学习分支提取丰富的几何结构信息，同时引入多阶段特征迁移机制来指导图像信息重建过程，从而获得满意的SR结果。另外引入了轻量级残差块(lightweight residual block, LRB)来改进网络结构。实验表明，本文方法可以实现出色的超分辨率性能，并且在效率和性能方面优于其他先进网络。

1   本文方法

1.1   双分支网络结构

在图像采集过程中，与原始HR图像相比，LR图像丢失了部分视觉细节。丢失的视觉细节本质上是高频的，其主要包含在图像梯度场中。大多数超分辨率卷积神经网络都没有充分利用图像的梯度信息，而梯度信息的提取有助于图像边缘的高分辨率恢复。为了重建更清晰的纹理边缘，本文提出一种基于深度学习的双分支网络用于实时超分辨率光纤环绕制图像。如图1所示，网络包含一个图像信息分支和一个梯度信息分支。图像信息分支作为主路径用于图像特征提取，而梯度信息分支用于捕获丰富的高频特征以进一步促进梯度流和低级特征的传输。两者通过多阶段特征迁移策略进行联合优化，使得网络在不增加额外参数的情况下获得更好的图像重建效果。

图  1  本文算法的网络结构

Figure  1.  Network structure diagram of proposed algorithm

下载: 全尺寸图片 幻灯片

给定LR图像X，首先从中提取梯度图。通过计算相邻像素之间的差异来获取梯度图，则像素点(x，y)水平和垂直方向的梯度分别为

梯度图更加注重于高频细节，许多缓慢变化的低频区域的值将接近于零。梯度图X_g可由（2）式获得：

然后LR图像和梯度图像分别沿各自路径进行特征提取和非线性映射。特征提取模块使用两个3×3卷积层来提取浅层特征。由多个轻量级残差块(LRB)组成的链式结构同时作用于两个分支进行非线性特征映射，输出增强后的特征分量，结果分别表示为X_I,n、X_G,n。随后，将来自梯度信息分支的结果和图像信息分支的结果以像素形式相加，即X_add=X_I,n+X_G,n。最后将X_add输入到重建块以获得最终的超分辨率重建结果Y，该部分由两个堆叠的转置卷积构成。在网络中采用全局残差学习，以进一步促进梯度流和浅层特征的传输。此过程可表示为

式中：F_re表示重建块的函数；F_bic表示双三次上采样操作。

1.2   轻量级残差块

受线性压缩跳跃连接^[15]的启发，本文构造了轻量级残差块(LRB)，如图2所示。LRB包含两个特征映射单元，后跟一个局部残差连接。线性压缩层(linearly compressive layer, LCL)被集成到局部跳跃连接。线性压缩层通过1×1卷积，将输入特征通道数由C压缩为C/2。压缩后的特征可以视作先前特征的紧凑表示，这使得后续层能够重用先前特征。然后利用卷积层来探索新的特征，其输出通道数也为C/2。因此，压缩后的特征与新探索的特征进行级联后的特征数仍为C。本文设定LRB中输入特征的通道数为64。线性压缩跳跃连接继承了原始密集连接的优越性，随着网络深度的增加，保持当前层的参数和计算量不变，极大地降低了计算成本。假设第l个特征映射单元的输入为X_l,in，上述过程可以表示为

式中：DWConv表示 3×3 深度可分离(depthwise)卷积层，上标为输入通道数，下标为输出通道数；F_LCL表示LCL函数；[…]表示串联(concatenate)操作。每个卷积层之后紧跟一个参数整流线性单元(parametric rectified linear unit, PReLU)。

为了充分利用分层特征，在两个特征映射单元之后，使用局部特征融合(local feature fusion, LFF)层来进一步融合级联特征，由1×1卷积层实现。此外，还采用局部残差学习来促进LRB中的信息流动。因此，LRB的输出为

式中：H_n和H_n-1分别表示LRB的输入和输出；F_LFF表示局部特征融合函数。

图  2  LRB结构细节

Figure  2.  Diagram of structure details of LRB

下载: 全尺寸图片 幻灯片

1.3   多阶段迁移学习

梯度信息对于获得丰富的结构特征至关重要。因此，本文在信息流和梯度流之间建立横向连接，允许在两个流之间传输特征。在图像信息分支的每个LRB前引入了特征迁移的工作机制，以通过多条路径将不同级别的特征从一个流传输到另一个流，如图1所示。通过多阶段特征迁移，图像信息流的训练受益于来自梯度信息流的丰富信息。通过这种方式，信息分支可以轻松获得梯度高级特征，在不增加参数的情况下提高了图像信息分支的有效性。该过程可以表示为

式中：F_n表示图像信息分支中的第n个LRB函数；X_I,n和X_I,n−1表示图像信息分支中第n个LRB的输出和输入；X_G,n表示梯度信息分支中第n个LRB的输出。

1.4   成像系统退化模型分析

虽然双三次下采样的退化模型在重建精度上取得了很大的进步，但现实成像系统中的退化模型往往会偏离这些假设，从而不可避免地导致训练真实场景超分辨率模型的严重恶化。系统成像过程中造成图像劣化的因素有很多，如光学系统的散焦、衍射极限、图像传感器的点扩散函数(point spread function, PSF)、温度变化或振动引起的模糊等。不同的模糊因素会导致图像对比度差，清晰度下降，最终影响图像质量。为了简化重建模型，一般只考虑光学模糊和散焦模糊。在实际应用中，光学成像系统受衍射极限和噪声的影响，其光能传播分布不均匀，一般可以假设为高斯分布。由于成像过程中离焦的不可避免的影响，将PSF建模为各向异性高斯模糊核，可以表述为

式中σ_x和σ_y分别表示x和y方向的标准差。

2   实验与结果分析

2.1   数据集与训练细节

为了解决FOC图像数据集缺乏的问题，所提出的网络使用通用图像作为辅助数据进行训练，然后将学习到的知识转移到FOC图像。本文选择来自DIV2K数据集的200张高质量图像来训练模型。对于FOC图像，将CCD相机捕获的原始分辨率为 2592×1944像素的FOC图像定义为HR。为了生成LR图像，应用第1.4节描述的退化模型来合成训练数据。模糊核σ_x和σ_y的宽度从[0.2, 4]中随机采样，核大小固定为15×15。经过人工筛选，获得在不同照度、曝光值和增益场景下拍摄的150幅高质量灰度图像，其中100张图像用于训练，其余图像用于测试。输入图片大小被水平裁剪为160×160像素，步幅为140像素。采用Adam^[16](adaptive momentum estimation, Adam)算法进行优化，设置β₁为0.9，β₂为0.999，初始学习率为0.0001。每次训练的批尺寸(batch size)为16。模型使用PyTorch框架实现，并基于NVIDIA Quadro P4000 GPU对其进行训练。在最终模型中，每个分支的LRB数量设置为3，以平衡性能和模型参数。除LFF、LCL和反卷积层外，所有卷积的内核大小、步长和填充分别设置为3、1和1。

2.2   损失函数和评价指标

引入损失函数的目的是预测并最小化真实图像和重建图像之间的差异。本文选择L1损失作为损失函数，因为它比L2损失更符合人类视觉系统。此外，L1损失更稳健，通常不受异常值的影响。给定训练图像对{x_i, y_i}，Y_i表示真实图像。损失函数如下：

式中：F表示从LR训练块x_i生成HR图像的映射函数。采用峰值信噪比^[17](peak signal-to-noise ratio, PSNR)和结构相似性指数(structural similarity, SSIM)作为质量评估指标。

2.3   模型分析

为了验证本文方法的有效性，进行了一系列实验来分别验证不同部分的作用。实验结果如表1所示。

表  1  4种模型在4倍比例因子下的PSNR/SSIM值

Table  1.  PSNR/SSIM values for four models at 4× scale factors

Models	A	B	C	Full
Parameters/K	97	155	155	155
PSNR/dB	37.39	38.92	38.87	38.97
SSIM	0.8971	0.9763	0.9758	0.9769

下载: 导出CSV 

| 显示表格

通过调整两个分支的输入，将图像梯度分支的输入设置为0，此模型记为A(Model-A)。在模型B(Model-B)中，将图像梯度分支的输入也设置为LR图像，即两个分支都输入LR图像。通过比较表1所示的结果，可以得出结论，梯度信息能够辅助图像重建过程从而实现更出色的性能。另外，为了研究多阶段特征迁移机制对整个模型的影响，设计了一个没有特征迁移的双分支网络结构，记为模型C(Model-C)。将其与本文的完整模型进行对比，结果表明多阶段特征迁移机制有利于提高模型性能。

此外，为了验证不同退化模型的影响，分别用3种退化模型对HR图像进行下采样来产生训练对并进行了3组实验。3种退化模型分别是异步高斯核(asynchronous Gaussian kernel, Asyn-Gau)、双三次图像插值(Bicubic)和散焦模糊(Disk)。Disk内核半径从区间[1, 4]均匀采样。图3显示了网络对于不同退化模型的收敛曲线，可以看出使用Asyn-Gau训练的模型在PSNR方面实现了卓越的能力，这表明了本文退化模型的优势。

图  3  测试集在4倍放大因子下不同退化模型的迭代曲线

Figure  3.  Iterative curves of different degradation models at 4× scale factors for test set

下载: 全尺寸图片 幻灯片

图4显示了上述不同版本模型的重建效果图。为了便于观察，对图像某区域进行了局部放大。首先，如果去掉梯度分支，网络则无法恢复清晰的图像(图4(c))。其次，模型B(图4(d))和C(图4(e))的整体视觉效果相比较而言清晰度有所提高，但与图4(h)相比仍然模糊。最后，在Bicubic退化模型下的重建效果在视觉上与disk和Asyn-Gau区别不大。然而，使用所提出的Asyn-Gau在PSNR方面取得了更好的结果。

图  4  不同模型下的效果比较

Figure  4.  Comparison of effects under different models

下载: 全尺寸图片 幻灯片

2.4   实验结果分析

将本文方法与几种先进的SR方法在不同的比例因子(2^×、3^×和4^×)下进行比较，包括双三次图像插值法(Bicubic)、基于稀疏表示^[3]的方法(sparse coding super-resolution, ScSR)、基于自相似性的方法^[4](self-exemplars super-resolution, SelfExSR)、基于超分辨率重建卷积神经网络^[6](convolutional neural networks for super-resolution, SRCNN)、基于深度卷积神经的网络模型^[7](deep convolutional networks for super-resolution, VDSR)、基于深度递归残差网络^[12](deep recursive residual network, DRRN)、基于拉普拉斯金字塔的超分辨率网络^[18](Laplacian pyramid super-resolution network, LapSRN)和基于深度即插即用的超分辨率方法^[19](deep plug-and-play super-resolution, DPSR)。所有基于模型的方法都在本文数据集上进行了训练。

表2总结了不同算法的量化结果。除了广泛使用的PSNR和SSIM评估指标外，还采用了另一个评估指标—信息保真度准则^[20](information fidelity criterion, IFC)。总体而言，无监督方法的表现非常差，基于神经网络的方法优于无监督方法。对于PSNR和SSIM值，本文方法在3个比例因子下均展现了最佳性能。观察到SelfExSR在IFC的所有方法中得分最高，但很明显SelfExSR的结果存在严重的伪影，这可能是导致结果较高的原因。

为了展示不同方法重建后的视觉质量，裁剪部分区域放大后显示在图5中。显然本文模型获得的重建图像中的边缘比其他图像中的边缘更清晰，也更接近HR图像。

表  2  一些先进网络的平均 PSNR、SSIM 和 IFC 结果对比

Table  2.  Comparison of average results of PSNR, SSIM and IFC for some advanced networks

Method	2×				3×				4×
	PSNR/dB	SSIM	IFC		PSNR/dB	SSIM	IFC		PSNR/dB	SSIM	IFC
Bicubic	38.85	0.9072	6.080		35.09	0.8603	3.147		32.84	0.8132	1.987
ScSR[3]	40.03	0.9217	6.104		36.25	0.8757	3.212		35.19	0.8521	2.214
SelfExSR[4]	40.98	0.9433	6.671		37.81	0.8993	4.185		35.95	0.8575	2.626
SRCNN[6]	41.55	0.9596	6.285		38.74	0.9290	3.720		36.45	0.8978	2.321
VDSR[7]	42.88	0.9811	6.326		39.22	0.9507	3.841		37.51	0.9283	2.370
DRRN[12]	43.96	0.9834	6.494		40.96	0.9750	3.911		38.36	0.9532	2.436
LapSRN[18]	43.99	0.9857	6.516		41.20	0.9761	4.106		38.61	0.9663	2.587
DPSR[19]	44.04	0.9846	6.477		41.23	0.9757	4.043		38.65	0.9654	2.562
Ours	44.08	0.9858	6.592		41.35	0.9793	4.174		38.97	0.9769	2.601

下载: 导出CSV 

| 显示表格

图  5  在4×比例因子下不同方法的视觉比较

Figure  5.  Visual comparison of different methods for 4× scale factors

下载: 全尺寸图片 幻灯片

除了上述对合成下采样FOC图像的实验外，本文还对分辨率为 1280×1024像素的真实低质量FOC图像进行了实验，这些图像由1.3×10⁶像素的CCD相机拍摄。图6和图7分别显示了对相机分辨率不足和失焦导致的真实低质量图像进行4倍重建后的视觉比较。可以发现，大多数比较模型恢复的SR图像都存在不同程度的模糊。相比之下，本文模型比其他比较方法恢复了更精细的边缘和更可靠的纹理细节，说明了本文方法在实际应用中的优势。

图  6  真实LR图像上的结果

Figure  6.  Results on real LR image

下载: 全尺寸图片 幻灯片

图  7  真实LR图像上的结果

Figure  7.  Results on real LR image

下载: 全尺寸图片 幻灯片

2.5   效率评估

本小节进一步分析了所提出方法的时间复杂度。不同方法的运行时间、参数数量如表3所示。结果显示本文方法比其他方法更快更轻。DRRN虽然参数较少，但它是最耗时的，本文算法可以用较少的参数获得更好的性能。总体而言，所提出的方法在效率上与这些比较方法相比具有很强的竞争力，同时可以获得更好的结果。因此，对光纤绕线质量进行在线监测更为有效和实用。

表  3  各算法的运行时间和参数量

Table  3.  Running time and parameters of different algorithms

Methods	SRCNN	VDSR	DRRN	LapSRN	DPSR	Ours
Parameters/K	57	665	297	813	820	155
Time/s	0.028	0.151	6.357	0.042	2.163	0.018

下载: 导出CSV 

| 显示表格

3   结论

本文提出了一种用于光纤环绕制图像SR的轻量级网络。网络通过梯度信息分支提取丰富的梯度信息，用于指导边缘高频细节的恢复。高效的线性压缩跳跃连接减少了原始密集连接的参数和计算，深度可分离卷积进一步降低了计算成本。与先进的轻量级方法相比，所提出的网络在效率和性能方面都领先于其他方法，因此它更易部署在实际应用中，并为光纤绕线质量监测提供了有力的保障。未来我们将进一步开发和寻求新的符合实际成像系统特性的退化模型，实现对PSF和噪声的准确估计。