引言

目标检测和识别技术在军事领域有着重要的应用，近年来发展了很多基于深度学习的目标分类算法^[1]。这些算法所依赖的模型参数需要通过大量的样本进行训练才能得到。然而军事目标能够采集到的样本数目有限，且大样本数据手工标注耗时且成本高等^[2-3]。本文研究了基于生成式对抗网络GAN (generative countermeasure network)和跨域自适应迁移学习的样本生成和自动标注方法^[4-5]。该方法利用自适应迁移学习网络，基于已有的少量可见光图像样本集，挖掘目标在红外和可见光图像中特征内在相关性，构建自适应的转换迁移学习网络模型，生成标注好的目标图像，解决实际应用中红外图像样本数量少且标注费时的问题，为后续多频段协同目标检测和识别获得足够的样本数据。

1   样本生成和自动标注原理

这里以生成和自动标注红外样本数据为例。在图1中，虚线部分为GAN，首先将已有的红外样本数据输入GAN，生成式对抗网络通过学习该红外图像样本的区域目标特征，然后生成与输入样本数据分布一致的无标注红外图像样本数据。在这个过程中，生成模型捕捉样本数据的分布，用服从某一分布(均匀分布，高斯分布等)的噪声生成一个类似真实训练数据的样本。判别模型是一个分类器，估计一个样本来自于训练数据的概率，如果样本来自于真实的训练数据，则输出大概率，否则，输出小概率。生成网络不断生成类似于样本的“红外图像”，而判别网络通过判别去除不符合要求的样本数据，最后获取相关性强的样本数据集。获得的大量无标注红外图像样本数据，可解决军工背景下训练深度网络所需大样本数据缺失的问题。

图  1  多频段数据自适应转移学习方法的原理

Figure  1.  Principal diagram of multi-band data adaptive transfer learning method

下载: 全尺寸图片 幻灯片

图1下半部分是跨域自适应迁移学习技术路线，对现有的可见光相关数据集即源域进行学习，完成源域的标注问题即源任务，获得在可见光领域下对目标的识别和标注的方法。通过跨域自适应迁移学习来构建学习系统，并应用于红外图像的目标检测与标注。对通过GAN获得的红外图像样本数据进行跨域自适应无监督迁移学习，实现对其自动标注，从而获得大量标注好的红外图像样本数据。

2   基于GAN样本数据生成方法

GAN是Goodfellow等人于2014年提出的一种生成式模型，GAN在结构上受博弈论中二人灵活博弈的启发，系统由一个生成器和一个判别器构成，生成器和判别器互为竞争关系。判别模型的任务是判断给定的数据看起来是自然的还是人为伪造的，生成模型的任务是生成看起来自然真实并且和原始数据相似的数据。生成器试图欺骗判别器，判别器则努力不被生成器欺骗。经过交替优化训练，两种模型都能得到提升，直到到达一个“假冒产品和真实产品无法区分”的点。生成器和判别器的目标是生成与训练集中一些非常相似的数据点。GAN的优化过程是一个极小极大博弈问题，优化目标是达到纳什均衡，使得生成器估测到数据样本的分布。在当前的人工智能热潮下，GAN的提出满足了许多领域的研究和应用需求，同时为这些领域注入了新的发展动力。GAN已经成为人工智能学界一个热门的研究方向，著名学者LeCun甚至将其称为“过去10年间机器学习领域最让人激动的点子”。目前，人们利用GAN可以完成不同种类的生成任务，它能够生成现实中的图片、三维模型、视频和其他更有价值的样本数据^[6-11]。

针对生成式对抗网络基于区域的特征学习，提出区域生成式对抗网络框架：包含2个分类器模型，其中一个用于对单个图像进行基于深度判别特征提取，另外一个分类器也称作对抗网络，用于区分标签图和预测出来的概率图，引入对抗网络的目的是使得到的概率预测图更符合真实的标签图。将需要训练的影像记为$\left\{ {{x_n},{y_n},n = 1, \cdots ,N} \right\}$表示预测出来的概率图，$a\left( {x,y} \right)$表示对抗网络预测y是x的真实标签图的概率。那么损失函数可以定义如下：

式中：${L_{mce}}({y_1},y)$表示预测的概率图y₁和真实标签图y之间的多类交叉熵损失；L_bce(z₁, z) = − [zlnz₁ + $(1 - {\textit{z}})\ln (1 - {{\textit{z}}_1})]$，表示两类交叉熵损失。

与传统生成式对抗网络的训练方法类似，这里的模型训练也是通过迭代训练生成模型和判别模型来完成的。训练对抗模型的过程等价于优化如下表达式，其物理意义是使得对抗模型对概率图和真实标签图的区分能力更强，即：

基于生成式对抗网络目标特征学习流程如图2所示。在良好训练的区域生成对抗网络基础上，根据输入场景得到的区域类标图进行分析，即可得到场景中包含的目标及其位置信息。

图  2  基于GAN的样本生成流程

Figure  2.  Sample generation process based on GAN

下载: 全尺寸图片 幻灯片

3   跨域自适应迁移学习的样本无监督标注

目前主要通过人工标注大量样本数据构建训练样本，根据这些样本建立相关模型来实现目标的检测和识别。然而，人工标注样本数据是一项费时费力的工作，而且传统的训练学习方法通常假设训练样本与测试样本来源于同样的数据域。另外，传统的训练学习方法只在拥有大量已标注训练数据的前提下，对测试数据进行比较，鲁棒性分类或标注。在仅有少量标注数据的情况下，传统的学习方法很难训练出具有较强鲁棒性、较好泛化能力的分类器。所幸的是，迁移学习可以解决只有少量甚至没有标注数据的分类器学习问题。它通过利用其他不同相关数据域中已有的知识和数据来学习适用于感兴趣数据域的分类器^[12-13]。

这里给出具体从现有相关数据集图像中获取知识用以自动标注样本数据的迁移学习方法。首先，通过构建一个新的判别式结构化模型(跨领域结构化模型)，联合获取源图像域特征与目标图像域特征之间的相关性，以及不同图像属性之间的关系。同时，在此模型中，通过使用典型相关性分析构建共同特征空间，使得源域与目标域中的数据在统一的框架中联合学习。为了避免单一特征获得知识过于片面，在基于单一特征匹配的跨域知识迁移中引入了基于多特征联合的匹配方法，提出分组权重联合学习算法，有效地将不同但相关的图像组分类器迁移到样本数据。使用一种共同特征子空间来解决知识迁移过程中源域与目标域特征异构的问题，实现样本数据自动标注，从而减少人工标注的代价^[14]。

图  3  跨域自适应迁移学习的样本无监督标注流程

Figure  3.  Sample unsupervised labeling process for cross-domain adaptive transfer learning

下载: 全尺寸图片 幻灯片

首先，建立一个共同的特征子空间，使不同特征空间中的数据能够使用同一个分类器进行预测。这样，得到的目标域的分类器具有更好的泛化性。源域${D^s} = ({x^s},P({X^s}))$包含了已标注相关数据集，目标域${D^t} = ({x^t},P({x^t}))$为需要标注的样本数据。这里P(X^s)和P(X^t)分别表示源域数据的特征空间X^s和目标域数据特征空间X^t的分布。

定义源域第g组样本图像的预分类器为

式中：$\omega = [{\omega _1};{\omega _2}]$为预分类器模板；${x^{s,g}}$是第g组图像中的第s个图像样本。$\psi ({x^{s,g}})$和$v({x^{s,g}})$分别是共同特征和图像特征。目标域中的图像特征分布与源域的图像特征分布在某种程度上是不一样的，为消除这种不匹配，需要优化预分类器的模板ω₁和ω₂。源域的数据只在初始化组预分类器时使用，在完成初始化后，源域中的样本就逐渐被目标域的样本替代，从而得到最终的分类平面。

在得到了预分类器后，接下来的工作就是如何将这些分类器整合起来得到目标分类器。这里使用一种新的联合组权重学习方法，将不同的组根据他们与目标域的相关性加权整合起来，每个组的权重代表了这个组对分类目标视频的贡献。

在联合组权重学习中，将样本的目标分类器定义为

式中α_g>0是第g组的权重，将g归一化，$\displaystyle\sum _{g = 1}^G{\alpha _g}=1$。

基于对不同组的平滑假设，既需要最小化目标函数在标注源域数据上的误差，也需要最小化不同组分类器在目标域数据上的差距。学习计算框架可以表示为

式中λ_L, λ_G, λ_T>0为平衡参数。(5)式中， $\varOmega \left( {{f_t}} \right) = \dfrac{1}{2}{\left\| \alpha \right\|^2}$为控制目标函数f_t的复杂度，$\alpha = {[{\alpha _1},{\alpha _2}, \cdots ,{\alpha _g}]^{\rm{T}}}$为所有分组的权重向量。

Ω_L(f_t)是目标域分类函数在源域的标注数据上的损失函数，定义为

式中：${x^s_i}$表示源域中的第i幅图像；${y^s_i}$是${x^s_i}$的事件标签；N_g是源域中训练样本的数量，即${N_s} = {\displaystyle\sum ^G_{g = 1}}{N_g}$。这个正则项强制目标函数在源域样本上的决策值尽可能接近源域样本的真实值。

如果仅仅使用源域中的已标注数据训练目标函数会导致目标函数在训练数据上过拟合，从而降低了目标函数的泛化性能。在一些传统的直推式学习方法中，目标域的未标注数据也能提供一些约束信息，从而提高分类效果。因此，考虑使用一个分组损失函数来保证目标函数在分组上的平滑性，即：

这个损失函数约束同一个事件在不同的分组中应该具有相似的决策值。从域适应角度来看，假定属于同一事件类别的不同预分类器，对于目标域的未标注样本应该具有相似的决策制。例如，假设源域的第i个分类器和第k个分类器属于同一个事件，那么应该认为${f^k_s}(x)$和${f^g_s}(x)$尽可能的相似。事实上，可以引入Ω_G(f_t)来惩罚那些远远偏离大部分事件相关组的样本组。

使用目标域的未标注样本来增强所学得模型的泛化性能，表示为正则项：

整合以上所有各项，可以得到如下优化问题：

公式(9)中的优化问题可以通过二次优化算法得到解决。需要注意的是，基于特征的迁移学习方法和基于实例的迁移学习方法的不同是，基于特征迁移学习需要进行特征变换，使得源域和目标域数据变换到同一特征空间，而基于实例的迁移学习只是从实际数据中进行选择来得到与目标域相似的部分数据，然后直接学习。

4   测试与分析

利用以上自动标注算法对实际采集的装甲目标图像、生成的装甲目标图像数据集各1 000张进行了自动标注测试，将结果与人工确认进行对比，对实际装甲目标图像的标注准确率达到95%以上，对生成的装甲目标标注准确率达到83%以上。通过编写软件实现标注和训练数据处理，利用人工进行少量的勘误工作后，标注的数据可以用于模型的训练，大大降低了样本处理的工作负荷。

根据上述算法，在原有的装甲目标样本数据基础上，通过GAN生成的样本数据如图4所示。基于GAN生成样本，在一定程度上缓解了军工背景下能够采集到的样本数目有限导致的模型过拟合，为后续目标检测和识别获得足够的样本数据提供了保证。

图  4  GAN生成的装甲目标样本结果

Figure  4.  Sample results of armored targets generated by GAN

下载: 全尺寸图片 幻灯片

在对抗生成网络中，判别器和生成器的目标函数通常都是用来衡量它们各自的性能。例如，生成器的目标函数用来衡量生成的图片能骗过分类器的性能,但是这并不能很好地衡量生成图片的质量和多样性。通常，我们使用IS(inception score)和FID(fréchet inception distance)这2个指标来评价不同的GAN模型,能够给出模型的定量评价。Konstantin Shmelkov等人认为现有指标不足以评估GAN模型，又引入了2个基于图像分类的指标GAN-train和GAN-test，分别对应GAN的召回率(多样性)和精确率(图像质量),研究者还基于这2个指标评估了最近的GAN方法并证明了这些方法性能的显著差异,证明了这些评价标准的有效性^[15-16]。

利用IS、FID、GAN-train和GAN-test指标分别对本文所用的网络进行性能测试，测试的数据集包括本文的装甲目标数据集，以及常用的CIFAR10、CIFAR100、ImageNet数据集。表1给出了用本文方法产生的目标图像进行评价的测试结果，其中IS越高越好，FID越低越好。GAN-train和GAN-test是以百分比形式给出的准确率，越高越好。

表  1  测试结果

Table  1.  Test results

数据集	实际/生成	IS	FID	GAN-train	GAN-test
装甲目标	实际图像
数据集	生成图像
CIFAR10	实际图像	11.13	2.06	91.5	−
	生成图像	9.78	11.8	81.5	87.4
CIFAR100	实际图像	14.5	2.4	69.4	−
	生成图像	9.36	15.6	53	67.2
ImageNet	实际图像	61.2	2.9	55	−
	生成图像	35.2	9.3	21.6	56.8

下载: 导出CSV 

| 显示表格

由上表可以看出，数据集复杂程度(从CIFAR10到CIFAR100再到ImageNet)与GAN质量呈负相关关系。为了便于比较生成图像数据集大小对GAN-train准确率产生的影响，图5给出了改变真实图像训练数据集大小对结果产生的影响。图6给出了利用纯真实图像和真实图像与生成图像的混合数据集对训练分类器性能的影响，结果显示利用真实图像和生成图像的混合数据集训练的分类器的性能和使用纯真实图像时基本一致。

图  5  改变生成图像数据集大小对GAN-train准确率产生的影响

Figure  5.  Effect of changing size of generated image data set on accuracy of GAN-train

下载: 全尺寸图片 幻灯片

图  6  用真实图像和SNGAN生成的图像结合的数据集训练分类器的结果

Figure  6.  Results of classifiers trained with data set of real images and images generated by SNGAN

下载: 全尺寸图片 幻灯片

5   结论

自主装甲目标识别在军事上有着重要的应用价值，但是由于样本数量较少，大大影响分类器的训练效果,过拟合会导致分类准确率降底。本文提出了利用GAN网络生成装甲目标的方法，能够一定程度上缓解样本数目有限导致的模型过拟合。通过对生成样本的测试和分析可以知道，数据集复杂程度与GAN生成图像质量呈负相关关系，而装甲目标需要分类的数据种类少，刚好可以实现高质量的图像生成。进一步测试结果也表明，利用真实图像和生成图像的混合数据集训练的分类器的性能和使用纯真实图像时基本一致，利用GAN网络生成装甲目标图像质量较高，不会降低分类器的性能，相关方法和流程可行，可以根据具体应用进一步优化。