通过风格迁移的浓雾天气条件下无人机图像目标检测方法

　　摘要：雨雾恶劣天气条件下，无人机获取的图像细节丢失严重，直接对降质图像进行目标检测会导致目标的漏检和错检。先去雾后检测的方法对薄雾天气条件下无人机图像的目标检测性能提升显著，但无法解决目标检测模型过度依靠图像中目标物纹理和表面信息分类的问题,浓雾天气条件下性能较差。针对这一问题提出通过风格迁移的无人机图像目标检测方法，在保持图像内容不变的基础上改变图像的风格，使目标检测模型从学习目标物纹理和表面信息转变为学习目标物轮廓这一更高难度的任务。实验在无人机数据集Visdrone2019上进行，首先利用不同浓度雾气图像在梯度特征、暗通道特征及小波特征上的差异，将无人机图像划分为无雾、薄雾、浓雾图像。其次针对薄雾和浓雾图像分别采取去雾和风格迁移的处理方式。实验结果表明，通过风格迁移的目标检测方法可以进一步减缓光照、噪声带来的影响，并显著提升无人机浓雾图像的目标检测性能，与先去雾后检测的方法结合，可以自适应地完成无人机浓雾天气条件下图像的目标检测任务。

　　关键词：无人机图像;雾图像;风格迁移;目标检测;雾气图像分类

　　0引言随着科学技术的快速发展，无人机技术不断取得新进展。无人机趋于微型化、自动化、智能化，因而被广泛应用在军事和民事领域[1]，如：自然灾害检测调查、空中侦察预警、航空监测等。目标检测作为无人机感知和理解环境的重要手段，是计算机视觉的一项基础而又高难度的任务[2]，长久以来一直被国内外学者所研究。

　　无人机论文范例：无人机测绘数据处理关键技术及应用的相关分析

　　目标检测算法中的一个重要过程是图像特征提取，主要可以分为手工设计特征提取和深度学习特征提取。基于深度学习提取特征的方法在无人机图像目标检测领域有着优良的效果，尤其是对于无人机拍摄的清晰无降质的图像，可以进一步分为双阶段目标检测算法[3-6]以及单阶段目标检测算法[7-10]。

　　两种检测算法各有特点，双阶段目标检测算法准确率和精度更高，适用于需要高精度识别的任务;单阶段目标检测器速度更快，适合实时识别任务。然而常见的雨雾恶劣天气下，无人机获取的图像质量受到极大的影响，直接对降质图像进行目标检测性能不佳。一种直接提升降质图像目标检测性能的方法，是在目标检测之前，对降质图像进行去雾，增强图像中的有效信息。

　　然而基于先验的去雾方法，如暗通道先验(DCP)[11]、颜色衰减先验(CAP)[12]，基于模型驱动的深度网络去雾方法,如MSCNN[13]、AOD-Net[14]，基于生成对抗网络的去雾方法，如EPDN[15]，以及基于编码解码结构的全卷积神经网络去雾方法，如GMAN[16]、MSBDN[17]等，都是以人的视觉感知为基础设计评判标准的。以这种准则为基础设计的图像复原方法，虽然可以获得感知良好的图像，但目标检测模型仍过度关注图像中目标物纹理和表面信息，无法充分利用目标物形状信息，这通常会损失与目标检测相关的有效信息，导致浓雾天气条件下无人机图像的目标检测性能变差。

　　事实上，相比依靠人的视觉感知复原的清晰图像，风格迁移可能更有利于后续的目标检测、分类、识别、理解等中高层任务。风格迁移通过图像生成网络对输入图像进行变换，在保持图像内容不变的基础上，将图像风格变换为预设风格。风格迁移可以平滑图像中目标物的局部细小纹理特征，丰富目标物的颜色信息，使CNN不能轻易学到目标物的纹理和表面特征，转而学习目标物轮廓这一更高难度的任务[18]，而轮廓是人类和生物视觉中定义形状最可靠的信息。

　　据此，本文提出通过风格迁移的无人机浓雾图像的目标检测方法，对无人机浓雾图像进行风格迁移，来弱化光照、噪声、天气变化等带来的影响，加强目标检测模型对图像中目标物边缘信息的利用。本文在无人机数据集Visdrone2019[19]上进行实验。实验结果表明将归一化的梯度特征、暗通道特征及小波特征作为组合特征，可以准确描述不同雾气浓度下无人机图像的特征差异。与先去雾后检测的方法相比，本文方法对真实无人机浓雾图像的检测效果更好，在合成的无人机浓雾数据集上进行检测，mAP50可提升2%～8%。

　　1总体方法

　　本文方法可以自适应地完成不同雾气浓度的无人机图像的目标检测任务，整个过程分三个步骤进行。

　　(1)数据集的构建。在无人机数据集Visdrone2019[19]上根据风格迁移模型以及大气散射模型分别生成32种不同的风格数据集和18种不同浓度的雾天数据集。

　　(2)无人机雾天图像的分类。结合图像的梯度特征、暗通道特征及小波特征，通过SVM进行有监督学习,将无人机雾天图像分为无雾、薄雾、浓雾图像。

　　(3)无人机雾天图像的目标检测。根据无人机雾天图像的分类结果，对无雾、薄雾、浓雾图像分别采用直接检测、先去雾后检测、通过风格迁移的检测方法进行图像检测。本文重点描述通过风格迁移的无人机浓雾图像的目标检测方法。

　　1.1数据集的构建

　　本文将无人机数据集Visdrone2019[19]作为基础数据集来构建实验相关的风格数据集和雾天数据集。Visdrone2019由8629张带标注图像和1580张不带标注图像组成，包含12类常见目标，如行人、车辆等。该数据集中图像目标物尺度变化较大，从几像素到几千像素不等，且弱小目标十分密集，因此对其进行目标检测具有一定的挑战。

　　1.1.1风格数据集的构建

　　本文采用快速风格迁移模型[20]来生成风格数据集。快速风格迁移模型由图像生成网络和损失网络两部分组成。图像生成网络本质是一个全卷积神经网络，由5个残差模块和一对下采样和上采样模块组成。通过图像生成网络将输入图像映射成内容和风格与原图像及风格图像相似的输出图像。损失网络本质是一个特征提取网络。通过预训练的VGG-16网络提取输出图像的感知特征，将其作为度量构建出内容损失函数和风格损失函数。此外，为了使输出图像更加自然，还引入总变分正则函数[21]进行约束。

　　1.2无人机雾天图像的分类

　　针对不同浓度雾气图像自适应地选择合适的处理方法，将会显著提升目标检测模型的性能。综合考虑分类算法的时间复杂度、空间复杂度以及准确率，本文采用基于SVM和混合特征的雾天图像分类算法。经过大量实验分析，发现利用归一化的梯度特征、暗通道特征及小波特征，可以准确地表征不同雾天图像的浓度，因此本文将上述三种特征作为混合特征完成对无人机雾天图像的分类。

　　1.3无人机雾天图像的目标检测

　　目前，针对无人机雾天图像的目标检测，主流方法是直接检测或先去雾后检测，然而这些方法对于无人机浓雾图像的目标检测效果较差。因此本文提出通过风格迁移的无人机浓雾图像目标检测方法。方法的关键在于挑选使目标检测性能最优的迁移风格。文献[23]提出，风格的选取会对风格迁移过程产生明显的影响，通过精心挑选迁移风格可以使风格迁移效果得到显著地提高。然而目前还没有详细的分析来可靠地确定哪些风格对风格迁移方法有促进作用。为此本文采用两种评价准则：主观评价及定量评价50rAP来衡量迁移风格的好坏，并从中挑选出使目标检测性能最优的迁移风格。

　　2实验结果与分析

　　2.1实验环境

　　CPU:XeonE5-2620v4@2.10GHz;RAM:16GB;GraphicsCard:RTX2080Ti@11GB;OperatingSystem:Ubuntu;Frame:pytorch.1.2.02.2基于SVM的无人机雾天图像分类本文构建的无人机雾天数据集包括18种不同浓度雾气图像。分别随机选取无雾、薄雾、浓雾共4320张图像组成雾气分类数据集。提取这些图像的归一化梯度特征、暗通道特征及小波特征，合并成50维的混合特征集。

　　2.3通过风格迁移的目标检测方法

　　2.3.1训练设置

　　本文采用一阶段目标检测器RefineDet[7]来完成无人机雾天图像的目标检测。考虑到采用Visdrone2019[19]基础数据集训练的目标检测模型仍可有限地利用目标物形状信息，本文将基础数据集、最优迁移风格作用于基础数据集和浓雾数据集生成的风格数据集共同作为训练集，对RefineDet进行重新训练。初始学习率设置为0.001,动量设置为0.9,权重衰减设置为0.0005,训练迭代轮次设置为400000次,批尺寸设置为16。当迭代次数为200000、320000时将学习率降低10倍。按照训练验证集和测试集为8：2的比例进行数据集的随机分组。

　　3结束语

　　针对无人机雾天图像的目标检测任务，本文首先采用SVM借助归一化的梯度特征、暗通道特征、小波特征形成的混合特征对无人机图像进行雾气分类，并自适应匹配最优的检测算法。其次考虑到先去雾后检测方法无法解决目标检测模型过度依靠图像中目标物纹理和表面信息分类，浓雾天气条件下性能较差的问题，提出通过风格迁移的无人机浓雾图像目标检测方法。

　　本文方法进一步弱化了雾气干扰对目标检测模型的影响，解决了目标检测模型过度依靠图像中目标物纹理和表面信息分类的问题，使目标检测模型更充分地利用图像中目标物的形状和轮廓信息。经测试，相比于其他方法，本文方法对合成和真实的无人机浓雾图像的目标检测性能均有明显的提升，在合成的无人机浓雾数据集上mAP50最高可提升8%。但本文方法对较小目标的检测能力相对较弱，对薄雾图像中目标物的检测性能低于先去雾后检测方法。下一步工作中，将在风格迁移过程中进一步利用图像的深度信息，研究以目标检测为驱动的风格迁移方法。

　　参考文献:

　　[1]路静.微型无人机的应用现状及未来发展[J].集成电路应用,2018(4):88-91.LuJing.ApplicationStatusandFutureDevelopmentofMicroUAV[J].ApplicationsofIC,2018,35(4):88-91.(inChinese)

　　[2]周启晨.基于深度学习的无人机对地目标跟踪算法研究[D].北京:北方工业大学,2019.ZhouQ.ResearchonObjectTrackingAlgorithmofUAVBasedonDeeplearning[D].NorthChinaUniversityofTechnology,2019.(inChinese)

　　[3]HeKM,SunJ,TangXO.SingleImageHazeRemovalUsingDarkChannelPrior[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2011,33(12):2341-2353.

　　作者：殷旭平1，钟平1*，薛伟1,2，肖子轩1，李广

转载请注明来自发表学术论文网：http://www.fbxslw.com/dzlw/26764.html