中国指挥与控制学会会刊 
伪装是自然界长期进化出的自我防御机制[1],动物通过改变自身生理特征来适应周围环境变化,从而更好地隐藏自己。军事上常用的伪装手段有可见光伪装和红外伪装,前者通过颜色、纹理等改变目标表面光学特征[2],后者通过改变自身发射率或表面辐射温度[3],最终实现目标与周围背景融合,给战场中目标定位与检测带来巨大挑战。伪装目标检测是利用计算机视觉和机器学习发现隐藏在背景中的目标[4],这类目标通常与背景环境有较高的相似性[5],常规侦察手段难以有效发现,伪装目标检测作为一项重要的军事应用技术一直受到各军事强国的广泛关注。然而在实际应用中,伪装目标检测会受到不同光照的影响[6]。低光照下图像普遍存在噪声影响、颜色失真和低对比度等问题[7],导致图像特征提取困难,从而降低伪装目标的检测精度。低光照下伪装目标检测的难点主要有以下三点:(1)伪装手段多元化,现代战场中目标通常具有可见光、红外双波段伪装效果,伪装目标检测难度大大提升;(2)低光照环境下可见光图像质量退化、细节严重丢失,目标与背景融合程度加深,现有传统检测方法性能退化明显;(3)单模图像所含的特征信息有限,低光照下可见光图像亮度、纹理等视觉特征难以全面体现,且位置信息模糊,其红外图像位置信息相较明显,但纹理信息匮乏。因此,本文采用多模态融合方法检测伪装目标。
传统目标检测算法如方向梯度直方图(histogram of oriented gradients, HOG)、尺度不变特征变换匹配算法(scale invariant feature transform, SIFT),都需要人工设计特征,在伪装目标与背景融合度较高、光照条件不好的条件下,其泛化能力较差,很难适应复杂场景下的任务需求。随着深度学习的发展,深度神经网络给伪装目标检测带来了新的思路和手段。吴涛等[8]通过改进YOLOv3残差级联方式、添加注意力机制等方法进行伪装目标检测;刘珩等[9]提出了一种基于Transformer的目标检测方法,通过图像处理与多头自注意力机制相结合,实现了迷彩伪装目标检测;王向伟团队[10]提出一种基于多检测层与自适应权重的伪装目标检测算法(MAH-YOLOv5),通过增加小目标检测层、添加注意力机制,实现了对伪装目标的检测,然而,该算法未经实测数据验证,且仅考虑了正常光照环境的伪装目标检测。基于深度学习的目标检测算法依靠神经网络强大的特征提取能力和融合处理能力,有效提升了伪装目标的检测精度和实用性,但绝大部分算法仅考虑了正常光照下的伪装目标检测,这限制了伪装目标检测算法的应用范围。
为此,研究人员考虑利用伪装目标的其他波段信息,通过多源数据融合丰富目标的有效特征信息。DeeptiYadav等人[11]提出一种将高光谱和激光雷达数据决策级融合的目标检测模型,可成功检测伪装目标;Rohan Putatunda等人[12]基于YOLOv5算法构建可见光图(RGB)与深度图(depth)融合的目标检测算法,该算法能有效将伪装目标与背景区分开,但其在检测过程中仅利用了目标形状边缘等信息,信息利用效率低;Pucheng Zhou等人[13]融合可见光图像与红外偏振信息,利用伪彩色映射和模糊c均值聚类技术检测草地环境的伪装目标,但该方法仅考虑了正常光照下的草地环境;蒋一纯等[14]利用图像退化模型将红外波段图像信息引入可见光的R、G、B通道中,在增强可见光图像细节的同时,补充目标的红外信息,并且能有效抑制光照、烟雾等干扰。可见,通过将不同数据源信息融合,能充分发掘异源数据优势,提升伪装目标检测效果。但在低光照环境下,可见光波段的退化会对融合检测过程造成负面影响。
基于以上研究分析,在低光照环境下,伪装目标检测由于单波段信息含量不足以及常规多源信息融合方法不具备普适性,最终导致检测精度低、漏检率大等问题。为此,本文构建了一种以目标检测任务为引导的特征级融合网络。主要贡献如下:
(1)提出了一种用于低光照环境的多模态伪装目标智能检测算法。与现有可见光-红外图像融合方法相比,本文方法以目标检测任务为引导,能有效指导融合图像包含目标检测所需特征,并通过残差密集连接实现图像不同层信息叠加,提升目标在原始信息中的显著程度,实现了低光条件下伪装目标的有效检测。如图1 所示。
(2)构建了低光照环境下的多光谱数据集,包含同一时空下伪装目标的可见光图像(RGB)和红外图像(IR)。
1 多模态伪装目标检测算法
伪装目标在不同波段下成像差异显著,例如最为常见的RGB图像和IR图像。RGB图像由光学传感器捕获反射光获得,具有丰富的纹理信息,但受光照影响较大。在低光照环境中,可见光图像退化,导致特征质量下降,若用于伪装目标检测,易产生漏警等问题。IR图像是通过红外传感器捕捉目标与场景之间辐射出的能量差异值获得,目标位置信息突出,抗干扰能力强,在低光照环境中仍能正常工作。因此,将同一状态空间下的RGB与IR图像特征融合,利用两者互补性,可提高低光照环境下伪装目标的可探测性。
多模态图像融合旨在整合源图像中的互补信息,并生成既突出显著目标又包含丰富纹理细节的融合数据,图像特征级融合过程中可充分关联多模图像不同层次、不同方向的特征信息,使融合图像特征更加丰富。常见的特征级图像融合方法可分为以下四类[15]:传统图像融合方法、基于自动编码器(auto-encoder,AE)的方法、基于生成对抗网络(generative adversarial network,GAN)的方法以及基于卷积神经网络(convolutional neural network,CNN)的方法。但以上方法均强调红外和可见光图像互补信息的注入与平衡,而忽略了低光照等极端环境影响,严重制约了图像特征级融合在低光照环境下的实用性。
1.1 特征级融合检测网络
为实现低光照下可见光-红外图像特征级融合,并为伪装目标检测提供有效信息,本文提出一种低光照下的可见光-红外图像融合网络,如图2 所示(对应图1 的图像融合部分)。本网络在Resblock基础上改进,构建并行的GRDA模块(gradient residuals dense attention block),主流采用密集连接以实现信息的提取堆叠,残差流采用Sobel算子计算特征梯度,并通过1*1卷积消除维度差异;最后,通过逐元素加法将主密集流和残余梯度流的输出相加,以集成深度特征和细粒度细节特征。
本网络主要由GRDA特征提取模块组成,利用并行的GRDA特征提取模块提取可见光图像特征与红外图像特征,并增强对细粒度特征的表述。其数学表达式如式(1)所示:
$\left\{F_{i r}, F_{v i}\right\}=\left\{E_{F}\left(I_{i r}\right), E_{F}\left(I_{v i}\right)\right\}$
其中,Iir为红外图像,Ivi为可见光图像,Fir和Fvi分别表示红外特征和可见光特征,EF(·)表示特征提取。
特征提取部分如图3 所示,其主要包括一个3*3的卷积层和两个GRDA模块。输入图像首先通过3*3的卷积层提取浅层特征,然后由GRDA模块进一步提取深层特征并增强对细粒度细节的描述。GRDA数学表达式如式(2)所示。
Fi+1=GRDA =Conv -Conv
其中,GRDA表示特征提取模块,Convn表示多个卷积层级联,∇表示Sobel算子,CBAM表示注意力机制,Fi表示特征层。
1.2 CBAM注意力机制
基于可见光-红外图像特征融合的伪装目标检测过程通常包含多个模态信息,常规的融合检测方法并不能帮助网络自适应学习每种模态特征的重要性。CBAM注意力机制(convolutional block attention module)可引导模型加强学习输入数据对输出数据贡献,综合通道-空间注意力机制自适应地增强低光图像特征,从而提高伪装目标检测准确率。本文将YOLOv7作为目标检测框架,通过添加CBAM注意力机制优化目标检测过程的特征权重分配,以提升弱光下目标检测能力。YOLOv7算法是最先进的一阶段检测算法之一,具有较高的检测精度和检测速度。该算法由Input(输入端)、Backbone(特征提取骨干)、Neck(多尺度融合)和Predication(预测)四部分组成,如图4 所示。Input通过数据增强、自适应图片缩放等方法提升数据集质量,增大网络整体的泛化能力;Backbone由E-ELAN(efficient layer attention network)、CBS(conv-batch normalization-silu)和MP(max pool)等模块组成,目的是强化网络对于图像特征信息的获取能力;Neck采用的是特征金字塔网络+路径聚合网络即FPN+PAN(feature pyramid networks+path aggregation network)的结构,二者结合保证了特征信息的完善;Predication使用非极大值抑制NMS(non-maximum),进一步提升了网络的预测能力。YOLOv7网络设置了三个检测层,能够满足伪装目标的检测任务需求,实现大、中、小目标的检测。
YOLOv7网络核心通过CNN实现,其对不同目标特征分配了相同的权重,无法着重于感兴趣的部位。注意力机制可过滤掉与目标无关的背景信息,并对特征分配不同权重。因此,为使网络更关注于目标,本文添加CBAM注意力机制,对不同特征分配不同权重,结构如图5 所示。
计算流程如下:首先,将大小为H×W×C的特征F送入通道注意力模块得到权重系数Mc,然后,权重系数与原特征F加权,得到通道注意力特征Mc(F)。表达式如式(3)所示。
Mc(F)=σ{MLP[AvgPool ]+MLP[MaxPool(F)]}
其中,σ表示Sigmoid激活函数;MLP为多层感知机,激活函数为Relu;AvgPool()为空间平均池化;MaxPool()为空间最大池化。
然后将式(5)中得到的特征Mc(F)送入空间注意力模块,进行通道维度的平均池化和最大池化,经过一个大小为7*7的卷积层,得到权重系数Ms,再与输入特征Mc(F)加权得到空间注意力特征Ms(F),如式(4)所示。
$\operatorname{Ms}(F)=\sigma\left\{f^{7* 7}[(\operatorname{AvgPool}(F), \operatorname{MaxPool}(F))]\right\}$
其中,F为经过通道注意力后的特征图;σ为Sigmoid激活函数;f7*7是7*7的卷积层;AvgPool()为通道平均池化;MaxPool()为通道最大池化。
1.3 损失函数
1.3.1 EIoU(efficient-IoU)损失
低光照条件下伪装目标与背景颜色、纹理相似,目标与背景边界模糊,与周围环境融为一体。CIoU损失(complete-IoU)虽然考虑了目标框的形状信息,但没有考虑目标边界的模糊程度。因此,当目标边界模糊时,CIoU损失无法衡量目标框的匹配程度。同时,由于CIoU损失主要考虑目标框的位置、大小等信息,当伪装目标形状变化时,CIoU无法适应。而EIoU损失对目标边界敏感,其通过引入额外的边界信息,能更好地判断伪装目标边界,并且EIoU损失通过计算目标的形状相似度,能够更好地匹配伪装目标的形状变化,提高检测算法性能。本文采用EIoU损失用于优化伪装目标检测过程,提高算法的鲁棒性、边界敏感性和目标形状匹配性,从而改善目标检测的准确性和稳定性。计算公式如式(5)所示。
$\begin{array}{l}\mathcal{L}_{\text {EIoU }}=\mathcal{L}_{\text {IoU }}+\mathcal{L}_{\text {dis }}+\mathcal{L}_{\text {asp }}= \\1-I o U+\frac{\rho^{2}\left(b, b^{g t}\right)}{C_{w}^{2}+C_{h}^{2}}+\frac{\rho^{2}\left(w, w^{g t}\right)}{C_{w}^{2}}+\frac{\rho^{2}\left(h, h^{g t}\right)}{C_{h}^{2}}\end{array}$
其中,$\mathcal{L}$IoU、$\mathcal{L}$dis和$\mathcal{L}$asp分别表示IoU损失、距离损失和方向损失;Cw和Ch表示两个矩形的宽和高。
1.3.2 融合损失
本文希望融合图像能够突出红外图像中的边缘特征和可见光图像中的颜色、纹理信息。因此,为了充分整合源图像的互补信息,设计了一种融合损失,如式(6)所示:
$\mathcal{L}_{\text {content }}=\mathcal{L}_{\text {int }}+\alpha \mathcal{L}_{\text {texture }}+\beta \mathcal{L}_{\text {det }}$
其中,$\mathcal{L}$int表示强度损失;$\mathcal{L}$texture表示纹理损失;$\mathcal{L}$det表示检测损失;α和β为超参数。
强度损失用于约束融合结果的整体表观强度,其表示融合图像与源图像像素上的差异,定义如式(7):
$\mathcal{L}$int=
其中,H和W表示图像的高度和宽度,‖·‖1表示第一范式;If表示融合图像。
纹理损失可以约束融合图像包含更多的细粒度纹理信息,定义如式(8)所示:
$\mathcal{L}$texture=
式中,∇表示Sobel梯度算子,用于测量图像的细粒度信息。
为了引导融合图像为伪装目标检测提供有效信息,将检测模型损失引入融合损失中,其定义如式(9)所示:
$\mathcal{L}_{\text {Yolov } 7}=a * \mathcal{L}_{b j}+b * \mathcal{L}_{\text {rect }}+c * \mathcal{L}_{c l c}$
其中,$\mathcal{L}$bj为置信度损失,$\mathcal{L}$rect为EIoU损失,$\mathcal{L}$clc为分类损失,a、b、c为超参数。
1.4 总体流程
本文算法主要涵盖图像特征融合以及伪装目标检测两个模块,图6 为具体流程,总体步骤如下:
步骤1:载入RGB图像{ , ,…, }和IR图像{ , ,…, };
步骤2:RGB图像进行YCrCb颜色空间转换,Y通道与IR图像分别输入融合模块进行特征提取,最后在通道维度上进行拼接;
步骤3:将式(7)、(8)作为损失函数训练融合模块,并迭代生成融合图像{ , ,…, };
步骤4:载入数据标签labels{ , ,…, }和图像{ , ,…, }训练YOLOv7;
步骤5:反向传播,通过SGD optimizer进行梯度更新;
步骤6:对融合模块、YOLOv7进行联合训练,将式(6)作为损失函数引导融合图像的特征生成,同时根据式(9)进行伪装目标检测;
步骤7:输出目标位置信息和类别,在融合图像上显示。
2 实验验证与分析
实验采用本文构建的低光照伪装目标数据集进行所提算法的实测数据验证。实验平台主要环境配置如下:Intel(R) Xeon(R) Gold 6330 CPU,RTX A5000 24 GB GPU,30 GB RAM,Win11专业版操作系统,Python 3.9.12语言,CUDA 11.3并行计算架构,CUDNN7.6.5深度神经网络加速库,PyTorch 1.11.0深度学习框架。
2.1 低光照红外、可见光伪装目标数据集构建
现阶段暂无可用的公开数据集满足基于多模态融合技术的低光照环境伪装目标检测研究,为解决这一难题,课题组前期组织了数据采集工作。该数据集以伪装人员为主,由900对可见光图像和红外图像组成,每一对图像均在同一状态空间下采集且两者配准精度高。在模型训练过程中按照7∶2∶1的比例划分训练集(560)、验证集(180)、测试集(90),并使用Labeling软件标注所有训练样本。
在数据采集过程中,实验人员身着兼具光学和红外两种伪装效果的林地型伪装服,分别在林地、草坪等环境中利用自然环境背景隐藏自己,模拟真实战场环境。数据采集人员手持双波段红外热像仪从不同高度、不同角度、不同距离,在低光照环境下同时拍摄伪装目标可见光-红外图像。部分数据如图7 所示。
2.2 实验设置
2.2.1 参数设置
实验首先对融合模型和检测模型进行初步训练,以使参数得到较好的初始化。目标检测网络选择官方提供的YOLOv7预训练权重,优化器选择随机梯度下降SGD(stochastic gradient descent, SGD),训练时输入的图像大小为1 024×768,初始学习率设置为0.01,并随时间增加逐渐降到0.000 1,动量因子、权重衰减系数分别设置为0.937、0.000 5,加载图像数量设置为4,训练轮数设置为300。
2.2.2 评价指标
目标检测模型好坏可从检测的精度、速度进行定量评判,其精度评价指标包括精度(P)、召回率(R)、交并比(IoU)、平均精度(AP)、平均精度均值(mAP),速度评价指标通过每秒检测帧数(FPS)来表示。本文首先选用P、R、mAP三种指标对模型进行评判,其计算公式如(10)—(13)所示。
Precision=
Recall=
AP= P(r)dr
mAP= APi
式中,TP(真阳性)、FP(假阳性)、TN(真阴性)和FN(假阴性)表示目标检测过程可能出现的四种结果,如表1 所示。
表1 检测结果分类及其含义表Tab.1 Classification and meaning of test results |
| 检测结果 | 含义 |
|---|---|
| TP | 将正类预测为正类数 |
| FP | 将负类预测为正类数 |
| TN | 将负类预测为负类数 |
| FN | 将正类预测为负类数 |
2.3 实验结果与分析
2.3.1 消融实验
为验证本文算法的有效性,本文设置了四组消融实验,具体如图8 所示,在实测低光照伪装目标数据集上进行验证。此外,为了确保实验的公平性,本研究为每组变量采用了相同的参数设置。图9 为训练过程的mAP指标和损失函数变化曲线。表2 给出了不同方法在数据集上的各项性能指标。
图9 不同试验组在训练过程中的mAP@0.5和lossFig.9 Curves of mAP@0.5 and loss changes in different experimental groups during the training process |
表2 消融实验结果比较Tab.2 Comparison of ablation experimental results |
| 实验组 | mAP@0.5/% | P/% | R/% |
|---|---|---|---|
| a | 65.74 | 82.55 | 68.52 |
| b | 47.42 | 74.62 | 45.83 |
| c | 67.04 | 83.12 | 70.55 |
| d | 87.38 | 85.45 | 87.04 |
a:原始的YOLOv7在伪装目标的红外数据集上验证;
b:原始的YOLOv7在伪装目标的可见光数据集上验证;
c:使用改进的YOLOv7在伪装目标的红外数据集上验证;
d:使用本文算法对伪装目标的红外、可见光数据进行特征级融合检测。
方法a、b分别在低光照下伪装目标的红外数据集、可见光数据集上评估原始YOLOv7算法性能,并作为后续方法比较的基准。由图9 和表2 可以看出,YOLOv7在红外数据集上的检测性能优于可见光数据集,其中mAP@0.5(mAP@0.5表示置信度大于0.5的平均精度均值)高出18.32%,精确率P提升7.93%,这表明对于低光照伪装目标来说,红外波段特征较为显著,更易检测;而可见光波段受光照影响,目标特征质量下降,伪装效果提升,难以检测。方法c是在方法a的基础上,使用改进的YOLOv7模型在红外数据集上验证,与方法a相比,其mAP@0.5提升1.3%,伪装目标精确率P和召回率R分别提高0.57%、2.23%,这表明改进后的YOLOv7加快了模型收敛速度,提高了检测精度。方法d是基于本文提出的特征级融合网络,其mAP@0.5相较于方法a、b分别提升21.64%、39.96%,召回率R相较于方法a、b分别提高18.52%、41.21%,这表明通过融合低光照下伪装目标的可见光、红外图像信息能弥补单模态图像特征不足的问题,降低了目标漏检概率。
2.3.2 与其他方法比较
为了确保实验的公平性,本文在一台配备了Intel Xeon Gold 6330 CPU、GeForce RTX4090 24 G GPU的计算机上训练了300轮用于对比实验,同样的前50轮次中加载图像数量设置为2,剩余轮次加载图像数量设置为4。同时,为了说明本文方法对于低光照下伪装目标检测的有效性,我们与当前两种优秀的RGB与IR图像融合的目标检测算法——MIF-YOLOv5和SLBAF-Net进行比较,表3 给出了这些方法在低光照伪装目标数据集上的检测精度,图10 为对比算法的检测结果。可以看出,本文方法在mAP@0.5指标上仍具有较大优势。
表3 多光谱数据集上多模态检测算法的结果Tab.3 Performance of multimodal algorithms on low-light camouflage object datasets |
| Model | Data | Input size | mAP@0.5 |
|---|---|---|---|
| MIF-YOLOv5 | IR+RGB | 640×640 | 78.4% |
| SLBAF-Net | IR+RGB | 640×640 | 20.37% |
| ours | IR+RGB | 640×640 | 87.38% |
3 结束语
本文针对现代战争中伪装手段多元化,低光照下可见光伪装目标视觉边缘性差、图像质量差和定位信息不足、红外伪装目标纹理特征信息匮乏等导致的常规目标检测算法在低光照伪装目标检测任务上检测精度低、检测效果差等问题,设计了一种以目标检测任务引导的特征级融合网络,首先通过残差密集连接,实现多个维度信息的提取堆叠,提升目标在原始信息中的显著程度;然后,融合红外-可见光特征,送入YOLOv7网络进行伪装目标检测,通过优化损失函数,添加注意力机制,实现了低光照环境下伪装目标的有效检测。综上所述,本文基于YOLOv7算法,提出一种基于可见光-红外特征级融合的低光照下伪装目标智能检测技术。
针对该问题,本文构建了一种以目标检测任务为引导的特征级融合网络。首先,本文设计了一种残差密集连接,实现多个维度信息提取和堆叠,提升目标在原始信息中的显著程度,获得伪装目标融合特征;然后,将融合特征送入YOLOv7网络进行伪装目标检测,通过损失函数优化、空间-通道注意力机制综合,有效提升了低光照下伪装目标检测效果。
实验结果表明,本文所提方法能极大地提高伪装目标检测效果,其中,在mAP@0.5指标上相较于单模态检测算法具有大幅度提升,从各项评价指标可以看出,本文的融合方法具有优秀的检测性能。此外,在与其他多模态目标检测算法对比中也表现出良好的检测性能。可见,本文所提出的算法能够应用于复杂战场环境中的伪装目标检测,对提升战场态势信息感知能力具有重要的现实意义。