中国科技核心期刊      中国指挥与控制学会会刊     军事装备类重点期刊
Command Control and Simulation

Command Control and Simulation >

2024 , Vol. 46 >Issue 4: 88 - 96

DOI: https://doi.org/10.3969/j.issn.1673-3819.2024.04.012

Multimodal Information Fusion

Vessel reidentification technology based on deep learning

  • MO Qianqian ,
  • LIU Jun ,
  • GUAN Jian ,
  • YANG Qilin ,
  • PENG Dongliang ,
  • CHEN Huajie ,
  • GU Yu
Expand
  • Hangzhou Dianzi University, Hangzhou 310018, China

Received date: 2023-10-30

  Revised date: 2023-12-03

  Online published: 2024-07-29

Fold

Abstract

Re-identification technology for pedestrians and vehicles has been successfully applied in the field of intelligence analysis. However, there is a lack of research on re-identification technology for ship targets. In this paper, we propose a double-feature fusion-based maritime defogging re-identification network for intelligence analysis and supervision of ship targets. To reduce the impact of negative samples on features, we adopt a perspective-assisted adaptive query expansion method and a similarity-based feature fusion method. Furthermore, a defogging branch is embedded in the shallow layer of the re-identification branch. This branch utilizes weight sharing technology to extract fog-free features. The defogged image is then reconstructed using upsampling technology and the pyramid model, enhancing the recognition ability of the re-identification network in low-visibility scenarios. Finally, a pseudo-IOU based non-maximum suppression method is proposed to enhance the detection accuracy of ship targets. This method modifies the confidence of the detection frame. Experimental results demonstrate that the proposed method outperforms existing methods, and each module contributes to the network’s performance.

Key words： vessel recognition; deep learning; convolutional neural networks; perspective assistance

Cite this article

MO Qianqian , LIU Jun , GUAN Jian , YANG Qilin , PENG Dongliang , CHEN Huajie , GU Yu . Vessel reidentification technology based on deep learning[J]. Command Control and Simulation, 2024 , 46(4) : 88 -96 . DOI: 10.3969/j.issn.1673-3819.2024.04.012

随着全球贸易的不断发展,海洋经济正成为越来越重要的经济增长点[1]。海上运输作为海洋经济的核心和基础,其安全和高效运营对整个海洋经济的发展和稳定至关重要。然而,在海上运输过程中,船舶的安全运行情况往往受到诸多因素的影响。如何对海上船舶进行实时监测和精准识别,成为提高海上交通安全性能和促进海洋经济发展的重要问题[2]。
重识别(Re-Identification,ReID)技术是一种基于人工智能技术的目标识别和分类技术,可以实现对感兴趣目标的实时检测和精准识别。相比传统的监测技术,重识别技术通过对目标的特征和行为进行分析、识别,提高目标识别与分类的准确性。目前,重识别技术的重点研究方向主要集中在行人[3⇓-5]和车辆[6-7]的识别,在海面船舶领域的研究尚未得到充分发展,主要原因如下:第一,相比于行人和车辆,重识别目前已有多个成熟的适用于深度神经网络训练的大型数据集,船舶领域数据集的稀缺限制了后续的研究进展;第二,海面环境复杂多变,如海面湿气、浓雾等能见度不良场景下的图像清晰度差,无法进行有效的目标检测和特征提取;第三,视角差异往往导致重识别网络将视角相似但实际上不同的船舶误认为是同一艘船,或是将同一艘船但视角不同的图像识别为不同船舶,从而降低了重识别网络的识别正确率[8]。
雾天场景的识别是一项具有挑战性的任务,最初在这方面的研究采用先去雾再重识别的两阶段方法[9-10],但这种方法的精度提升小。之后一种用于雾天场景下车辆重识别的联合去雾学习方法在文献[11]中被提出。这种联合学习方法使得重识别网络能够提取非雾特征从而有效提高识别正确率。鉴于雾天环境对室外车辆或船舶图像的影响相似,本文将文献[11]中提出的联合去雾方法用于雾天场景下船舶重识别任务。此外,为了使其在正常和雾天环境下网络均适用,本文使用雾天船舶图像和非雾天船舶图像共同建立数据集。但由于雾天场景图像较少,因此采用大气散射模型[12]与深度加雾技术来扩充数据集,该扩展方法在后续的实验中被验证了可行性。
针对图像视角的影响,一种借助车辆关键点来识别车辆朝向并融合区域特征的方法在文献[8]中被提取。但与车辆不同,船舶形态各异,不同船舶类型的体积差异也较大,依靠关键点来识别船舶朝向的方法并不适用。另一种基于图像视角信息来辅助车辆重识别的重排序方法在文献[13]中被提出,这种方法有效地削弱了由图像视角信息带来的偏差,但需要预先给定图像的视角标注信息。为解决以上问题,本文提出了一种视角辅助的重识别网络框架。该网络框架使用额外的视角网络预测图像间的视角相似度,在不需要标注视角的情况也能提高重识别网络的识别正确率[14]。

1 本文去雾重识别网络

如图1所示,本文提出的基于双重特征融合的去雾重识别网络框架是以ResNet[15]为骨干网络,由视角重识别分支(Persp Branch)、身份重识别分支(ID Branch)和去雾分支(Defogging Branch)组成。
图1 双重特征融合的去雾重识别网络示意图

Fig.1 Twofold feature fusion based defogging re-identification network

图中绿色框为视角辅助的双分支重识别模块(Twofold Re-Identification Module, TRM),由两个独立的ResNet101网络和一个特征融合模块组成。其中一个ResNet101网络用于提取身份特征,另一ResNet101网络用于提取视角特征。如图中橙色框所示,本文在ResNet骨干网络浅层处嵌入了去雾模块[11](Defogging Module,DM)。去雾模块由维度重建模块和金字塔增强模块构成,它将ResNet101提取的浅层特征(图中第二层输出的特征图Fc)和原图融合进行去雾处理,并输出去雾图像。
在TRM的训练阶段,ID分支和Persp分支是独立进行的,即每个分支的损失仅反向传播到各自分支中,但去雾分支的权重参数在它们两个分支上是共享的。在测试阶段,视角网络输出的特征被用来辅助进行ReID任务,通过视角辅助的自适应查询扩展方法和基于余弦距离的特征度量方法进行身份特征融合,以此减小不同视角下图像的类内距离,从而有效提高重识别精度。
在DM的训练阶段中,去雾损失反向传播不仅途经整个去雾网络,还会途经各ResNet的前二层。只有当ResNet前二层提取的特征更接近非雾特征时,去雾网络才能更好地生成去雾图像。因此,在训练过程中,去雾网络起到了驱使ResNet前二层朝着提取图像非雾特征的方向进行,最终弱化雾气对重识别网络特征提取过程的影响。需要强调的是,在测试阶段中只需保留TRM,这是因为经过前期的去雾训练,网络模型的前两层已经具备了提取图像非雾特征的能力。通过这种结构,在有雾的天气下重识别的性能可以显著提高,并且在测试阶段没有额外的计算负担。

1.1 船舶视角特征

识别船舶图像视角信息的初衷是为了区分形状相似但不属于同一身份的船舶。图2所示为MGN网络[16]在本文身份数据集上的识别结果。图中a)与b)为同一船舶,而a)、c)与d)为不同船舶,但它们均被MGN网络识别为同一船舶。一个重要的原因在于,b)、c)在水平翻转后与a)、d)具有几乎一致的形状姿态。因此,由船舶细粒度信息所贡献的特征被弱化。
图2 视角相似性导致的错误结果

Fig.2 Erroneous outcome caused by perspective similarity

为了减少由视角信息引起的偏差,使模型能够更加关注细粒度信息,本文将形状相似性学习作为一个重识别目标,力求提取形状特征的网络能够将形状相似的船舶图像识别为一类,并将其负作用到网络中。通过对与查询图像方向不同的船舶进行排序优化来提高网络对图像细粒度信息的关注度。然而,形状相似性的定义复杂,难以用数学表示,考虑到船舶视角与其形状具有相关性,船舶的观测视角可作为识别船舶身份的关键点[8,17]。因此,本文使用一个重识别的基线来学习视角相似性,为了训练视角网络,我们需要获得带有视角标签的数据。本文定义的视角标签如图3所示,视角被量化为8个扇形,同时考虑到船舶形状具有对称性,将视角空间再次划分为5种类型,每个类型都被视为一个ID,分别为前、后、侧、侧前和侧后。
图3 视角分类示意图

Fig.3 Illustration of perspective classification

依据上述分类建立视角数据集,并输入视角重识别网络进行训练。虽然身份数据集和视角数据集之间存在域差距,无法保证预测视角的高精度。然而,该方法不需要精确预测船舶的视角,一个粗糙的视角特征足以减少由形状相似性引起的偏差。

1.2 双重特征融合的重识别网络

图4所示为双重特征融合重识别网络,主要包含身份特征提取网络(Identification Net,ID Net)、视角特征提取网络(Perspective Net,Persp Net)以及特征融合模块(Feature Fusion Module,FFM)。在两个特征提取网络中,Persp Net用于提取图像的视角特征,ID Net用于提取图像的身份特征。经过特征融合模块对身份特征进行融合,提高船舶身份相似但视角不相似的图像的排名,使得融合后的特征更能体现图像细粒度上的细节信息而非船舶的形状特征。Persp Net与ID Net均使用了卷积神经网络进行图像特征的提取,训练阶段网络的具体细节如图5所示。
图4 双重特征融合的重识别网络

Fig.4 Twofold feature fusion based re-identification network

为了使训练出的网络具有更好的泛化能力和更强的鲁棒性,在输入图像数据前,需要进行预处理。本文所用预处理方法为常用的随机擦除、随机水平垂直翻转以及图像边缘扩充三种。
图5 训练阶段的网络细节

Fig.5 Details of the network during the training stage

Persp Net和ID Net均使用残差网络(ResNet-101)[15]作为骨干网络,都使用批归一化层(IBN)、广义平均池化层(Gem)以及全连接层(FC)进一步提取图像特征。其中BN层的使用能够加速模型的收敛,Gem层的使用能够有效减少模型参数量并通过自主学习参数来调整感受野,FC层对识别到的船舶图像进行分类。图中SE表示压缩和激励网络,它被加入到了残差网络的每个bottleneck中。由于船舶特征数量大且较为复杂,SE层则能够从复杂特征中学习到高贡献度的有效特征,并抑制低贡献特征。损失函数使用了重识别领域常用的交叉熵损失(CE Loss)以及三元组损失(TRI Loss)。
图像在经过Persp Net和ID Net后分别得到视角特征fO和身份特征fI。为了使身份特征fI能够更加体现图像中船舶细粒度上的细节信息,本文提出了一种视角信息辅助的特征融合方法。该方法在自适应查询扩展(Adaptive Query Expansion,AQE)的基础上,以视角特征辅助查询并通过基于特征相似度的方法进行特征融合。在测试阶段,用X表示图库集(gallery set)和查询集(query set)的全集,并定义全集X中的图像为xi∈X,1≤i≤n,其中n为图库集与查询集中的图像总数。使用余弦距离表示图像特征间的相似度s,则X的相似度矩阵定义为:
SI= s I 11 s I 12 … s I 1 n s I 21 s I 22 … s I 2 n ︙ ︙ ⋱ ︙ s I n 1 s I n 2 … s I n n  
SO= s O 11 s O 12 … s O 1 n s O 21 s O 22 … s O 2 n ︙ ︙ ⋱ ︙ s O n 1 s O n 2 … s O n n  
其中SI为图像身份特征间的相似度矩阵,SO为图像视角特征间的相似度矩阵。 s I i j 与 s O i j 分别为X中图像i与图像j的身份特征和视角特征的余弦相似度,定义为:
s I i j=cos(fI(xi),fI(xj))
s O i j=cos(fO(xi),fO(xj))
在AQE算法中,对于任意图像x∈X,需要在X中查询与图像x身份特征最相似的目标图像进行融合。本文在视角信息的辅助下,采取如下查询方法:根据相似度矩阵SI与SO,寻找与图像x的身份特征fI(x)相似度最高但视角不相似的图像y∈X且y≠x。对于视角相似性的定义如下:
Δij= 1 , s O i j ≥ 0.5 0 , o t h e r w i s e
其中Δij=1表示图像i与图像j在视角上是相似的,否则不相似。定义X(x)为与图像x视角不相似图像的集合:
X(i)= ∪ j = 1 n Χij
Χij= j , Δ i j = 0 ø , o t h e r w i s e
则图像y的查询公式可以表示为如下所示:
y= a r g   m a x x ∈ X ( x )( s I x y)
在找到对应的待融合图像y与x后,根据身份特征相似度 s I x y 对原始特征fI(x)与fI(y)进行加权融合即可得到新的特征f'I(x)。加权融合公式如下所示:
f'I(x)= f ( x ) + λ s I x y f ( y ) 1 + λ s I x y  
其中,λ为预先设定的融合系数。为保证融合后身份特征fI的统一性,需要对全集X中所有图像的特征均进行上述PAQE特征融合,最后用融合后的特征进行后续的检索操作。

1.3 基于权重共享的去雾网络

为了使上述重识别网络在日常场景和雾天场景下均能有效提取特征,本文在上述重识别网络的基础上加入了去雾网络以实现去雾联合训练。
图6所示为加入去雾网络后的一个重识别网络结构,图中橙色框即为去雾网络,由维度重建模块和金字塔增强模块组成。图中FC表示由残差网络前两个卷积层得到的浅层特征图。去雾网络将图像数据以及浅层特征FC作为输入,并输出去雾图像。其中关于维度重建模块、金字塔增强模块以及去雾网络的具体细节可以参考论文[11]。图中重识别损失(ReID Loss)与图5一致,去雾损失[11](Defog Loss)的定义如下:
$\mathcal{L}$= 1 n ∑ i = 1 n‖ x ^ i-xi‖2
其中,n为样本数量,xi为无雾图像, x ^ i为去雾网络预测的去雾图像。‖·‖2为二范数。
图6 训练阶段基于权重共享的去雾重识别网络

Fig.6 Weight sharing based defogging re-identification network in the training stage

在训练过程中,去雾网络和骨干网络均途经相同卷积层,这些卷积层在两个网络中共享权重参数[11]。此外,考虑到图像雾气特征在身份类图像和视角类图像中差距较小,本文采取共用去雾网络的方式进行训练,即去雾网络的权重参数在另外两个重识别分支的训练过程中是共享的。这样处理的好处在于避免了训练出两个相似的去雾网络,同时数据集的共用也能够提升去雾网络的泛化性,降低过拟合的风险。
相比于原始重识别网络,去雾重识别网络在训练的过程会将去雾损失反向传播到残差网络的前两个卷积层。这样的设计让去雾网络以及残差网络的前两个卷积层自主学习图像中的特征,使提取的浅层特征FC更能表征图像中的非带雾特征。此外,本文将输入数据集的50%合成为带雾图像,剩余50%保持不变,这样使得网络无论输入带雾图像还是不带雾图像时,均能有效地提取出图像非雾特征。

1.4 改进NMS的Yolo目标检测

在进行船舶目标检索前,如果将摄像头拍摄的图像直接输入重识别网络中,海面背景或岸边背景将会干扰识别结果。此外,未裁剪的图像在船舶上的像素密度低,也会影响重识别的结果。因此,本文采用Yolo算法[18]作为重识别系统的实时检测单元。如图7a)、b)所示,Yolo算法采用网格分割和物体中心预测方法来检测图像中的目标,并生成预测框、类别以及置信度。
图7 Yolo目标检测

Fig.7 Yolo object detection

如图7b)所示,为解决一个物体被多个预测框所覆盖的问题,Yolo算法中使用非极大值抑制(Non-Maximal suppression,NMS)方法,去除交并比(Intersection of Union,IOU)较高但置信度较低的预测框,最终保留唯一结果。如图7c)所示为使用NMS方法的预测结果,结果显示预测框并未覆盖整个船体,这是由于覆盖部分船体的预测框比覆盖全部船体的预测框置信度更高,因此,理想预测框被抑制并丢弃了。为了后续识别阶段输入船只的完整,本文提出了一种基于伪交并比的非极大值抑制方法(PNMS),改进了重叠预测框的抑制方法,该方法根据预测框与真实框的重叠面积对置信度进行修正。
图8所示为IOU示意图,IOU定义为重叠面积(overlap)除真实框的面积。然而,在船舶重识别任务中,待识别的船舶目标是未知的,无法计算IOU,因此,使用伪交并比进行近似。以i作为预测框(Box)的索引,首先定义Box的归一化面积s为
si= a i m a x ( a 1 , a 2 , … , a n )
其中,n为Box的数量,a为Box的面积。则各Box与真实框的伪交并比r定义为
ri=pisi
伪交并比r和置信度p被加权作为Box的修正置信度P:
Pi=ω1pi+ω2ri
其中,ω1和ω2为权重系数,分别代表了原置信度和伪交并比的相对重要性程度。即置信度修正公式为
Pi=ω1pi+ω2 p i a i m a x ( a 1 , a 2 , … , a n )
最后,给出PNMS方法的主要流程:
1)将所有检测框按类别划分,由于本文只对船舶目标进行检测,因此,只保留船舶检测框即可。并将船舶Box作为输入列表。
2)计算所有Box的修正置信度P。
3)按照P对输入列表Box降序排序。
4)选择输入列表中P最高的预测框Box1,将其删除,并加入输出列表。
5)遍历剩余Box,计算Box1与剩余Box的IOU,若大于阈值ε,则从输入列表删除。
6)重复步骤4~5,直到输入列表为空,将输出列表Box作为最终预测框。
图8 交叠域

Fig.8 Overlapping region

2 实验与性能评估

2.1 数据集构建

由于船舶重识别缺乏公开可用的数据集,故本文的数据集来源于在线图库ShipSpotting(www.shipspotting.com)。图库中的船舶图像主要是由世界各地的专业摄影师在不同的时间和不同地点从船上或岸上拍摄的。图9展示了一个具有挑战性的重识别示例,图中四张图像为来自同一船舶但不同视角的图像,且子图d)因为拍摄时间不一样整体色调偏黄。可见船舶特征复杂性高,不同视角特征差异明显。
图9 数据集中不同视角差异的船舶图像

Fig.9 Different perspectives variations in vessel images in the dataset

数据集的分布依据通用重识别的方式[6]进行划分,包括训练数据集(train set)、图库数据集(gallery set)和查询数据集(query set)。为保证重识网络训练的效果和验证时的正确性,需要保证每个船舶身份(ID)的样本数具有一定的基数(≥11)。身份数据集与视角数据集的分布情况分别如表1和表2所示。
表1 身份数据集分布

Tab.1 Distribution of the identification dataset

名称 ID
数量		 图像
总数		 最小样
本数		 最大样
本数		 样本
平均数
train set 250 3 922 5 30 15.69
gallery set 100 1 544 10 28 15.44
query set 100 300 3 3 3
表2 视角数据集分布

Tab.2 Distribution of perspectives in the dataset

名称 ID
数量		 图像
总数		 最小样
本数		 最大样
本数		 样本
平均数
train set 5 1 063 96 290 212.6
gallery set 5 329 16 99 65.8
query set 5 125 25 25 25
为使系统能够在日常场景和雾天场景下有效识别船舶,本文对两个数据集中50%的图像进行加雾处理,以扩充稀缺的雾天海面船舶图像。图10所示为合成带雾图像的示例。加雾算法采用大气散射模型和深度加雾技术来合成雾天场景下的图像。
图10 合成雾图片示例

Fig.10 synthetic-fog image example

大气散射模型[12]的定义如下:
I(x)=J(x)t(x)+A(1-t(x))
其中,J(x)为输入不带雾图像,I(x)为生成的带雾图像。A是全局大气光,t(x)是与图像深度相关的透射值,其定义如下所示:
t(x)=e-βd(x)
其中,d(x)为物体到拍摄者的距离。由于距离信息无法直接获取,本文采用深度卷积神经网络估计方法[19]提取深度信息。该方法通过将深度估计表述为连续条件随机场(CRF)学习问题,在没有原始图像几何先验和额外信息情况下也能进行深度估计。

2.2 对比实验

本节对所提算法进行了实验验证,包括与其他重识别算法的对比试验和消融实验。本节使用了常用的重识别领域性能指标参数,包括排名正确率(Rank-n)、累计匹配误差曲线(CMC)、平均精度(AP)、mAP以及mINP。
图11所示为使用视角辅助前后的重识别结果对比,第一排为使用视角辅助前的rank-5结果及相似度数值,第二排为使用视角辅助后的rank-5结果及相似度数值。其中,绿色边框为识别正确的结果,红色边框的图像为识别错误的结果,对比结果表明:在使用视角辅助信息后,模型对细粒度特征更加敏感,同时降低了视角特征的重要性。在相似度上同一船只的相似度数值大幅增加,例如0.663 4增加到0.784 8,0.632 1增加到0.779 1,有效地提高了检索正确率。
图11 视角辅助前后识别结果对比

Fig.11 Comparison of before and after perspective-aided recognition results

图12、图13和图14所示分别为本文去雾模块以无雾图像、合成雾图像、真实雾天图像作为输出生成的去雾效果示意图。其中,第一列(Input)表示原图;第二列(Gan_fake)表示由维度重建模块使用残差网络前两层特征图进行重建后的图像;第三列(Gan_enh)表示去雾模块使用金字塔模型进行增强后的图像。第四列(Gt)表示期望的去雾图像,由于真实雾天图像没有对应理想的去雾图像,故用同一船舶非雾天拍摄的图像作为对比。
图12 无雾图像的去雾效果示意图

Fig.12 Defogging result of fog-free images

图13 合成雾图像的去雾效果示意图

Fig.13 Defogging result of synthetic-fog images

图14 真实雾天图像的去雾效果示意图

Fig.14 Defogging result of real-fog images

去雾效果(Gan_enh)表明,无论是无雾图像、合成雾图像还是真实雾天图像,本文网络均能有效地提取出图像中的非雾特征,有效去除雾气对重识别网络的影响,从而提高重识别精度。图15所示为使用联合去雾学习前后的重识别结果对比,在使用去雾模型后,雾天场景下同一船舶的图像相似度大幅提升,原先低于第一排后两张图像的相似度(0.721 1、0.701 9),在加入去雾模块后其相似度提升到(0.797 4、0.786 1)。此外,去雾模块对无雾船舶图像的特征提取几乎没有影响,原先相似度(0.891 4、0.852 1、0.811 7)与去雾后的相似度(0.892 3、0.854 8、0.808 4)几乎无差。
图15 联合去雾学习前后识别结果对比

Fig.15 Comparison of before and after results of joint dehazing learning

图16上图所示为使用PNMS前后的检索对比结果,在使用PNMS前,识别结果对小船具有更高的置信度,而在使用PNMS修正置信度后,将大船的置信度提高,从而避免了错误识别的情况。此外,如图16下图所示,对于背景较复杂的场景,在使用PNMS修正置信度后,候选框更加接近船舶目标的真实框大小。
图16 改进PNMS前后的Yolo识别结果对比

Fig.16 Comparison of Yolo recognition results before and after using improved PNMS

为了验证本文所提出的重识别网络的有效性和正确性,与最新的BOT[3]、MGN[20]、SBS[21]、AGW[4]等重识别框架在原始不加雾的数据集以及50%合成雾数据集上进行了对比。对比结果如表3和表4所示。由表3可知,本文所提方法在Rank-1上分别提高了3%、1.67%、1%、0.67%,在mAP上分别提高了6.98%、4.28%、2.34%、1.93%。这证明了本文所提视角辅助的重识别网络的有效性。此外,表4中最后两行去雾的识别结果表明,本文去雾模块能够有效地应对雾天场景下重识别任务,证明了本文所提方法对雾气影响具有较高的鲁棒性。
表3 无雾数据集下的识别结果对比

Tab.3 Comparison of recognition results in fog-free dataset

方法 Rank1/% Rank5/% mAP/% mINP/%
BOT 95.33 97.67 90.51 56.24
MGN 96.67 97.67 93.21 65.43
SBS 97.33 99.67 95.15 74.45
AGW 97.67 99.67 95.56 77.54
Ours 98.33 99.67 97.49 87.49
Ours+去雾 98.33 100 97.46 87.04
表4 50%合成雾数据集下的识别结果对比

Tab.4 Comparison of recognition results in synthetic fog dataset with 50% hazed images

方法 Rank1/% Rank5/% mAP/% mINP/%
BOT 93.33 95.33 83.29 53.21
MGN 95.33 97.33 85.52 55.63
SBS 96.67 98.67 88.64 56.74
AGW 97.33 99.33 90.52 58.84
Ours 97.33 99.33 92.49 67.20
Ours+去雾 99.00 99.67 97.41 86.79

2.3 消融实验

表5为在本文所提方法上的消融实验,从上到下依次是累计去除对应方法后的重识别结果。其中-GeM是将广义平均池化层用全局平均池化层进行了代替。在不使用视角辅助的情况下,模型对难样本的辨识能力变差;在不使用Yolo目标检测算法的情况下,模型的整体识别性能大幅下降。结果表明本文所用方法对船舶重识别均有正向作用。
表5 消融实验识别结果

Tab.5 Recognition results of the ablation experiment

方法 Rank1/% Rank5/% mAP/% mIAP/%
ours 99.00 99.67 97.41 86.79
-Persp 97.67 99.00 93.56 78.67
-Yolo 96.67 98.67 88.26 57.22
-IBN 95.00 99.33 82.35 46.89
-REA 90.00 95.33 75.49 33.12
-GeM 88.33 93.67 69.13 26.77
-FLIP 86.67 90.00 67.26 24.71
表6为本文所提方法在不同尺寸下的识别结果,结果表明不同的输入尺寸对重识别网络的影响较大,尺寸由128*128涨到384*384后,Rank-1提高了5.67%,mAP提高了6.21%。这与船舶特征复杂有关,高分辨率包含更多的船舶特征,因此,重识别性能越好,而过大的分辨率对模型复杂度的提升较大,因此,本文选用256*256作为本文模型的基准分辨率。
表6 不同输入尺寸的识别结果

Tab.6 Recognition results for different input sizes

尺寸 Rank1/% Rank5/% mAP/% mIAP/%
128*128 93.67 99.33 91.31 73.16
128*256 97.00 99.67 95.39 79.81
256*256 99.00 99.67 97.41 86.79
384*384 99.33 99.67 97.52 87.03

3 结束语

本文提出了一种基于双重特征融合的去雾重识别网络,相比于传统重识别方法,本文方法将视角差异和雾气因素引入船舶重识别中。首先,讨论并分析了视角差异对船舶形状影响的重要性,提出了视角辅助的重识别网络,对身份信息和视角信息进行特征级加权融合,使提取的特征对视角差异更具鲁棒性。然后,针对雾天能见度低的问题,引入与重识别网络共享权重参数的去雾网络,在训练去雾网络的同时,也迫使重识别网络朝着提取图像非雾特征的方向进行训练,最终得到对能见度差异具有鲁棒性的网络。最后,针对船舶目标检测覆盖率不准确的问题,提出了一种改进NMS的技巧,有效节省标注成本。对比和消融实验结果均证实了本文所提方法的有效性。然而,本文所提方法依赖于加雾合成的训练数据,真实图像与合成图像的域差距问题使得在合成数据集上训练的模型难以在真实图像上取得相应的去雾效果。因此,后续研究可以考虑将真实雾天图像引入模型训练从而提高在现实场景中的泛化能力。

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
孙久文, 高宇杰. 中国海洋经济发展研究[J]. 区域经济评论, 2021, (1): 38-47.

SUN J W, GAO Y J. Research on the development of China’s marine economy[J]. Regional Economic Review, 2021, (1): 38-47.

[2]
孙浩云. 基于深度学习的复杂场景下船牌文字的检测和识别[D]. 青岛: 中国石油大学, 2019.

SUN H Y. Detection and recognition of shipboard texts in complex scenes based on deep learning[D]. Qingdao: China University of Petroleum, 2019.

[3]
LUO H, GU Y, LIAO X, et al. Bag of tricks and a strong baseline for deep person re-identification[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, 2019.

[4]
YE M, SHEN J, LIN G, et al. Deep learning for person re-identification: A survey and outlook[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 44(6): 2 872-2 893.

[5]
JIANG N, LIU J, SUN C, WANG Y, ZHOU Z, WU W. Orientation-Guided Similarity Learning for Person Re-identification[C]. International Conference on Pattern Recognition, 2018.

[6]
LIU X, LIU W, MEI T, MA H. A deep learning-based approach to progressive vehicle re-identification for urban surveillance[C]. European Conference on Computer Vision, online, 2016.

[7]
ZHANG X, NIE X, SUN Z, et al. Re-ranking vehicle re-identification with orientation-guide query expansion[J]. International Journal of Distributed Sensor Networks, 2022, 18(3):1-9.

[8]
ZHENG B, et al. OERFF: A Vehicle Re-Identification Method Based on Orientation Estimation and Regional Feature Fusion[J]. IEEE Access, 2021, 9: 66 661-66 674.

[9]
ZAMIR S W, ARORA A, KHAN S, HAYAT M, KHAN F S, YANG M H, SHAO L. Multi-stage progressive image restoration[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021.

[10]
DONG H, PAN J, XIANG L, HU Z, ZHANG X, WANG F, YANG M H. Multi-scale boosted dehazing network with dense feature fusion[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2020.

[11]
CHEN W T, CHEN I H, YEH C Y, YANG, H H, DING J J, KUO S Y. SJDL-Vehicle: Semi-supervised Joint Defogging Learning for Foggy Vehicle Re-identification[C]. AAAI Conference on Artificial Intelligence, 2022.

[12]
NARASIMHAN S G, NAYAR S K. Contrast restoration of weather degraded images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(6): 713-724.

[13]
CHEN T S, LIU C T, WU C W, CHIEN S Y. Orientation-Aware vehicle Re-Identification with Semantics-Guided part attention network[C]. European Conference on Computer Vision, online, 2020.

[14]
CHUM O, MIKULÍK A, PERDOCH M, MATAS J. Total recall II: Query expansion revisited[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2011.

[15]
HE K M, ZHANG X, REN S Q, SUN J. Deep Residual Learning for Image Recognition[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2015.

[16]
WANG G S, YUAN Y F, CHEN X, LI J W, Zhou X. Learning discriminative features with multiple granularities for Person Re-Identification[C]. ACM international conference on Multimedia, 2018.

[17]
WANG Z, TANG L, LIU X, et al. Orientation invariant feature embedding and spatial temporal regularization for vehicle re-identification[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2017.

[18]
WANG C Y, ALEXEY B, HONG-YUAN M L. YOLOv7: Trainable Bag-of-Freebies Sets New State-of-the-Art for Real-Time Object Detectors[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2022.

[19]
LIU F, SHEN C H, LIN G S. Deep convolutional neural fields for depth estimation from a single image[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2015.

[20]
WANG G, YUAN Y, CHEN X, et al. Learning discriminative features with multiple granularities for person re-identification[C]. ACM international conference on Multimedia, 2018.

[21]
HE L, LIAO X, LIU W, et al. Fastreid: A pytorch toolbox for general instance re-identification[C]. ACM International Conference on Multimedi, 2023.

Options
Outlines

/

〈 〉