中国指挥与控制学会会刊 
遥感图像中的舰船检测问题一直是图像处理和模式识别领域的热门课题,在军用和民用领域都有广阔的应用前景[1]。对遥感图像中舰船目标的航向进行识别和检测,是对舰船目标特征信息的深度挖掘,是遥感图像信息从特征图转向态势图识别与利用的重要环节,对于在此基础上的时敏舰船目标运动态势判断、舰船编队队形识别与跟踪,以及战术意图判断等都具有重要的作用。
光学遥感图像细节特征丰富且光学遥感卫星的分辨率正在不断提高,为海域内舰船小目标的航向识别提供了必要的信息基础。随着深度学习技术的发展,特别是卷积神经网络(Convolutional Neural Networks,CNN)[2]能够自动学习结构化特征,在计算机视觉领域发展迅速。利用Faster R-CNN[3]、Mask R-CNN[4-5]等技术,已较好地实现了对舰船小目标位置的检测和定位,但在此基础上进行航向识别的研究还不多。文献[6]采用卷积神经网络,将目标航向空间按15°范围大小均匀划分为24个集合,将目标航向识别问题转化为一个航向分类问题,但是如果将此方法直接用于编队宽幅光学遥感图像背景下的舰船队形与态势识别,由于舰船目标尺寸较小且结构特征退化减弱,卷积网络提取的深层特征在航向上表现不明显,影响分类识别的准确度,难以构造更为细分和精确的航向分类,无法满足海上舰船编队航向检测与态势识别的需求。本文充分利用舰船小目标的尺度特征,采用改进Hough变换和卷积神经网络相结合的检测方法,对舰船小目标航向识别检测进行了研究。
1 舰船航向识别基本原理方法
1.1 深度卷积网络
近年来,深度卷积神经网络与传统基于尺度不变特征转换、梯度方向直方图特征的支持向量机 (Support Vector Machine,SVM)等方法相比,在图像识别领域取得了更好的效果[7⇓-9]。CNN通过多层网络直接通过对图像卷积和池化操作来提取图像本质特征,为图像特征提取带来全新的解决方法,其将图像小块区域作为底层输入数据通过卷积核运算,将计算结果信息通过前向传播并采用池化、丢失等操作,以获得观测数据的一些高层显著特征和相关特性,较好地解决了图像处理和理解的难题。因此通过CNN提取舰船编队航行的光学遥感图像特征,利用滑动窗、Faster R-CNN、Mask R-CNN,yolo(you only look once)[4,6,10]等技术方法,对舰船编队以航渡或战斗队形航行时的宽幅中/高分辨率可见光遥感图像中进行处理,利用CNN可以较好地进行舰船小目标检测识别并确定舰船航行位置[11]。舰船编队航渡的遥感图像如图1 所示。
1.2 Hough变换
Hough 变换的基本思想是利用点线的对偶性,采用极坐标方程对图像空间中的直线进行表示,建立某直线的极坐标方程:
ρ=xcosθ+ysinθ
其中,(x,y)为像素点坐标;
ρ为极径,表示该直线到原点的距离;
θ为极角,表示该直线的垂线与x轴的夹角,其范围为[0°, 180°)。
通过统计θi近似相等且ρi近似相等的点的数目,从而确定图像中存在某条直线(ρi,θi)。Hough变换的具体实现步骤如下:
1)建立一个参数(ρ,θ)空间的二维的累加器数组;
2)搜索图像中所有目标像素,对应每一个目标像素,在参数空间中根据式(1)找到对应位置,然后对累加器对应位置进行累加;
3)求出参数空间对应累加的最大值,其位置为(ρj,θj);
4)通过参数空间位置(ρj,θj),得到图像空间中相对应的直线参数。
对编队宽幅遥感图像分割出的原始舰船图像进行Canny边缘检测[14],然后采用Hough变换显示检测出的舰船直线特征,其效果如图2 所示。
Hough 变换应用于舰船小目标航向识别时仍然有如下几个需要解决的问题:
1)海面杂波对Hough变换计算的影响,海洋杂波特别是高海况条件下会对舰船的线性特征识别造成干扰,检测获得杂波干扰形成的直线;
2)Hough变换计算所检测出的舰船直线特征无法区分船首向和船尾向,导致舰船航向呈真北轴对称的180°差异,例如检测出的直线极角为60°时,无法区分船首指向对应的航向为240°或是60°,这是Hough变换的固有特性所导致的。
2 Hough变换联合CNN对舰船航向检测方法
对于上述问题,需要对Hough 变换进行改进,同时卷积网络虽然难以检测识别舰船小目标精确航向,但是可以对舰船航向范围进行较为准确的估计。因此将两者结合互补可有效解决舰船小目标航向识别问题。
2.1 基于舰船尺度的Hough变换改进
在海洋杂波背景下,采用Canny、sobel等算子提高或降低边缘检测的阈值,以减少海洋杂波的影响效果并不明显。在编队航行照片分辨率一定的条件下,对舰船位置所分割出的舰船小目标图像可以首先设定为固定尺寸大小以方便处理,例如80×80。由于舰船目标在长度上的线性特征明显强于周围杂波可能形成的干扰,因此一种可行的方法是对Hough变换的检测阈值根据舰船尺度自适应调节,筛选出图像中最显著的线性特征,其过程方法如下:
1)初始化参数(ρ,θ)空间,N(ρ,θ)=0表示对直线上像素点数赋值为0;
2)初始化检测阈τ=Lmax,Lmax为图像中根据舰船目标长度设定的最大允许像素数量;
3)While lines=0:
在参数空间寻找满足ρ=xcosθ+ysinθ的(ρ,θ)参数对,累积N(ρ,θ);
N(ρ,θ)>τ时,累积直线数量lines;
Lmax←Lmax-Ldt
4)输出检测出的直线参数(ρ,θ)*。
2.2 基于卷积神经网络的舰船航向分类
为了解决无法区分舰船直线特征左右对称差异问题,通过卷积神经网络卷积、池化等操作以及网络层次的合理设计,构造舰船目标航向分类的卷积神经网络,通过大量训练数据学习得到具有较强泛化性的编队航向类别特征。具体设计如下。
1)舰船目标航向分类设计
对舰船目标以真北为轴,将舰船航向划分为[350°,10°)、[10°,170°)、[170°,190°)、[190°,350°)四个航向范围。采用该航向四分类而没有采用[0°,180°)、[180°,360°)两分类是因为两分类非此即彼的设计,对分类错误样本的航向计算会直接导致180°的航向反向差异,对后续运动态势识别产生较大的干扰;而采用四分类的设计,增加航向0°和180°左右偏差10°的过渡类别,可以有效避免上述问题,将0°和180°航向线附近的航向等效为中间值0°或180°,虽然带来了误差,但是不影响编队目标整体运动态势判定,而且可以有效避免Hough变换中极角θ在0°和180°附近因横向坐标微小误差导致的较大角度计算波动。
2)卷积神经网络结构设计
采用基于卷积神经网络加全链接网络的舰船小目标航向分类识别的网络结构如图4 所示。
输入图像首先经过卷积基础网络提取特征,随后进行批归一化处理,经这样的两次大小为(3, 3, 64)的卷积核运算,同时采用最大池化对特征信息降维和Dropout操作,再将结果送入全连接神经网络以实现舰船航向分类。
卷积神经网络可有效提取图像高层特征,但是更多的卷积层和池化层操作容易忽略较低层次特征图的基础信息,降低对舰船航向识别的准确度,因此采用两层卷积网络,对输入大小为(80,80,3)的图形进行处理,既降低了图像特征提取复杂度,又保留了图像足够的基础信息,再经最大池化进一步降维,以便于后续全连接网络的分类处理,使舰船航向的空间特征更容易被检测分类。
2.3 改进Hough变换结合CNN的舰船航向联合检测流程
利用改进后Hough变换对舰船小目标直线特征的良好检测能力,结合卷积神经网络对舰船目标航向分类,将两者优势互补,形成对舰船小目标航向的联合检测,流程如图5 所示。
数据预处理首先通过成像时卫星的星历数据,包括空间位置坐标和时间等,计算卫星到观测点的观测矢量及相应卫星摄影方位角,进一步通过几何校正处理,利用地面控制点GCP 使图像符合地图投影系统,校正图像经度和维度误差,获得较为准确的真北方位轴。
采用高斯滤波等中值滤波方法,滤除原始图像中的噪声,并采用Canny算子进行边缘检测,以减少Hough变换计算量。对预处理后图像进行改进Hough变换,计算得到当前舰船小目标的航向初步结果值。利用训练好的卷积神经网络对舰船目标航向进行分类。如果航向在[350°,10°)范围,则取航向范围中间值0°;如果航向在[170°,190°)范围,则取航向范围中间值180°;如果航向在[10°,170°),保持Hough变换计算结果不变,否则若航向在[190°,350°)范围,则将Hough变换计算结果加上180°进行修正。采用这样的分类设计,相比两分类,即使在分类错误情况下,仍能使错误分类结果较多地落入附近两个分类中,最大程度地避免航向识别结果出现180°的颠覆性影响。
3 实验与结果分析
3.1 数据集
由于舰船编队航行以及相应战术态势下的光学遥感图片很难从公开数据上获取,本文基于公开卫星遥感照片,制作舰艇编队航行数据集(Fleet Sailing Image Set, FSIS)用于编队舰艇目标航向分类的卷积神经网络训练。该数据集以典型的三舰编队为基础,构建了类似图1 舰艇编队航行图片10 000余张图片数据,其中包括三舰编队以横队、纵队、方位队、人字队和反人字队等队形的编队航渡图片1 800张,由三舰编队图片经前序舰艇位置识别分割获得不同航向的单艘舰艇预处理图片3500张供网络训练使用。
3.2 图像预处理
对单艘舰船小目标图形预处理可以提升Hough变换对舰船航向的检测效果。首先采用中值滤波,以有效减少干扰像素并保护边缘信息;随后采用Canny算子进行图像边缘检测,利用OpenCV内置函数,对图像平滑与热点区域分割检测图像边缘轮廓,再进行改进Hough变换。
舰船小目标航向分类的卷积神经网络输入图像直接采用样本中的原始图像,无须进行中值滤波和边缘检测,否则将丢失必要的图像基础结构信息,降低卷积神经网络对舰船航向的分类正确性。
3.3 网络训练
根据所建立的舰船目标航向分类卷积神经网络,利用Tensorflow2.0框架[15]在FSIS数据集上训练网络,采用自适应动量算法(Adaptive Moment Estimation, ADAM)进行模型的参数更新。 初始设置模型迭代次数为60次,在训练和测试阶段对于任意图像的缩放尺度设为(80,80,3),采用TensorFlow中ImageDataGenerator数据增强技术,通过缩放、随机旋转、偏移和翻转等处理手段增加训练样本数量,按照80%的比例划分训练集和验证集,同时为防止过拟合,设置网络Dropout比例为0.5,该卷积神经网络模型能够较快地学习到舰船目标航向分类特征。
3.4 实验结果
在样本训练集支持下,卷积神经网络经多次训练后,对舰船目标航向分类在验证集上的识别正确率在86%左右,在训练次数为10次时趋于稳定,训练次数超过40次后出现震荡的过拟合现象,如图6 所示。图6 中蓝线为训练集识别正确率,黄线为验证集识别正确率。
建立包含360个样本的测试集进行测试,样本航向范围为[0°,359°],样本之间航向间隔1°。采用改进Hough变换结合卷积神经网络联合检测获得的舰船航向与样本实际航向的误差如图7 所示。
由图7 可见,测试集上联合检测获得的舰船航向与样本实际值偏差较小,其中大于5°偏差角的有6个样本,占比1.6%;大于2°偏差角的有23个样本,占比6.4%;其余92%的样本偏差皆小于2°。对于航向分类,可以看到尽管计算结果总体偏差不大,但实际上卷积神经网络对舰船小目标航向范围分类仍然有一定误差,如表1 所示。
表1 前10个样本分类结果单位:° |
| 实际值 | 检测值 | 分类 | 说明 |
|---|---|---|---|
| 1 | 0 | 1∶[350, 10) | 分类正确 |
| 2 | 0 | 1∶[350, 10) | 分类正确 |
| 3 | 0.981 | 2∶[10, 170) | 分类错误 |
| 4 | 3.439 | 2∶[10, 170) | 分类错误 |
| 5 | 3.839 | 2∶[10, 170) | 分类错误 |
| 6 | 4.757 | 2∶[10, 170) | 分类错误 |
| 7 | 6.453 | 2∶[10, 170) | 分类错误 |
| 8 | 7.390 | 2∶[10, 170) | 分类错误 |
| 9 | 8.186 | 2∶[10, 170) | 分类错误 |
| 10 | 8.740 | 2∶[10, 170) | 分类错误 |
以前10个较为特殊的样本为例说明卷积神经网络对舰船航向分类仍然存在一定误差。对于实际航向角在10°以内的分类结果都应该识别为第一类[350°, 10°),并输出航向检测值0°,但实际后8个样本都识别为第二类[10°, 170°),此时直接采用改进Hough变换计算结果,其计算值与实际值反而更为接近。在所有360个检测样本中,分类正确率为91.7%,错误率为8.3%,且测试样本的偏差角度都在5°之内,因此采用舰船小目标航向过渡类的四分类卷积网络识别设计,可以使大部分的分类错误结果仍能落入预定分类的附近两类中,这与两分类在边界0°和180°较大的航向误差相比,大大减少了对舰船小目标航向检测误差,提高了舰船小目标航向检测的准确度。
4 结束语
本文基于舰船编队航行遥感图像,对舰船小目标航向检测检测问题进行了研究,针对编队航行下舰船目标小、航向特征弱、不易检测识别的问题,采用了改进Hough变换对舰船小目标的线性特征进行了有效检测,有效减弱了海杂波对舰船航向检测影响,将其与卷积神经网络相结合,通过卷积神经网络对舰船航向分类,可有效辨别船首指向,减少了舰船航向检测误差,提高了舰船小目标的航向检测正确率,解决了基于编队航行宽幅中舰船小目标航向检测问题,对于基于光学遥感图像的舰船运动态势判断、编队队形识别及战术意图判断等研究具有积极的意义,同时也为基于SAR图像的舰船目标航向检测与态势识别提供了有价值的参考。