中国科技核心期刊      中国指挥与控制学会会刊     军事装备类重点期刊
指挥控制与仿真

指挥控制与仿真 >

2023 , Vol. 45 >Issue 2: 88 - 93

DOI: https://doi.org/10.3969/j.issn.1673-3819.2023.02.014

多模态信息融合

基于双驱动模型的目标机动行为识别方法

  • 平宏达 ,
  • 刘义海 ,
  • 单连平
展开
  • 江苏自动化研究所, 江苏 连云港 222061

平宏达(1999—),男,硕士研究生,研究方向为人工智能、态势认知。

刘义海(1988—),男,高级工程师,博士。

Office editor: 张培培

收稿日期: 2022-11-08

  修回日期: 2022-11-30

  网络出版日期: 2023-04-17

收起

Target maneuver behavior recognition method based on double drive model

  • PING Hong-da ,
  • LIU Yi-hai ,
  • SHAN Lian-ping
Expand
  • Jiangsu Automation Research Institute, Lianyungang 222061, China

Received date: 2022-11-08

  Revised date: 2022-11-30

  Online published: 2023-04-17

Fold

摘要

针对目标样本数据和行为知识匮乏、不平衡对空中目标飞行机动识别带来的难题,提出了一种基于数据与知识双驱动的智能化识别方法。采用集成学习的思想将数据驱动的深度学习模型和知识驱动的推理模型融合,既可以弥补推理模型在复杂环境下表现不佳的不足,又可以增加深度学习的可解释性和鲁棒性。利用仿真对比实验验证所提方法的有效性,结果表明:所提算法对目标机动行为识别能力优于仅基于知识驱动或仅基于数据驱动的单驱动系统,准确率达到90.1%。此方法大幅提升了对复杂环境的适应能力和识别准确率,对目标机动行为识别有重要工程应用价值。

关键词： 行为识别; 态势认知; 数据驱动; 知识驱动

本文引用格式

平宏达 , 刘义海 , 单连平 . 基于双驱动模型的目标机动行为识别方法[J]. 指挥控制与仿真, 2023 , 45(2) : 88 -93 . DOI: 10.3969/j.issn.1673-3819.2023.02.014

Abstract

In order to solve the problem caused by the lack and imbalance of sample data and behavior knowledge of sample targets, an intelligent recognition method based on dual driving of data and knowledge is proposed. The idea of integrated learning is adopted to fuse the deep learning driven by data and the reasoning model driven by knowledge, which can not only make up for the poor performance of reasoning models in complex environments, but also increase the interpretability and robustness of deep learning. The effectiveness of the proposed method is verified by simulation and comparison experiments. The results show that the proposed algorithm is superior to the single driven system based only on knowledge driven or data driven, with an accuracy rate of 90.1%. This method greatly improves the adaptability to complex environments and recognition accuracy, and has important engineering application value for target maneuver behavior recognition.

Key words： maneuver recognition; situational cognition; data driven; knowledge driven

机动行为是指目标在航行过程某一时间段内运动状态变化的语义描述。在作战场景中,快速、准确判断敌方目标的机动行为,有助于提升我方指挥员掌握敌方意图,研判敌方动向的能力,从而发挥先发制人的战术优势。
当前,针对获取的目标信息为感知的航迹序列的情形,对机动行为识别的研究大多采用基于知识的方法。文献[1]提出一种基于知识的特技飞行动作识别方法,采用自然语言建立了飞行动作识别知识库,研制了飞行动作识别推理机。文献[2]提出一种基于遗传算法的飞行动作识别方法, 能够快速获取飞机参数据中的飞行动作数字特征。文献[3]提出一种基于动态时间规整的空中目标机动识别方法,根据目标飞行轨迹提取模板,使用动态时间规整算法进行模板匹配,识别出目标的机动类型。基于知识的机动行为识别方法应用的前提是目标机动模式相对固定,有规可循。但在复杂战场环境,由于没有对抗情形下相对统一的模板知识[4⇓-6],且噪声影响使得知识推理的鲁棒性阈值难以确定[7],造成该类方法应用效果不理想。近几年,也有学者探究基于机器学习模型的数据驱动型机动行为识别方法。文献[8]提出基于模糊支持向量机的空中目标飞行动作识别方法;文献[9]考虑飞行数据的时序特征,采用循环神经网络,实现飞行机动的实时自动识别。尽管这些模型提升了复杂情形下行为判识的准确性,但没有做到适应性,对于相对理想条件下简单的目标机动行为,运算复杂度太大,且计算过程中会引入大量深度张量,造成算法的可解释性和鲁棒性较差。
本文综合两种思路,提出一种数据与知识结合的双驱动目标行为识别模型,期望通过数据驱动和知识识别的融合增信,提高算法对复杂环境和目标多样式机动行为的自主适应能力,在保持较高识别结果的同时获得可解释性推理依据,提高算法在实际背景下的应用能力。

1 基于数据与知识双驱动模型的目标机动行为识别方法1.1 研究问题描述

实现目标机动行为识别的输入为目标轨迹序列,其数学定义如式(1)所示。
X={Si|i=1,2,…,N}
其中,N为轨迹序列长度,Si表示第i时刻的轨迹点要素数据,Si={loni,lati,hi,vi,azii},lon表示经度,lat表示纬度,h表示高度,v表示速度,azi表示航向。
目标机动行为是目标为执行战术任务而做的一系列动作的语义描述[10],由于接近人的认知层级,因此,相对抽象模糊。本文聚焦空中目标机动行为认知,依据其典型任务使命(突击、反潜、压制、伴飞等一些特殊任务过程),可将其轨迹机动行为的语义识别框架定义为直线巡航、环形巡航、之形巡航、爬升机动、俯冲机动等[11]。相关行为的语义示意如表1所示。
表1 目标航迹机动行为语义框架

Tab.1 Semantic framework of target track maneuver behavior

行为名称 特征 图例 作战意义
直线巡航 目标朝某一方向突进 快速推进到区域
环形巡航 目标持续做转弯过程 目标进行区域警戒、
反潜、干扰等
之形巡航 目标存在直行、左转、
右转等交替运动		 对区域搜索,躲避
敌制导武器攻击等
爬升机动 目标高度持续变大 起飞或上升到更
高高度进行作战
俯冲机动 目标高度持续变小 降落或下降到
较低空域作战
基于上述输入输出假定,本文所研究问题的数学描述为:对输入X,通过双驱动模型f实现信息的计算、分析和理解,进而得到X对应的语义标签Y=f(x),Y∈{直线巡航、环形巡航、之形巡航、爬升机动、俯冲机动}。

1.2 双驱动模型

借鉴集成学习Stacking算法[12]的思想,本文提出的双驱动模型的总体结构如图1所示。对输入航迹X,同时经过知识推理模型F1和Transformer模型F2进行初级学习获得类概率向量P1、P2,然后将P1、P2结合作为二次特征,再经过一个次级学习器F进行二次级联学习,进而得到行为的认知输出Y。
图1 算法结构图

Fig.1 Algorithm structure chart

1)知识推理基模型
基分类器其一为知识推理基模型,该模型的核心是行为的判定知识。对于本文研究的5种机动行为,通过抽取其模板轨迹的基本动作序列构建相应判识知识。基本动作序列包括水平面方向的直行(s)、左转(l)、右转(r)以及铅锤面方向的上升(u)、下降(d)、平飞(f)等。本文研究的五种机动行为的模板判识知识构建如表2所示。以直线巡航为例,判定直线巡航需要在连续的时间窗口内一直得到目标做直线s的动作语义序列。
表2 模板知识

Tab.2 Template knowledge

行为名称 模板知识
直线巡航 s,s,s,s,s,s,…
环形巡航 l,l,l,l,l,l,l,l,l,l,l,…或
r,r,r,r,r,r,r,r,r,r,r,…
之形巡航 s,l,s,r,s,l,s,r,s,l,…或
s,r,s,l,s,r,s,l,s,r,…
爬升机动 f,f,…,u,u,u,u,u,u,…,f,f,…
俯冲机动 f,f,…,d,d,d,d,d,d,…,f,f,…
基于上述知识条例,知识推理基模型实现行为识别的过程如图2所示。
图2 知识推理系统识别过程

Fig.2 Expert system identification process

对输入航迹X,首先以T个航迹点为周期,计算航向角变化量Δazi和高度变化量Δh,并根据表3得到每个周期的基本动作,组成目标基本动作序列。表3中,thazi为转弯角度判定阈值,thh为上升、下降高度判定阈值。
表3 基本动作判定规则

Tab.3 Basic action judgment rules

基本动作 判定规则
直行 -thazi<Δazi<thazi
水平面方向 左转 Δazi<-thazi
右转 Δazi>thazi
平飞 -thh<Δh<thh
铅锤面方向 下降 Δh<-thh
上升 Δh>thh
将目标基本动作序列转换为向量S用于相似度计算,对应关系如下:s~0,l~-1,r~1;铅锤面方向:f~0,d~-1,u~1,采用余弦相似度匹配规则计算序列S和模板知识Tempα的相似度,进而得到输入航迹X的行为推理概率为
p(α)= S · T e m p α ‖ S ‖ ‖ T e m p α ‖
其中,Tempα为行为α模版序列对应的模板向量。
计算出各行为的概率值,组合得到概率向量p,使用softmax函数将各概率值转换,使得概率值之和为1。softmax函数如式(3)所示。
P 1 i=softmax(p)i= e p i ∑ j = 1 5 e p j
其中,P1为知识推理基模型得到的最终概率向量, P 1 i 为P1的第i个分量,pi为p的第i个分量。
实际情况下,由于存在噪声干扰等影响因素,获取的目标动作序列和模板很难匹配,例如在实际中会得到目标动作序列:(s,s,s,r,r,s,s,s,s,s,s,s, s,s,s,l,l,s,s,s,s,s,s,r,r,s,s,s,s,s,s,s,s,l,l,s,s,s,s,s,s,r,r,s,s,s,s,s,),这是一条直线巡航的航迹数据,但由于有噪声干扰,序列中存在部分左转和右转动作,导致可能识别为之形巡航。这是单一知识推理基模型难以应对的难题。
2)Transformer行为认知基模型
基分类器其二为Transformer模型。 Transformer模型分为编码组件和解码组件两部分,在本研究中的问题实际是一个多分类问题,只需要编码组件部分即可,模型结构如图3所示。
图3 Transformer模型结构图

Fig.3 Transformer model structure diagram

为了使所有量纲下的数据能够在同一尺度下运算,需要先对每条数据按列进行归一化处理,归一化公式如式(4)所示。通过式(4)的计算,将所有特征数据取值定在0到1之间。
Xnew= X i - X m i n X m a x - X m i n
其中,Xi为原数据,Xmin是序列中最小值,Xmax是序列中最大值,Xnew为归一化后的数据。
归一化处理后再向输入数据中加入位置编码,之后经过多个编码块,最后经过一层全连接进行多分类。其中一个编码块中包含一个多头注意力机制模块和一个前馈神经网络,还有两个 Add & Norm 层,Add 表示残差连接(Residual Connection) 用于防止网络退化,Norm 表示层标准化(Layer Normalization),用于对每一层的激活值进行归一化。前馈神经网络包含两个全连接层,多头注意力机制模块可以视为由多个缩放点积注意力机制模块组合而成,多头注意力机制模块结构如图4a)所示,缩放点积注意力机制模块结构如图4b)所示。
图4 注意力机制结构

Fig.4 Attention mechanism structure

其中,Q(查询)、K(键值)、V(值)由输入矩阵通过不同的线性变换得到,自注意力机制如式(5)所示。
Attention(Q,K,V)=softmax Q K T d kV
其中,dk是Q,K矩阵的列数,即向量维度。
经过上述编码块之后,再经过一层全连接层,进行softmax计算得到Transformer行为认知基模型的最终概率向量P2。
3)二级级联模型训练逻辑
次级学习器采用softmax回归[13],输入为两个基模型的输出概率向量P1、P2,输出为softmax回归计算后每一类的概率值,取概率最高的那一类为最终结果。次级学习器的输出如式(6)所示。
y ^=softmax(wP1+w2P2+b)
其中, y ^为次级学习器预测输出,w、w2和b为模型参数向量。
训练时,先划分一部分数据集用于训练得到transformer基模型,之后在新的数据集运行两个基模型,并将两个基模型的输出概率向量P1、P2结合作为二级级联模型的训练集。 两级学习器均采用“用于分类的交叉熵(categorical cross-entropy)”作为损失函数,使用梯度下降法进行优化。损失函数如式(7)所示。
Loss=- ∑ i = 1 5yilog( y ^ i)
其中,y为真实值, y ^为模型预测输出。

2 实验

2.1 实验数据与实验环境

在Windows7操作系统中,使用Python语言、Pycharm开发工具、Pytorch深度学习包进行实验。
实验数据如图5所示,图5中包含每一类目标的一条航迹数据,其中,直线巡航、环形巡航和之形巡航高度变化不大,因此,给出以经纬度为坐标系的图示,爬升和俯冲涉及高度变化,以经度为水平轴,高度为纵轴画图。实验数据共包含5 000条航迹,其中每一类目标的数据为1 000条。从每类数据中随机选择600条共3 000条作为Transformer模型的训练数据,从剩余数据中每类选择250条共1 250条数据作为元分类器的训练数据,剩余每类150条共750条航迹数据作为测试集计算准确率。
图5 实验数据

Fig.5 Experimental data

Transformer模型超参数设置如表4所示。
表4 Transformer超参数

Tab.4 Transformer super parameter

参数 取值
迭代次数 20
批次大小 50
编码维度 5
前馈神经网络 5-1024-5
注意力头数 5
编码器数 6
学习率 0.001
丢失率 0.5
模型经历20次迭代,在训练集和测试集上的Loss曲线如图6所示。
图6 Loss曲线

Fig.6 Loss curve

从Loss曲线中可以看出,经过10次迭代后,模型收敛,并且拟合较好。

2.2 结果与分析

本文将双驱动算法与单驱动的知识推理算法和深度学习算法进行对比。设置另外三个模型进行对比,其中两个模型是从双驱动算法中分离得到,其参数配置与双驱动算法一致,即知识推理模型采用与双驱动模型中知识推理相同的参数,深度学习模型直接采用用于双驱动模型的Transformer模型参数。最后,增加一个采用更多数据量训练得到的深度学习模型参与对比。
本文研究中包含的样本分布均匀,采用最常用的准确率为评价指标,4个模型在测试集上的表现如表5所示。
表5 四个模型在测试集的准确个数

Tab.5 Exact number of four systems in the test set

直线
巡航		 爬升 俯冲 盘旋 之字形
巡航		 合计
知识推理模型 136 131 132 122 108 629
深度学习模型 133 136 130 129 128 656
双驱动模型 138 139 138 132 129 676
从表5中可以看出,测试集一共750条航迹,每类150条,双驱动模型一共识别正确676条航迹,其中,直线巡航识别正确138条,爬升识别正确139条,俯冲识别正确138条,盘旋识别正确132条,之字形巡航识别正确129条,总体准确率约为90.1%。相比之下,知识推理模型准确率为83.9%,深度学习模型准确率为87.5%。可以看出,在本文的研究环境下,双驱动的模型对比单驱动的知识推理模型准确率有显著提高,尤其是对之字形巡航这一相对复杂的机动行为的识别有很大的提高;对比深度学习模型准确率略提高,且增加了模型的可解释性。

3 结束语

针对飞行机动识别问题,本文提出了一种基于知识与数据双驱动的识别方法,能够实现通过飞行航迹数据识别出目标执行的机动行为。相比单驱动的知识推理模型和深度学习模型,基于知识与数据双驱动的识别方法可以取长补短,既能弥补知识推理模型在复杂环境或对复杂机动行为的识别时表现不佳的问题,又能增加深度学习的可解释性和鲁棒性。本文通过实验验证了提出的识别方法的有效性,对比实验表明其识别效果优于两个单驱动的模型。过去的研究表明,在很多复杂问题上,单驱动的模型无论是基于知识驱动或数据驱动都有难以解决的问题,本文尝试融合知识驱动与数据驱动,虽成功解决了难题,但融合程度较小,两个模型独立性较强,未来的研究方向是将两种驱动更好地结合起来,完全耦合,充分发挥双驱动的优势。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
谢川, 倪世宏, 张宗麟, 等. 一种基于知识的特技飞行动作快速识别方法[J]. 计算机工程, 2004, 30(12): 116-118.

XIE C, NI S H, ZHANG Z L, et al. A knowledge-based fast recognition method of acrobatic maneuver[J]. Computer Engineering, 2004, 30(12): 116-118.

DOI

[2]
尹文军, 倪世宏. 一种基于遗传算法的飞行动作识别方法[J]. 电脑开发与应用, 2006, 19(4): 50-51.

YIN W J, NI S H. A method of recognizing flight maneuver based on genetic algorithm[J]. Computer Development & Applications, 2006, 19(4): 50-51.

[3]
姚佩阳, 周旺旺, 张杰勇, 等. 基于动态时间规整的空中目标机动识别[J]. 火力与指挥控制, 2018, 43(9): 15-18, 24.

YAO P Y, ZHOU W W, ZHANG J Y, et al. Aerial target maneuvering recognition based on dynamic time warping[J]. Fire Control & Command Control, 2018, 43(9): 15-18, 24.

[4]
INKPEN A C. Learning through joint ventures: a framework of knowledge acquisition[J]. Journal of Management Studies, 2000, 37(7): 1019-1044.

DOI

[5]
TIDD J, TREWHELLA M J. Organizational and technological antecedents for knowledge acquisition and learning[J]. R and D Management, 1997, 27(4): 359-375.

DOI

[6]
魏政磊, 丁达理, 黄康强, 等. 基于时序分析的近距空战数据知识提取及应用[J]. 指挥与控制学报, 2022, 8(1): 80-89.

WEI Z L, DING D L, HUANG K Q, et al. Knowledge extraction and application of close-range air combat data based on time series analysis[J]. Journal of Command and Control, 2022, 8(1): 80-89.

[7]
王乐, 黄长强, 魏政磊. 基于SSA算法的飞行动作规则自动提取[J]. 计算机工程与应用, 2019, 55(14): 203-208.

DOI

WANG L, HUANG C Q, WEI Z L. Automatic extraction of flight maneuver rules based on SSA[J]. Computer Engineering and Applications, 2019, 55(14): 203-208.

DOI

[8]
杨俊, 谢寿生. 基于模糊支持向量机的飞机飞行动作识别[J]. 航空学报, 2005, 26(6): 738-742.

YANG J, XIE S S. Fuzzy support vector machines based recognition for aeroplane flight action[J]. Acta Aeronautica Et Astronautica Sinica, 2005, 26(6): 738-742.

[9]
周亚楠, 聂帅. 基于循环神经网络的飞行机动识别方法及仿真研究[J]. 中国电子科学研究院学报, 2020, 15(6): 539-546.

ZHOU Y N, NIE S. A flight maneuver recognition approach and simulation study based on recurrent neural network[J]. Journal of China Academy of Electronics and Information Technology, 2020, 15(6): 539-546.

[10]
吴家湖. 基于深度学习的空中目标机动类型识别研究[D]. 广州: 广东工业大学, 2020.

WU J H. Research on maneuver type recognition of aerial targets based on deep learning[D]. Guangzhou: Guangdong University of Technology, 2020.

[11]
倪世宏, 史忠科, 谢川, 等. 军用战机机动飞行动作识别知识库的建立[J]. 计算机仿真, 2005, 22(4): 23-26.

NI S H, SHI Z K, XIE C, et al. Establishment of avion inflight maneuver action recognizing knowledge base[J]. Computer Simulation, 2005, 22(4): 23-26.

[12]
WOLPERT D H. Stacked generalization[J]. Neural Networks, 1992, 5(2): 241-259.

DOI

[13]
刘亚冲, 唐智灵. 基于Softmax回归的通信辐射源特征分类识别方法[J]. 计算机工程, 2018, 44(2): 98-102.

LIU Y C, TANG Z L. Classification and identification method of communication radiation source feature based on softmax regression[J]. Computer Engineering, 2018, 44(2): 98-102.

Options
文章导航

/

〈 〉