中国指挥与控制学会会刊 
计算机兵棋系统作为研究战争和训练指挥员的重要平台,正朝着智能化的方向发展。火力打击行动作为信息化战争中的主要作战行动之一,往往贯穿作战全程,指挥员运用兵棋系统进行对抗推演时,兵棋系统如果能够在一定程度上智能地预测出对手实施火力打击行动所运用的火力单元,可辅助己方推演人员全面掌握战场态势,做出最优决策,实施先制作战。当前,对敌方行动进行预测的推理方法主要有D-S证据理论[1]、模板匹配[2-3]、贝叶斯网络[4]和神经网络[5-6]等方法,它们主要应用于单一军兵种的战术和战斗层级作战,通过获得实时、准确、完整的态势信息进行推理。然而,当运用兵棋系统进行大规模的诸军兵种联合作战推演时,推演过程中充满了“战争迷雾”,获得的态势信息通常不及时、不准确、不完整,导致上述方法难以奏效。
人类指挥员的经验知识和指挥行为蕴含在兵棋推演的历史数据中,对“人在回路”的兵棋推演历史数据的挖掘和利用是实现兵棋智能化的有效途径[7⇓-9]。文献[7]运用深度学习方法对战役级兵棋演习数据进行特征提取,取得了较好的效果;文献[8]运用关联规则算法对陆军合同战术兵棋演习数据进行挖掘,获取了指挥员对武器的运用规律;文献[9]从战术兵棋演习数据中提取多项关键评价属性,并利用多属性评价算法和兵棋规则智能地确定棋子的行动。知识图谱作为一种可计算模型,可用于智能化兵棋系统模型的构建[10-11]。文献[10]指出智能化兵棋的主要特征是“神经元网络+认知计算”,将基于决策场景构建的知识图谱与实时态势相结合进行推理,可提高兵棋智能体的认知能力;文献[11]提出基于兵棋推演场景构建的知识图谱,可以为智能体认知决策提供类脑化服务。
受上述文献的启发,为满足兵棋推演智能化发展和认知建模的需要,本文尝试引入知识图谱表示学习和神经网络技术,提出两种交战火力单元智能预测方法,分别为基于知识图谱表示学习的交战火力单元预测方法(简称FKG)和融合火力单元运用行为的交战火力单元预测方法(简称FKG-GA)。基于知识图谱表示学习的预测方法以想定场景下的“人在回路”战役级兵棋推演历史数据为基础,并结合军事专家知识构建火力单元知识图谱,运用图表示学习算法获得火力单元的特征表示,通过计算目标与火力单元之间的相关性进行预测。融合火力单元运用行为的预测方法将知识图谱作为辅助信息,采用循环神经网络和注意力机制来建模火力单元的运用行为,将火力单元知识图谱表示学习得到的火力单元特征向量输入行为模型得到更为合理的特征表示,预测每个火力单元与目标交战的概率。
1 基于知识图谱表示学习的预测方法
利用知识图谱预测交战火力单元的关键在于如何从大量的异构信息中确定火力单元与目标的相关性。为解决这一关键问题,首先,从兵棋推演历史数据中抽取火力单元数据,构建具有不同属性类别的火力单元知识图谱;然后,将火力单元知识图谱分为不同的属性子图,运用深度学习方法进行表示学习,得到火力单元的特征表示;最后,将不同属性子图上得到的火力单元特征表示进行集成,并计算出目标与火力单元的相关性。
1.1 构建知识图谱
知识图谱是以图的形式展现实体、概念及其之间的相互关系的语义网,网络中的节点表示实体或概念,边表示关系或属性,蕴含丰富的知识[12]。运用知识图谱对各火力单元及其之间的多种关系建模,可以为交战火力单元的预测提供丰富的信息。知识图谱的构建应和具体的应用相结合,从兵棋推演历史数据中抽取指挥员运用火力单元的各种信息后,根据军事专家经验知识将火力单元所属的部(分)队专业类型、使用的弹药类型和打击的目标类型作为火力单元的属性类别,部(分)队专业类型的属性值包括无人攻击机部(分)队、轰炸机部(分)队和岸舰导弹部(分)队等数十种,弹药类型的属性值包括巡航导弹、空地导弹和远程火箭弹等数十种,目标类型的属性值包括部队、作战工事和武器平台等数十种。将火力单元和属性值作为知识图谱中的节点,属性类别作为连接火力单元节点和属性值节点之间的边,构建如图1 所示的知识图谱。构建的知识图谱用符号可描述为G=(V,E),V为节点集合,代表图中的火力单元和具体的属性值;E为边集合,代表图中火力单元的属性类别。
1.2 知识图谱表示学习
知识图谱表示学习的目的是将其中的火力单元节点映射到稠密低维的向量空间,从而有效地计算出火力单元之间的语义关联,提升对交战火力单元的预测能力。本文构建的知识图谱具有三种不同的属性类型,不同的类型属性具有不同的语义值,不同程度地影响节点的特征表示,参考文献[13],将知识图谱分为部队专业类型属性子图、弹药类型属性子图和目标类型属性子图分别进行表示学习。
本文采用Node2vec方法对属性子图进行表示学习,它可以把具有相同属性和相似结构的节点聚合在一起[14]。首先,通过随机游走生成子图中的节点序列,然后,运用神经网络语言模型得到火力单元在对应属性类空间下的特征向量,子图中拥有更多相同属性的火力单元在特征空间中的距离更为相近。子图表示学习的过程如图2 所示。
1)节点序列生成
本文采用有偏的随机游走的方法生成子图中的节点序列。在子图Gr=(Vr,Er)中,给定一个起始火力单元节点v(0)∈Vr开始随机游走,如果在第t步从v(t-1)游走至节点v(t),那么,下一个游走的节点将从v(t)的邻居节点中以如下概率选出:
p(v(t+1)|v(t))=
式中,N(v(t))表示节点v(t)的邻居节点集合,Z为正则化常数,apq(v(t+1)|v(t-1),v(t))为从邻居节点中选择下一个节点的概率,可表示为
apq(v(t+1)|v(t-1),v(t))=
式中,dist(v(t-1),v(t+1))表示节点的最短路径,p、q为超参数,二者分别控制立刻访问节点以及访问节点邻居的概率。若p较小,则倾向于返回之前访问过的节点,若p较大,则倾向于游走至其他节点。若q>1,倾向于游走至接近v(t-1)的节点,若q<1,倾向于远离v(t-1)的节点。
2)节点特征学习
对随机游走生成的序列中的节点进行One-Hot编码后,输入神经网络语言处理模型Skip-gram模型,通过最大化两个火力单元节点在生成序列中的共现概率,来得到节点的特征向量。节点向量化问题转化为如下最优化问题:
-logPr({vi-w,…,vi+w}\vi|Φ(vi))
式中,w表示火力单元序列中上文窗口的大小,Pr表示给定一个节点vi,存在节点序列中某节点的条件概率。基于序列中节点独立性假设,可得
Pr({vi-w,…,vi+w}\vi|Φ(vi))= Pr(vj|Φ(vi))
运用负采样方法,将式(4)转化为
logσ(Φ(vj)TΦ(vi))+ logσ(-Φ(vt)TΦ(vi))
式中,N(vi)'为节点vi的负采样;σ()为sigmoid函数,σ(x)=1/(1+exp(-x))。
采用梯度下降法求解上式,即可得到火力单元节点的特征向量。
1.3 相关性计算
在获得每个属性子图中的火力单元特征向量后,使用公式(6)将每个火力单元在3个属性子图中的特征向量进行集成,可得到最终的火力单元特征向量。
=
式中, 表示属性子图中的火力单元特征向量, 表示集成后的火力单元特征向量。
目标的特征向量由公式(7)计算得到,其中,Nt是打击过目标t的火力单元集合;ρi∈Nt是打击过目标t的某个火力单元; 为打击过目标t的火力单元的特征向量。
vt=
当得到火力单元和目标的特征向量后,采用公式(8)计算目标与不同交战火力单元之间的相关性,从而预测出交战的火力单元。sim()函数可以是欧氏距离、皮尔逊相关系数和余弦相似度等计算公式。
R(vf,vt)=sim(vf,vt)
2 融合火力单元运用行为的预测
虽然基于知识图谱表示学习可以预测出交战的火力单元,但没有考虑联合作战中火力单元的运用行为的特点,因此,存在一些不足。联合作战中对目标实施打击时,单一的火力单元往往难以达到打击效果,因此,需要根据所要达到的打击效果,将立体分布的不同类型火力单元优化组合,按时序区分多个波次对目标实施连续打击,具有序列性特征。具有不同属性的目标的毁伤机理不同,需要使用与目标特征相匹配的火力单元进行打击,才能达到最佳打击效果,因此,在对目标实施打击过程中会重点使用特定类型的火力单元,具有倾向性特征。
2.1 火力单元运用行为建模
网络输入为针对特定目标实施火力打击的火力单元特征向量序列,记为 =[ , ,…, ],GRU网络的更新算法为:
zn=σ(Wz +Uzhn-1+bz)
rn=σ(Wn +Unhn-1+br)
$\widetilde{{{h}_{n}}}\text{=}=tanh({{W}_{h}}v_{n}^{f}+{{U}_{h}}({{r}_{n}}{{h}_{n}}_{-1})+{{b}_{h}})$
${{h}_{n}}={{z}_{n}}{{h}_{n}}_{-1}+(1-{{z}_{n}})\widetilde{{{h}_{n}}}$
式中,hn-1为输入第n个GRU的历史状态;hn为第n个GRU的输出状态;σ为sigmoid激活函数; $\widetilde{{{h}_{n}}}$表示候选状态;rn为重置门,控制 $\widetilde{{{h}_{n}}}$对hn-1的依赖程度,重置门越小,前面所运用火力单元对后续火力单元的影响越小;zn为更新门,控制前一个GRU单元输出hn-1的保留量以及当前输入 的接受量。
为提取不同火力单元的重要程度,引入注意力机制为每一个GRU输出的状态分配权重系数,表达式如下:
s= αjhj
αj=softmax(q)
式中,q为随机初始化向量;hj为GRU的输出状态;αj为权重系数;s为采用注意力机制后输出的特征向量,即打击某目标的火力单元的最终特征向量。
2.2 损失函数
针对某目标,给定待预测的m个火力单元特征向量集合{ , ,…, },将其中每一个特征向量与s进行内积,然后,运用softmax函数归一化,即可得到对该目标进行打击时,运用每个火力单元的概率如下:
gt=sT
$\hat{y}=softmax(g)$
其中, 为集合中第t个火力单元的特征向量,gt为运用第t个火力单元的分数,g为待预测的m个火力单元分数, $\hat{y}$为m个火力单元的概率。
本文将预测任务定义为分类问题,采用负对数似然函数作为损失函数来优化模型,可表示为
$L=-\overset{m}{\mathop{\underset{t=1}{\mathop \sum }\,}}\,{{y}_{t}}\text{log}({{\hat{y}}_{t}})+(1-{{y}_{t}})log(1-{{\hat{y}}_{t}})$
式中,yt∈{0,1}表示真实的火力单元标签;0代表目标未被该火力单元打击,1代表打击。 ${{\hat{y}}_{t}}\in [0,1]$为模型的输出,表示交战火力单元的概率。采用反向传播算法,最小化上述损失函数,直至收敛,即完成模型优化。
3 实验分析
3.1 实验条件及数据准备
本文的实验条件:Intel(R) Core(TM) i7-10750HCPU@2.6GHz处理器和16 GB内存,编程平台为Pycharm,运用Python编程语言,在深度学习框架Pytorch下搭建神经网络。实验数据样本来源于“人在回路”的兵棋推演历史数据。在兵棋推演历史数据中,若一个目标被打击的次数少于2,则滤除打击该目标的火力单元;将打击同一目标的火力单元按时间排序后,得到对该目标实施打击的火力单元序列。为减少数据样本稀疏的不良影响,参考文献[18]的处理方式,对于打击每一个目标的火力单元序列( , ,…, ),生成序列集合{( , ),( , , ),…,( , ,…, )},集合中的每一项都作为打击该目标的火力单元序列,每一项的最后一个火力单元作为待预测的火力单元。
3.2 评价指标
本文采用命中率(Hit@K)指标和平均倒数排名(MRR@K)来评估火力单元预测方法的有效性,预测方法的效果与二者数值大小成正相关关系。 Hit@K是正确的火力单元在预测结果排序列表前K项所占的比例;MRR@K是正确的火力单元在预测结果排序列表前K项中排名的倒数之和的平均值,如果正确的火力单元未出现在前K项中,将该项的倒数设为0。计算公式如(18)、(19)所示,实验中,K值设定为15。
Hit@K= N(ranki)
MRR@K=
式中,Q表示样本集合;|Q|表示样本的个数;ranki表示第i个样本正确结果在预测结果排序列表前K项的排名,如果ranki≤K,则N(ranki)=1,否则N(ranki)=0。
3.3 比较方法及实验参数设定
本文采取的比较方法有POP、LSTM[15]和Node2vec,POP方法直接从训练集中选取出现次数最多的火力单元作为预测结果;LSTM方法不利用知识图谱作为辅助信息,仅从火力单元的运用行为中提取出序列特征进行预测;Node2vec方法未将知识图谱根据属性类别分解为属性子图,在整个知识图谱上提取节点的特征表示进行预测。
在实验中设置随机游走的长度l=30,p=0.5,q=0.25,设置滑动窗口大小w=15,设置向量维度d=150,学习率α=0.01,批量训练样本数batch-size=50。
3.4 预测效果分析
1)方法比较
不同方法的预测效果如表1 所示。从表中可以看到,本文所提的方法均优于对比方法,并且FKG-GA方法优于FKG方法,这是因为FKG-GA方法在FKG方法的基础上对火力单元的运用行为进行了建模。POP方法仅根据火力单元运用的频繁程度进行预测,效果最差。LSTM方法效果较差,它虽然能捕捉到火力单元运用的序列特征,但没有利用知识图谱提供的语义信息,难以达到很好的效果。Node2vec方法虽然运用了知识图谱中的语义信息,但它是在整个知识图谱上提取火力单元的特征表示,获得的语义信息不如本文所提的FKG方法全面,因此,效果不理想。
表1 实验结果对比 |
| 方法 | Hit@15 | MRR@15 |
|---|---|---|
| POP | 28.21 | 9.13 |
| LSTM | 30.34 | 11.31 |
| Node2vec | 35.32 | 12.54 |
| FKG | 40.13 | 13.37 |
| FKG-GA | 43.31 | 15.34 |
2)不同序列长度下预测效果分析
火力单元序列不同长度的预测结果如图4 和图5 所示。从图中可以看出,随着序列长度的增加,5种方法的预测效果均有所提升。POP方法预测效果的提升是因为在兵棋推演过程中,指挥员针对某一目标,会更加频繁地运用某些特定的火力单元,在序列长度为4时,POP方法与LSTM方法预测结果的差距较小,是因为在序列长度较短时,无法为序列模型提供足够的信息。不同序列长度下,Node2vec方法和FKG方法预测结果均优于LSTM方法,并且在序列长度为12时,FKG方法的Hit@15值与FKG-GA方法差距较小,说明知识图谱提供的信息在交战火力单元预测中起了重要的作用。
4 结束语
本文提出了基于知识图谱表示学习和融合火力单元运用行为的交战火力单元预测方法。前者将知识图谱分解为属性子图分别进行表示学习,有效地提取了知识图谱中火力单元的特征,通过计算目标与火力单元的相关性进行预测;后者对火力单元的运用行为进行建模,将知识图谱作为火力单元运用行为模型的辅助信息进行预测。实验结果表明,本文所提两种方法提高了预测的准确度。下一步将从两方面进行深入研究,以进一步提高预测的准确度:一是考虑火力单元的更多属性类型,构建信息更加丰富的知识图谱进行预测;二是结合火力单元的实时动态信息进行预测。