中国指挥与控制学会会刊 
联合火力打击中的动态火力分配问题属于计算机领域的NP问题,是智能算法应用于军事领域的重要实践结合点,特别是在未来以智能算法为支撑的诸军兵种联合火力打击中,有必要深入系统研究如何将智能算法应用于联合火力打击以最大限度提升火力打击作战效能。本文在前期对抗推演系统研究基础上,尝试利用智能算法建立联合火力打击任务规划的优化算法,并以智能算法的优化结果为载体,研究人机对抗的可行性,并建立人机结合的兵棋对抗推演系统。
对于动态火力分配问题的相关研究成果丰硕,文献[1]使用改进智能优化算法实现了动态火力分配,取得了较好的收敛效果;文献[2]针对两栖攻击舰的防御问题设计动态火力分配算法,在一定程度上满足了建模需求;文献[3⇓-5]针对回合制的动态博弈问题设计动态火力分配模型,使用了改进分解进化算法实现了多目标优化和评估;文献[6-7]针对武器和目标之间的动态火力分配及作战效能评估进行了建模分析,实现了舰艇编队防空的火力分配;文献[8⇓-10]从动态规划视角出发,分析了反舰导弹的动态火力分配建模仿真,取得较好效果;文献[11⇓-13]分析了多弹种结合的防空动态火力分配模型,利用自适应算法实现防空火力分配。通过上述分析可知,常规研究一般局限在静态环境中,算法难以应对动态环境的变化,一旦算法依赖的外界条件变化,则生成的优化成果必须重新优化,因此,降低了算法的实践应用性。基于此,本文尝试以敌我双方的交战环境作为动态环境条件,建立敌我双种群结构实现智能算法的互为竞争对手对抗进化,并在对抗过程中通过构造智能体结构使之留存对抗经验,通过多代迭代实现对抗经验的积累和对多种交战环境的动态适应。借鉴达尔文物竞天择的竞争机制,本文尝试利用多智能体博弈的搭配组合和协作互补原理,通过多个不同构造的智能体搭配组合,涌现出超越一般智能体结构的涌现智能体,以涌现出的智能体复杂性对抗敌方战法策略的复杂性,进而在竞争机制基础上引入智能体的协作机制,提升算法的对抗能力和智力水平。
1 系统架构
本文以联合火力打击智能优化系统作为联合火力打击人机对抗推演系统的重要组成部分和核心构件,主要实现功能为:一是将指挥员能够理解并执行的战法策略转译为计算机智能算法能识别的智能体结构;二是利用智能体的协同进化算法和计算机的运算优势实现智能体的多代进化;三是将进化后的智能体种群转译为指挥员和参谋机构能够理解并执行的任务规划。由此,可将系统划分为:战法策略录入模块、红蓝种群生成模块、协作进化模块、对抗推演模块、体系价值评估模块、最优策略输出模块。战法策略录入模块用以将指挥员能够理解并筹划执行的战法策略和敌我目标属性、打击力量属性、目标关联属性、弹种目标限制属性一同录入系统;红蓝种群生成模块用于将战法策略转译为智能体结构,并通过多智能体构造出处于对抗状态的双种群结构;协作进化模块用于在双种群中引入协作和竞争规则,并在与对抗推演模块的配合下完成智能体的反馈评分奖惩操作,实现智能体的优胜劣汰;对抗推演模块用于将涌现智能体产生的任务规划按照联合火力打击规则有序执行,并统计最终火力打击后敌我双方的兵力弹药损失,以此计算出敌我双方的网络体系价值;体系价值评估模块用于将对抗推演产生的各目标毁伤程度和当前歼灭状态代入目标超网络体系,并根据目标的录入多属性价值数据生成红蓝双方当前的体系价值综合评分;最优策略输出模块用于将多代迭代输出的红蓝种群转译为指挥员和参谋机构能够理解和执行的任务规划格式,并接入后续的人机对抗系统接口。智能优化系统流程如图1 所示。
2 关键技术
本文系统所涉及的关键技术主要包括战法策略转译算法、多智能体协同进化算法、对抗推演算法和体系价值评估算法。
2.1 战法策略转译算法
战法策略转译算法用于实现战法策略、任务规划和智能体结构之间的互相转换,战法策略是指挥员根据上级指示和主观判断确定的联合火力打击决策遵循,有原则性和指向性作用,诸军兵种火力打击部队以指挥员的统一战法策略作为行动准则执行火力打击任务并修正补充火力打击行动,以保持战法策略和打击行动之间的方向一致性;任务规划是参谋机构在指挥员战法策略基础上拟制的具有操作性的火力打击执行项,包含参与火力打击的部队弹种编号、打击目标编号、弹药消耗量、规划执行时刻、火力打击时刻等,任务规划的拟制必须在战法策略的原则下细化量化,不能以诸军兵种各自目标为参照各行其是;智能体结构是智能优化的执行对象,是计算机在系统中能够理解并执行的最小单元,每个智能体结构必须和任务规划之间建立对应关系,以实现战法策略的智能优化。战法策略、任务规划、智能体结构之间是一对多的对应关系,即一种战法策略可对应多套任务规划,一套任务规划也可对应多种智能体结构,反之则为一对一关系,确定的智能体结构只能对应唯一的任务规划和战法策略。三者的具体示例如图2 所示。
转译算法中,战法策略与任务规划的转译只需通过规则对应形式即可完成,而任务规划和智能体之间必须建立预先规则:设任务规划中使用的每个部队弹种均能转译为一个智能体结构,不同的部队弹种对应的多个智能体之间存在搭配组合的协作关系,相同部队弹种对应的多个智能体之间存在评分先后的竞争关系,任务规划是由所有部队弹种对应的智能体随机搭配组合构成的涌现结构,即在种群中抽取每个部队弹种对应的1个智能体就能生成唯一对应的任务规划,智能体向任务规划转译的算法流程如下。
步骤1 抽取智能体搭配组合。采用随机算法选取同一种群中隶属不同部队弹种的智能体,选中的智能体寿命+1。
步骤2 为每个部队弹种选取打击目标。根据选中智能体中目标排序表的先后顺序选择打击目标,如排序表选中的目标序号为-1,则部队弹种执行待命3分钟操作,一般情况下,选中首选目标即可结束选择操作,但在实际算法执行过程中,由于任务规划执行导致个别目标可能已经被歼灭或者受限于弹种目标限制表导致无法打击,因此,应多选打击目标作为预备打击项,本算法中选取10个预备打击目标留存备用。
步骤3 建立任务规划执行项。为各部队弹种和对应的首选打击目标建立对应关系后,通过查询打击能力表获取该部队弹种对应的射弹飞行时间和打击间隔时间,以此计算出任务规划的部队空闲时刻和火力打击时刻,设第j个部队弹种的射弹飞行时间为sj,打击间隔时间为gj,任务规划起始时刻设为qj,则火力打击时刻dj和部队空闲时刻xj的计算公式为:
dj=qj+sj
xj=dj+gj
步骤4 融合敌我任务规划执行项。将红蓝双方智能体搭配组合产生的任务规划执行项汇总,并按照火力打击时刻由先至后排序,即可形成用于对抗推演的完整任务规划,规划中所涉及的打击目标不一定全部完成火力打击,在对抗推演中可能由于目标已歼灭或者部队弹药储备空而导致任务规划项无法执行,剔除无法执行的任务规划项,即为输出任务规划。
2.2 对抗推演算法
对抗推演算法接收敌我双种群生成的任务规划,并按火力打击时刻由先至后顺序执行规划项,计算每次规划产生的目标毁伤程度和部队的弹药消耗,进而推演出最终火力打击结束时敌我双方的目标毁伤状态。对抗推演算法执行流程如下。
步骤1 判断当前执行规划项是否为航空部队,如果是,则调用防空火力毁伤算法。考虑对抗推演中航空部队会受到敌方防空部队的防空火力打击,并且,在执行规划火力打击任务时预先产生部队损伤,因此,在所有规划执行前加入防空火力毁伤预判。
步骤2 使用防空火力毁伤算法计算部队在火力打击前的部队毁伤程度。判断防空部队当前是否能执行火力打击:目标位置超出火力打击射程无法执行防空反击;防空部队弹药储备不足无法执行防空反击;防空部队当前毁伤程度超过歼灭阈值无法执行防空反击。采集规划航空部队的当前毁伤程度、防空部队的火力打击能力,并按照毁伤拟合函数计算航空部队的累加毁伤程度。
步骤3 重复步骤2,直至所有防空部队均判断并执行防空反击,则跳出循环。
步骤4 按火力打击时刻先后顺序计算目标毁伤程度。调用毁伤拟合函数计算目标毁伤程度:设msi为对第i个目标造成的毁伤程度,规定毁伤能力为mgi,第j个部队弹种的火力打击能力为bhj,毁伤调节参数分别为λ1和λ2。毁伤拟合函数为
msi·mgi=λ1-λ1·
设目标属性表中,第i个目标的重要程度为mzi、威胁程度为mwi、防护能力为mli、机动能力为mdi,规定毁伤能力为mgi,对应计算公式为
mgi=mzi+mwi+|mli|+mdi
设目标属性表中,第i个目标的打击弹种名称对应的部队弹种编号为mji,对应部队弹种的火力打击能力为b ,1次打击毁伤百分比为mhi,则调节参数λ1和λ2计算公式为:
λ1=mgi
λ2=-
步骤5 重复步骤1~4,直至所有任务规划均执行完毕,结束循环。对于无法执行的任务规划,原因在于在拟制任务规划时未考虑目标是否已歼灭和部队剩余弹药量,剔除无法执行任务规划,并输出结束火力打击时敌我所有目标的毁伤程度。
2.3 体系价值评估算法
获取对抗推演算法中敌我双方目标的毁伤程度后,利用信息流循环效率计算获取敌我双方超网络的体系价值。信息流循环效率考虑将敌我双方目标构建为相互关联依存的超网络,根据火力打击信息流的关联作用,网络区分为指挥控制子网、侦察情报子网、火力打击子网、信息传输子网和后装保障子网,分别以D、O、A、T、S表示,火力打击信息在5类子网中传输并最终产生火力打击行动,子网的信息流传递效率决定了火力打击行动的可持续性,只有最大限度降低超网络的信息流循环效率才能最终瓦解敌方作战体系,达成体系破击目的。根据5类子网对信息流的作用原理,将D、O、A子网设为内网,将T、S子网设为外网。信息流循环效率计算流程如下。
步骤1 计算超网络中所有未歼灭目标的网络聚类数。设第i个未歼灭目标当前毁伤程度为hi(hi<歼灭阈值),邻接边数为ui,该目标的目标属性评分为fi,则该目标的聚类数Wi计算公式为
Wi=hi·ui·fi
步骤2 计算各子网的网络聚类数。以指挥控制子网为例,设子网内未歼灭目标总数为nD,则指挥控制子网的网络聚类数WD计算公式为
WD= Wi
步骤3 计算各子网的关联聚类数。关联聚类数用以衡量两个子网之间的关联作用强弱,其中,内3网的关联聚类数分别为GOD、GDA、GAO;外2网的关联聚类数是该子网与内3网的关联作用,用GT、GS表示。设超网络总边数为u,若第k条边两侧目标分属于O和D,则判定该边权重 =1,若第k条边两侧目标为T和内3网目标,则判定边权重 =1,关联聚类数GOD和GT的计算公式为:
GOD=
GT=
步骤4 计算内外网的信息流循环效率。设为XODA和XTS,计算公式为:
XODA=(WO+WD+WA)·(GOD+GDA+GAO)
XTS=(XT+XS)·(GT+GS)
步骤5 计算超网络的信息流循环效率。引入内网调节参数KODA和外网调节参数KTS,存在对应关系:KODA+KTS=1,则信息流循环效率X计算公式为
X=XODA·KODA+XTS·(1-KODA)
2.4 多智能体协同进化算法
协同进化算法是本文的核心算法,利用多智能体的协作机制和竞争机制共同作用,实现智能体的优胜劣汰,并控制涌现的任务规划结构改变,以应对敌方任务规划,实现对抗推演的胜率提升。协同进化依赖于由多智能体构成的敌我双种群结构,双种群示意如图3 所示。
同一种群内的不同部队弹种所属智能体之间存在协作关系,相同部队弹种智能体之间存在竞争关系,智能体搭配组合涌现的红蓝任务规划之间也存在竞争关系,构成了 “协作+竞争”复杂关系模式,任一智能体的变异均会影响涌现任务规划的内部结构,同时,又保证影响限制在一定范围内,不会阻碍对抗经验积累。协同进化算法流程如下。
步骤1 使用智能体转译算法形成任务规划。利用随机算法抽取红蓝双种群中各部队弹种的任一智能体,输出包含红蓝双方规划项并按火力打击时刻排序的可执行任务规划。
步骤2 按照对抗推演算法计算所有目标的毁伤程度。调用对抗推演算法,为每个规划项计算部队弹种和目标之间的毁伤拟合函数,进而,计算出目标的累加毁伤程度和部队弹种对应的弹药剩余储备。
步骤3 按照体系价值评估算法计算红蓝双方的网络体系价值。在计算好所有目标毁伤程度基础上,调用体系价值评估算法计算红蓝双方指挥控制子网、侦察情报子网、火力打击子网、信息传输子网和后装保障子网的子网聚类数和关联聚类数,进而,计算出超网络当前的信息流传递效率,以此作为红蓝双方超网络当前的网络体系价值并输出。
步骤4 为所有选中智能体调节反馈评分。反馈评分是由红蓝双方对抗推演产生的最终网络体系价值计算而成,设红蓝双方的体系价值为pH和pL,则反馈评分Δf为
Δf=
红蓝对抗的胜利判定条件:pH>pL,则判定红方胜;pH<pL,则判定蓝方胜;pH=pL,则重新执行步骤1~4。假设对抗推演中的胜利方为红方,红蓝双方智能体在对抗推演前的综合评分为fH和fL,则对抗推演后的综合评分fH'和fL'为:
fH'=fH+Δf
fL'=fL-Δf
步骤5 执行淘汰和繁殖操作。更新敌我双种群内参与任务规划的智能体综合评分后,选取同一部队弹种的智能体执行变异:随机对调智能体打击目标排序表中两个目标序号的位置,并置新智能体的寿命和综合评分为0。用变异产生的新智能体替换同一部队弹种内的最低分智能体。
步骤6 重复执行步骤1~5,直至达成退出条件:迭代次数达到退出限制,本文中设迭代100 000次。输出敌我双种群对应的所有部队弹种最高分的智能体。
3 系统验证
本文在系统设计基础上,利用MFC编译平台实现了原生系统,可用于任务规划的智能优化和人机对抗,为了检验算法的智力水平提升情况,设计相关实验内容,其中,以100个蓝方种群作为测试样本,迭代次数设为100 000次。
3.1 冗余项实验
冗余项存在于各智能体的目标排序表中,为了保证各部队弹种预留部分弹药以做关键使用,设计-1作为冗余项,如对抗推演时执行到冗余项,则命令部队待命3分钟。对于冗余项的数量须在实验中加以论证,分别设计冗余项数量为10、20,以观察各自迭代情况,对比结果如图4 所示。
通过分析可知,冗余项为10的红蓝对抗在初始短暂呈纠缠状态后,蓝方智能体明显对红方形成压制,而在27 000代后红方积累对抗经验实现翻盘,在此后多代迭代中红蓝双方呈现纠缠胶着对抗状态,通过与测试样本的对抗分析可知,冗余项为10的智能体初期具备较强对抗优势(胜率接近100%),但在蓝方压制红方后智能体的胜率呈现不稳定状态,虽然随后企稳,但此前积累的对抗经验已经丢失,导致后期胜率最高只达到94%;冗余项为20则呈现更多的蓝方压制状态,从11 000代至71 100代中蓝方持续压制红方,虽然在46 200代时红方一度实现翻盘,但立刻被蓝方反压制,长期的蓝方压制导致在与测试样本的胜率计算中红方最优智能体表现极不稳定,直至73 000代后才通过积累对抗经验实现胜率99%;相比较而言,冗余项为5的智能体则在9 000代后即保持了对测试样本的绝对优势,胜率由93%稳步增长到99%,证明在经验积累上使用冗余项5效果最佳。
3.2 备选规划项实验
在智能体转译为任务规划的过程中,有必要保留一部分备选的规划项以防出现部队弹种无法打击规定目标的情况,对于规划项的留存数量未明确规定。实验选取留存规划项数量为5、10、20作为备选条件,对比结果如图5 所示。
通过分析可知,备选规划的增多直接导致计算资源占用增大,使计算效率降低,在用时上备选规划项20的100 000代迭代时间消耗是备选规划项5的4倍;在红蓝对抗表现上,备选规划项为5的智能体明显不如备选规划项为20的智能体,在29 000代之后蓝方对红方实现了压制,导致红方智能体反复变异积累对抗经验并试图反超,在与测试样本的胜率计算中也在30 000代之后产生异常波动;相比较而言,备选规划项为20的智能体则在7 000代之后实现了红蓝纠缠状态,在测试样本的胜率计算上,比备选规划10的智能体有微弱优势,经过迭代后的胜率达到99%,但由于备选规划20的计算时间消耗是备选规划10的2倍,综合考量采用备选规划项10作为智能体结构参数。
3.3 歼灭阈值实验
在目标体系价值评估中,判定目标是否歼灭,使用了目标的歼灭阈值,毁伤程度超过阈值,则判断该目标已被歼灭,歼灭阈值的确定通常和上级指挥员相关,考虑其直接影响后续目标网络体系价值计算,有必要做实验确定最佳歼灭阈值,分别选取60%、70%、80%作为实验参数,对比结果如图6 所示。
通过分析可知,歼灭阈值60%的体系价值评分算法由于大部分目标被判定为歼灭,导致体系价值评分下降过快,进而,导致红方智能体对抗经验积累不足,在13 000代至87 000代中被蓝方大幅压制,在与测试样本的对抗中呈现异常波动,直至87 000后才恢复胜率;歼灭阈值80%的体系价值评分算法相对稳定,由于大部分目标均未达到歼灭毁伤,因此,体系价值评分变化幅度较小,红蓝对抗优势呈现周期性波动,周期约为25 000代即实现红蓝胜负翻盘且差异度相对较小,在胜率计算中,歼灭阈值80%对应智能体直接实现了胜率100%,没有收敛过程,原因在于体系价值评分差异度过小导致计算直达目标,智能体过于简单而失去了进化意义;综上考虑,选取歼灭阈值为70%,同时,该阈值也符合指挥员的实战决策意图。
3.4 内外网调节参数实验
体系价值评估中的内外网调节参数同样对胜负评分产生重要影响,分别选取内网调节参数为0.3、0.55、0.7作为对比对象,由于外网调节参数与内网调节参数处于互补关系,因此,设置外网调节参数分别对应为0.7、0.45、0.3,以保证调节参数总量为1。对比结果如图7 所示。
通过分析可知,内网调节参数0.3的体系价值评分算法中,红蓝双方对抗在81 000代之前呈现总体纠缠状态,原因在于任务规划能够优先打击易摧毁目标,致使智能体进化方向受易摧毁目标干扰,导致后期的进化受限,经验积累不足,通过与测试样本的分析可知,在81 000代后的红方智能体胜利次数陡降;内网调节参数0.7的体系价值评分算法表现更差,蓝方智能体在21 000代之后呈现压倒性优势,且优势一直未被翻转,在胜利次数统计中,21 000代后的红方智能体胜率波动,难以维持收敛状态;相比较而言,内网调节参数0.55的胜利次数总体稳定。
3.5 优化结果输出实验
在上述实验基础上,选择冗余项为5、备选规划项为10、歼灭阈值为70%、内网调节参数为0.55的参数设置输入协同进化算法,并以同类论文中的对抗进化算法作为对比分析对象,设置进化迭代次数为100 000次,每隔1 000次抽取样本数据对照分析,对比结果如图8 所示。
通过分析可知,对抗进化算法和协同进化算法均能实现红蓝对抗的纠缠状态,红蓝互有胜负,并在对抗中积累经验且改造智能体结构,但在与测试样本的对抗胜利次数统计中,对抗进化算法的表现很不稳定,未能如协同进化算法呈现收敛态势,胜率在1%~94%之间波动,原因在于对抗进化算法由于只考虑了智能体之间的竞争机制而忽略了协作机制,导致需要更多代的进化以积累对抗经验,极大地降低了算法的工作效率。最终输出优化任务规划结果如表1 所示。
表1 最优化任务规划 |
| 部队编号 | 部队名称 | 目标编号 | 打击弹种 | 规划时刻 | 打击时刻 |
|---|---|---|---|---|---|
| D137 | A旅发射1营 | W130 | DF16整体爆破弹 | 0 | 30 |
| D138 | B旅发射1营 | W128 | DF17整体爆破弹 | 0 | 30 |
| W137 | A旅发射1营 | D138 | DF16整体爆破弹 | 0 | 30 |
| W138 | B旅发射1营 | D135 | DF17整体爆破弹 | 0 | 30 |
| D130 | C旅发射1营 | W136 | DF15A整体爆破弹 | 0 | 60 |
| W130 | C旅发射1营 | D107 | DF15A整体爆破弹 | 0 | 60 |
| D127 | 炮兵第D旅远程多管火箭炮1营 | W119 | PHL03杀伤爆破弹 | 0 | 120 |
| D128 | 炮兵第D旅远程多管火箭炮2营 | W136 | PHL03杀伤爆破弹 | 0 | 120 |
| D129 | F旅发射1营 | W133 | DF11A整体爆破弹 | 0 | 120 |
| D135 | 炮兵第E旅远程多管火箭炮1营 | W128 | PHL03杀伤爆破弹 | 0 | 120 |
| D136 | 炮兵第E旅远程多管火箭炮2营 | W135 | PHL03杀伤爆破弹 | 0 | 120 |
| W127 | 炮兵第D旅远程多管火箭炮1营 | D131 | PHL03杀伤爆破弹 | 0 | 120 |
| W128 | 炮兵第D旅远程多管火箭炮2营 | D136 | PHL03杀伤爆破弹 | 0 | 120 |
| W129 | F旅发射1营 | D129 | DF11A整体爆破弹 | 0 | 120 |
| W135 | 炮兵第E旅远程多管火箭炮1营 | D140 | PHL03杀伤爆破弹 | 0 | 120 |
| W136 | 炮兵第E旅远程多管火箭炮2营 | D113 | PHL03杀伤爆破弹 | 0 | 120 |
| D127 | 炮兵第D旅远程多管火箭炮1营 | W144 | PHL03杀伤爆破弹 | 60 | 180 |
| D128 | 炮兵第D旅远程多管火箭炮2营 | W116 | PHL03杀伤爆破弹 | 60 | 180 |
| D135 | 炮兵第E旅远程多管火箭炮1营 | W147 | PHL03杀伤爆破弹 | 60 | 180 |
| D136 | 炮兵第E旅远程多管火箭炮2营 | W111 | PHL03杀伤爆破弹 | 60 | 180 |
| W127 | 炮兵第D旅远程多管火箭炮1营 | D127 | PHL03杀伤爆破弹 | 60 | 180 |
| W128 | 炮兵第D旅远程多管火箭炮2营 | D114 | PHL03杀伤爆破弹 | 60 | 180 |
4 结束语
本文从联合火力打击智能优化系统的系统架构分析出发,详细阐述了涉及联合火力打击智能优化的关键技术:战法策略转译算法、对抗推演算法、体系价值评估算法和多智能体协同进化算法,并重点介绍了协同进化算法的设计原理、“协同+竞争”机制构成、智能体内部构造以及变异和优胜劣汰方法,通过系统设计实验内容,分别检验了冗余项、备选任务规划项、歼灭阈值和内外网调节参数等系统内部参数的优化情况,分析了协同进化算法作为智能算法的优势,最后,通过与其他算法的对比分析证明本系统的有效性和应用性。