中国指挥与控制学会会刊 
作战任务筹划(Mission Planning)是指挥员和指挥机关以战场态势为依据,针对作战任务进行的一系列有序运筹设计,是最重要的作战活动之一。作战任务筹划有两个基本问题:第一,针对一个特定作战任务,如何分配有限的作战资源;第二,针对一系列作战任务,如何确定任务执行的先后顺序[1]。
用于任务筹划的理论方法不断涌现,传统的方法主要有数学规划方法,包括整数规划、线性规划、动态规划以及多目标规划等;基于多Agent的仿真;启发式方法,包括遗传算法、粒子群算法、蚁群算法等,分布式马尔科夫决策方法等[2-3]。上述方法多用于特定作战领域或战术行动,如无人机任务航迹规划[4-5]、传感器资源的任务规划等[6-7]。针对规模较大的联合作战任务筹划问题,目前主要以定性描述为主,如美军和北约的基于重心的联合筹划概念模型,定量计算方法公开文献鲜有报道。传统方法主要用战场侦察数据、规则来进行推理和求解,不具备自学习应对战场不确定性的能力。
近年来,机器学习技术的快速发展,涌现出一批解决复杂筹划问题的新技术和新方法,为解决上述问题提供了新思路。2020年,DeepMind发布的Muzero[8]通过基于融合表征网络的自博弈方法在围棋、将棋和国际象棋等30多款雅达利游戏中“无师自通”,展现了超越人类的规划与可塑性。DeepStack采用递归推理和深度学习[9],“冷扑大师”(Libratus)采用了蒙特卡洛嵌套子博弈求解方法[10],在德州扑克不完美信息博弈中独领风骚,而且能够有效应对“咋呼”等欺骗策略;空战飞行员ALPHA AI[11]采用了遗传模糊树技术,成为最接近实际战争的人工智能;OpenAI Five[12]、AlphaStar[13]、JueWu在环境复杂、不完美信息的RTS游戏中战胜了大部分人类玩家。虽然上述人工智能都在特定领域击败了人类,展示了机器学习技术在筹划和推理方面的强大能力,但依然难以直接用于联合作战任务筹划建模。
上述人工智能技术虽然迥异,但也具备共同点:一是基于对战平台的自博弈,二是多种智能技术集成学习。借鉴上述人工智能技术成功经验,本文面向作战任务筹划的两个基本问题,首先提出了任务矩阵概念模型,为联合作战任务筹划提供了框架;以此为基础,建立了“作战任务-作战要素”关联关系的信念网络模型,提出了一种基于想象力加速的贝叶斯学习算法,通过自博弈来学习信念网络模型的参数,解决联合作战任务筹划中的资源分配问题;以学习得到的参数为基础,提出了深度最小威胁生成树搜索算法,解决任务执行的先后顺序。本文的研究旨在为指挥员和筹划人员提供理论方法和技术手段,同时也可为联合作战智能对抗仿真建模提供任务规划算法。
1 基于想象力机制的作战资源分配贝叶斯学习模型
本节构建任务矩阵模型对战场态势进行建模,使用信念网络模型刻画任务矩阵中各要素间的复杂关系,并将想象力机制融入贝叶斯方法对参数进行学习,基于参数给出任务执行中关键的支撑要素与威胁要素。
1.1 任务矩阵模型
联合作战指挥员在确定或受领作战任务后,首先需要明确任务目标和限制条件。指挥员进行作战筹划需要关注的战场态势要素通常有三种:第一种是能够提供任务完成所需资源和能力的己方要素,称为支撑要素,解决指挥员“什么可以用”的问题;第二种是能够威胁任务完成的敌方作战力量或环境要素,称为威胁要素,表明了执行任务“面临哪些威胁或阻力”;第三种,与任务执行相关的重要事件,通常是任务分析和筹划过程中需要预先设想的事件,或任务执行过程中已经发生的事件,称为任务事件,充当指挥员的“任务监视器”。任务事件的发生,往往标志任务需要调整、取消、终止、结束等。将作战任务-支撑要素-威胁要素-任务事件按照矩阵的方式组织起来,就得到了如表1 所示的作战任务矩阵模型,其可以为指挥员和筹划人员提供一种分析工具。
表1 作战任务矩阵模型Tab.1 Joint operational task matrix |
| 作战任务: 任务目标 任务限制(时间、资源等) | 支撑要素: 能够支撑任务完成的作战力量、资源等要素,如打击敌方舰船部队的支撑要素,有战斗机中队、舰队和岸舰导弹部队等。 |
|---|---|
| 威胁要素: 能够威胁任务达成的敌方关键作战力量或关键环境因素,如战斗机执行空对地突击的威胁,有敌方爱国者防空阵地和驱逐舰编队。 | 任务事件: 任务分析过程中预设或任务执行过程中发生的与任务有关的事件,通常表明任务已完成、无法继续执行或任务失败等,起到一种指示器的作用,引导指挥员进入新的任务筹划点。 |
在高度动态联合作战背景下,海量支撑要素与威胁要素分布于陆、海、空、天、电、网等各个作战域。指挥员或筹划人员如果对每一个要素都进行深入分析,必然无法跟上战争的节奏。因此,需要一种自动化的处理方法,从海量的作战要素中确定关键的支撑要素与威胁要素,作为下一步作战资源分配的依据。为此,本文建立一种信念网络模型(也称为有向概率图),实现对所有的支撑要素和威胁要素进行重要度排序。
1.2 作战任务矩阵的信念网络模型
假设,在一次联合作战筹划过程中,共有l个作战任务,支撑要素(可用作战资源)总数为m,已经侦察到或明确的威胁要素共有n个。为了计算方便,将所有侦察到的目标都作为威胁要素,后续计算时可以将没有威胁的目标威胁值设置为0。所有作战任务组成的集合用M={mi|i=1,2,…l}表示,所有支撑要素集合为S={sj|j=1,2,…m},所有威胁要素集合为D={dk|k=1,2,…n}。用Ti表示任务mi完成与否的随机变量,Ti为二项分布,取值为1表示任务mi能够完成,取值为0表示任务mi不能完成。所有作战任务能否完成的随机变量集合用T={T1,T2,…Ti…Tl}表示。用 表示支撑要素sj能否支撑作战任务mi的随机变量, 也为二项分布,其取值为1表示能够支撑任务mi,取值为0表示不能支撑任务mi,用Ai={ , … … }表示所有支撑要素能否支撑任务mi的随机变量集合。用 表示支撑要素sj在执行作战任务mi时,威胁要素dk是否对sj产生威胁, 为二项分布,取1时表示存在威胁,取0时表示不存在威胁。 ={ , … … }为所有随机变量 的集合。
对于任务mi,将随机变量Ti、集合Ai和 中的随机变量作为顶点,将任务矩阵模型中作战任务-支撑要素-威胁要素概率依存关系作为边,可以构建如图1 所示的信念网络模型。
定义支撑要素sj执行任务mi的收益为随机变量 ,根据支撑要素sj的性质计算完成任务mi的收益 ,其期望为
E()= ·P(Ti=1)= ·P(Ti=1| =1)·P(=1)
式(1)中,P(Ti=1| =1)表示要素sj在能够为任务mi提供支撑情况下,完成任务mi的概率,实际计算中可以用归一化的支撑能力近似表示。P( =1)表示要素sj能够支撑任务mi的概率。如果sj本身不具备支撑任务mi的能力(如步兵无法支撑空战任务),则P( =1)=0,可以直接过滤掉。此外,支撑要素sj可能因受到敌方作战要素的威胁而无法完成任务,假设威胁是独立存在的,此时P( =1)需要通过公式(2)中的威胁关系来计算:
P(=1)= (P(=1| =1)P(=1)+P(=1| =0)P(=0))= (1-P(=0| =1)P(=1))
P( =0| =1)为支撑要素sj在执行任务mi时,受威胁要素dk作用无法完成任务的概率,P( =1)为威胁要素dk在支撑要素sj执行任务mi时对其产生威胁的概率(即威胁存在的概率)。为了表示方便,令 =P(Ti=1| =1), =P( =0| =1), =P( =1),并将公式(2)代入公式(1)可得
E()= (1- )
在公式(3)中,由于我方要素支撑能力已知(可通过我方作战要素的参数计算), 可以通过支撑能力近似表示,可看成已知量。由于战场存在高度不确定性,参数 、 通常需要根据历史数据和不断获取的新数据进行学习。本文针对战争研究或战前方案推演的应用场景,采用贝叶斯在线学习的方法,设计参数估计算法,对战场态势进行分析。实际使用中,可针对某一个想定演练多次,通过仿真推演或者自博弈得到的数据对上述参数进行学习更新。
1.3 基于想象力机制的贝叶斯学习参数估计模型
设 和 的先验分布服从Beta分布: ~Beta( , ), ~Beta( , )。随机变量 、 符合二项分布,Beta分布为二项分布的共轭分布,以其为先验的后验分布也为Beta分布。参数 、 的先验均值分别为 = 和 = 。其中, 、 、 和 可以根据指挥员的经验和历史统计数据,在t=0初始时刻确定,即通过已知样本得到, 、 后验均值在先验基础上进行学习更新。
在一次推演中,当支撑要素sj在执行任务mi时遭遇了威胁dk,sj会将遭遇威胁dk影响其执行任务mi的情况通知所有支撑要素。其他支撑要素sj'根据sj的描述进行想象,更新遭遇威胁dk的可能性 与受dk影响无法完成任务的概率 。显然,如果支撑要素sj'和sj越相似,sj'想象自身遇到的情况和sj就越类似,两者的相似程度由其属性确定,可以结合领域知识对sj、sj'所有的属性进行编码,编码值都取正数,得到sj的属性向量为sj=[sj1,sj2,…sjx],sj'的属性向量为sj'=[sj'1,sj'2,…sj'x]。引入夹角余弦距离公式来计算sj和sj'的相似情况,在公式(4)中用λj,j'表示:
λj,j'= =
表2 算法1:基于想象力加速的参数学习算法Tab.2 Algorithm1: parameter learning algorithm based on imagination acceleration |
| 输入:初始化参数 , , , 输出:学习后的参数 , |
|---|
| 1)如果学习过程没有结束,启动一次仿真推演,否则输出 , 2)持续推演,若在时刻t,支撑要素sj执行任务mi,遭遇威胁要素dk: ① 更新参数 : ← +1, ← +1 ② 对所有的j'∈J且j'≠j,更新参数 : ← +λj,j', ← +λj,j' ③ 更新参数 ,对所有的j'∈J且j'≠j,更新参数 : 若支撑要素sj在威胁要素dk作用下没有完成任务mi, ← +1, 若支撑要素sj在威胁要素dk作用下完成任务mi, ← +1, ← +λj,j' 3)判断是否推演结束,是:转到1);否:转到2) |
区别于DeepMind想象力模型解决纵向想象(想象同一个对象的后续动作),本文中使用的想象力机制是横向想象,即想象其他不同对象在遇到相同情况会怎样,更适合求解样本稀疏的广度学习问题。
将更新后的参数代到公式(3)中,就可以得到用支撑要素sj完成任务mi的期望E( )。将E( )从大到小排序,可得到执行任务mi的支撑要素优先顺序 :
=< , ,… >
令 = ,则 表示支撑要素sj完成任务mi时,威胁要素dk对支撑要素sj的威胁程度的大小,将 从大到小排序,可得到支撑要素sj完成任务mi时威胁要素的威胁度排序 :
=< , ,… >
基于以上排序,可以得出执行任务mi时的关键支撑要素与si执行任务mi时的关键威胁要素。
2 基于深度最小威胁生成树搜索的任务优先级模型
作战筹划人员在面临多个任务时,需要确定任务的优先执行顺序。在任务执行的过程中,先执行的任务会对后续的战场态势要素产生影响,因此任务执行的顺序不同,完成所有任务的战损和代价往往也不同。假设完成所有任务获得的总收益相同(如果没有该假设,将变为一个更复杂的多目标动态决策问题。实际作战中该假设通常成立)。任务排序问题可以描述为以下动态规划模型:
Min C= cis.t.
公式(7)所示动态规划模型的优化目标是通过优化任务执行顺序,使完成所有任务的总损耗和代价最小。约束条件为每一个任务Ti都完成,总任务时间不能超时,并且每一个任务面临的威胁ci非负。
对于任务mi,不同的支撑要素其支撑能力可能不同。由此可以求出支撑要素sj的支撑能力占总支撑能力的权重 :
=
由信念网络模型可以得到威胁要素dk对任务mi的威胁程度 为
= = ·
根据任务矩阵,将通过执行任务mi可以摧毁的敌方目标集合设为{ |u=1,2,…n},将任务mi的威胁要素集合设为{ |k=1,2,…n}。可以定义任务mi的威胁树,如图2 所示。
由此,可以将公式(7)所示的动态规划模型等价于求解一个最小威胁树。一种最为直接的方法就是将所有的树全部排列一遍,时间复杂度为O(n!),在有较多的任务需要排列时,时间耗费巨大,无法满足作战时效性要求。因此,本文设计一种深度优先最小威胁生成树搜索算法,通过均衡搜索误差和速度实现任务优先级排序,如表3 所示。
表3 算法2:深度优先最小威胁生成树搜索算法Tab.3 Algorithm2: depth first minimum threat spanning tree search algorithm |
| 输入:威胁值 ,毁伤程度 ,i=1,2,…,l,k,u=1,2,…,n |
|---|
| 输出:最小威胁生成树M*,最小威胁值Min_Threat |
| 初始化:随机生成一棵威胁树Mpre,计算Mpre的威胁值Th{Mpre},置M*←Mpre,Min_Threat←Th{Mpre},Min_Threat_before←0;定义最小搜索误差min_e,搜索误差e,搜索次数cout←0,搜索到最优值时的次数cout_best←0;将Gen_tree和Tail_tree置为空树。 |
| 算法过程: 1)从威胁树Mpre中按照深度优先顺序向下遍历,取出当前遍历到的元素mi,将mi加入Gen_tree,将Mpre剩余的子树加入Tail_tree。cout←cout+1; 2)If e≤min_e 输出M*,搜索结束;Else继续执行3); 3)计算Gen_tree的威胁值Th{Gen_tree}: If Th{Gen_tree}>Min_Threat,跳转到1); Else 继续执行4); 4)从Tail_tree中按照深度优先搜索的顺序遍历,取出当前遍历的元素加入到Gen_tree中生成新的子树;Tail_tree剩余的子树构成新的Tail_tree; 5)判断Gen_tree树的大小与总任务数的关系: If Size(Gen_tree)=l,继续执行6);Else跳转到4); 6)计算Gen_tree的威胁值Th{Gen_tree}: If Th{Gen_tree}<Min_Threat;跳转到1);Else继续执行7) 7)更新搜索误差e← , Min_Threat_before←Min_Threat,cout_best←cout,转到1)继续执行。 |
上述算法中,最小搜索误差min_e可以根据任务的数量和时效的要求来设置,误差越小,搜索的次数越多,也越耗时。由于该算法是在动态环境下工作的,输入值 和 会根据作战或推演的推进不断变化,其最小威胁值Min_Threat也随之不断变化。而且,敌方威胁要素事先可能没有被侦察到,随着新的威胁要素被侦察到并加入威胁树,Min_Threat甚至可能变大。此外,Min_Threat根据公式(7)所示的动态规划模型求得,其约束条件是所有任务都要完成。如果事先需完成的任务因资源限制被终止,此时Min_Threat可能会下降,但这种威胁的下降是通过少做任务带来的,而不是通过执行任务来消除威胁。
3 仿真实验验证
本文以一次火力打击与防御作战为仿真案例,检验上述模型和算法的有效性。首先设置初始仿真实验条件,对模型中需要的参数进行初始设定;然后通过多次推演来分析上述模型的学习能力和计算结果。
3.1 实验环境的设置
基本想定:红方火力打击蓝方目标,蓝方对红方的攻击进行防御性还击(即不主动出击)。红方火力打击任务数共10个,每个任务只针对蓝方一个目标,任务支撑要素共30个,分为6个同类组,对应于算法1中的同类型集合J。蓝方的威胁要素有20个,而且红方打击的目标全部包含在威胁要素中,即红方目标为蓝方的威胁要素的子集(实际作战过程中,目标不一定是威胁要素,需要根据目标性质确定。例如轰炸一座桥梁,桥梁本身不会产生威胁。限定上述条件是为了降低问题复杂度,对算法验证不会产生影响)。每个支撑要素对每个打击任务的支撑能力在[0,1]区间随机生成。完成任务的收益,即公式(1)中 都设为1,即每个任务同等重要。算法1和算法2的参数初始化设置如表4 所示。参数对任意i、j、k都相同,即对所有的待学习参数都不加入人的经验。
表4 算法初始化参数Tab.4 Initial parameters of the algorithm |
| 参数名 | λ | min_e | e | |||||
|---|---|---|---|---|---|---|---|---|
| 参数值 | 30 | 10 | 20 | 20 | 0.9 | 0.01 | 1 | 0.95 |
在执行任务过程中,红方每个支撑要素被蓝方要素的毁伤概率在[0,1]区间随机生成。生成的毁伤概率表只为仿真实验提供交互结果计算,毁伤概率表对红方不可见。
3.2 仿真结果分析
以上述初始参数为基础,在仿真推演过程中,算法1和算法2的计算结果可以通过图4 所示的示意图表示。
在任意时刻,由算法1的计算结果可以确定红方任务线和蓝方的威胁线,任务线是指从某个支撑要素到某个任务目标之间的连线,威胁线是指从威胁要素到任务线某点的连线。算法1同时确定了关键支撑要素和关键威胁要素,分别为任务线的起点和威胁线的起点。算法2确定了任务的优先顺序,如图4 所示,四个任务的执行顺序从上到下排列为4-2-1-3。
参数学习算法和深度优先最小威胁生成树搜索算法的有效性,可以通过红方完成所有任务后支撑要素的损失数目来检验。由于作战过程具有随机性,例如,一枚导弹可能击中目标也可能没有击中目标,这种不确定性对于战争结果的影响可能非常大,对应到本文的仿真实验就是会导致仿真实验结果具有较大波动性。因此,为了尽可能地消除这种不利影响,我们对每一个学习出来的参数运行10次,并对结果取平均值。得到如图5 所示的结果。
共进行了1 000次仿真实验,纵坐标表示红方支撑要素的损失数目。蓝色曲线和黄色曲线分别表示采用和未采用上文提出的想象力机制模型的学习情况。通过对比可以发现,采用想象力机制能够使模型收敛速度大大加快。当需要学习的参数随着态势要素数目一起增多,先验知识将会变得更加稀疏,带有想象力机制的学习模型收敛速度优势会更加明显。但也要看到,蓝色曲线在收敛过程中震荡较大,原因可能是很多参数的更新建立在想象而非真实体验之上。
以带有想象力机制的学习过程为例讨论模型收敛情况。开始时,红方通过算法1得到对敌方的威胁情况,以 、 等相关参数估计值为初始设定随机值,而算法2依赖的关键参数 可根据 、 计算得到,因此,在初始时, 的准确性很差。通过 计算得到的任务执行顺序不是最优顺序,此时红方支撑要素有一半以上的损失。随着执行次数的增加,学习算法对敌方的威胁情况估计越来越准确,通过算法2排序的实际威胁值不断降低,最终算法收敛于8左右,支撑要素的损失数目降低了50%。结果表明,通过机器学习算法1和算法2的协同工作,能够比较好地解决作战资源的分配和任务优先级排序问题。
4 结束语
本文提出了一种基于机器学习的任务资源分配和任务优先级排序方法,通过想象力机制加速了学习模型的收敛速度,仿真实验表明了该方法的有效性。该方法不仅能够为指挥员和联合筹划人员提供有益的分析工具,同时也可以为作战博弈系统提供智能学习算法。由于战争问题的极端复杂性,为了建模方便,本文提出的方法对很多问题进行了简化,所用方法也比较简洁,旨在探索理论方法和技术路线。本文下一步的工作是更为深入地讨论并行任务的搜索、任务协同等问题。