中国指挥与控制学会会刊 
国际社会普遍渴望和平与稳定。然而,巴以冲突[1]和持续的俄乌冲突[2]提醒我们,全球战争风险依然存在。智能科技的迅猛发展正深刻改变着现代战争的形态。信息感知、算法辅助和精确控制成为主导,军事力量向小型化、现代化和自主化方向发展,作战方式也转向分布式打击和群体协同[3]。面对新的战争形态,传统空战模拟因其资源消耗大、评估效果差等问题面临挑战。计算机技术驱动的空战模拟系统以其经济高效和模拟精准的优势,逐渐成为军事研究的关键。
对于空战模拟系统,郝玲玲[4]设计了一种基于DDS的空战模拟仿真系统,该系统旨在解决多个仿真节点间的数据共享和互通问题,重点探讨了基于DDS的数据分发机制,系统具有较高的设计难度和实现复杂性。白金鹏等人[5]开发的空战模拟系统采用结构化方法管理各功能模块。该方法提高了系统的模块化程度,但在灵活性方面存在一定局限,且系统的具体实现细节有待进一步完善。张灿[6]利用Rust语言以及Rocket框架、MongoDB数据库等技术方案设计了一款支持浏览器访问的多无人机协同任务规划的仿真系统。该系统允许用户自行设计无人机控制算法,具有良好的可扩展性。然而,系统的可视化效果有待提高。王国强等[7]基于VR-Forces仿真引擎开发了一种多无人机协同空战任务规划仿真系统。该系统支持多种对抗方式,可集成不同的控制算法,并具有出色的可视化效果。但由于采用专有软硬件设施,系统的开放性受限,且对用户的编程能力要求较高。
智能决策算法在空战领域取得了显著进展。马文等人提出的结合博弈论与深度强化学习的算法,能够实时选择有利的机动动作并占据优势[8]。高昂等人对比分析了深度强化学习与经典智能优化方法,并提出基于智能优化的进化神经网络决策模型及其求解方法[9]。未来研究重点在于设计高效实用的算法,平衡实时性、多样性、灵活性和实战适用性。
NetLogo作为一款用于模拟复杂系统的多智能体建模平台,在教育学、生态学、社会科学和经济学等多个领域得到广泛使用[10-13]。本文基于NetLogo 3D平台和HubNet模块,结合DDQN算法[14]进行空战模拟,成功实现了3D空战对抗仿真环境构建和智能决策的创新。该平台在空战模拟方面具有以下优势:
(1) 开发工具及环境开源,无版权限制;
(2) 可视化效果好,NetLogo内置的三维渲染引擎能实时、清晰地呈现空战过程中飞行器的运动状态;
(3) 开发工作量小,开发难度低,NetLogo采用面向对象的编程范式,封装了丰富的智能体控制原语,便于非计算机背景的领域专家快速构建模型;
(4) 灵活度高,扩展性好,尤其支持Python接口调用,便于集成各种先进算法;
(5) 多用户支持,HubNet模块支持多用户作为独立智能体参与交互式仿真。
1 NetLogo平台及关键技术概述
1.1 NetLogo基础功能简介
NetLogo是一款强大的基于代理的建模工具,通过简洁的命令语言和丰富的编程功能,如自定义函数、变量管理和递归等,使使用者能够构建复杂的模拟系统。其扩展版本NetLogo 3D将建模能力进一步拓展到三维空间,显著提升了模拟的可视化表现。
HubNet是NetLogo的一个重要扩展模块,允许开发者轻松创建多人在线活动。通过HubNet,可以监控用户的加入和退出,处理用户输入并执行相应的操作。服务器能够将必要的信息广播给客户端,从而实现实时交互。
1.2 Python扩展调用方法
2 静态模型构建
空战过程中需要考虑的关键因素包括直接参与对抗的元素(如操作者、战机、导弹)和环境因素(如地形、气象、重力、阻力等)。本空战模拟系统聚焦于飞机机动过程,采取了针对性的简化策略。忽略了气象因素的影响,并利用NetLogo的离散时间特性,仅考虑单位时刻的飞机状态,省略了重力和空气动力学效应的复杂计算。同时引入简化的地形元素增强模拟的真实感。
根据前述简化策略,本系统巧妙应用NetLogo的核心概念来构建空战模拟系统。具体而言,采用“海龟”作为可移动的代理,以模拟战机以及导弹的行为和交互过程。同时,使用“补丁”表示空战场景的环境特征。为“海龟”和“补丁”赋予特定的属性,这种抽象有效简化了复杂的空战系统。
2.1 飞机模型
建立飞机模型时选取空战过程中最为关键的属性进行抽象(见表1 )。其中,shape表征飞机形态,color用于区分敌我。roll、pitch和heading反映了飞机的三维姿态,直接影响其机动能力。初始位置和姿态的随机设置旨在模拟真实空战中的不确定性。speed设定为0.12、size设定为3.0是根据NetLogo 3D环境的比例进行调整的。live和missile属性则表示飞机的耐受能力和火力。这些属性模拟现代战斗机的一般特性,但进行了简化。
表1 飞机模型Tab.1 Aircraft model |
| 属性名 | 属性值 | 说明 |
|---|---|---|
| shape | airplane | 形状 |
| size | 3.0 | 尺寸 |
| color | red/blue | 颜色 |
| position | random | 初始位置 |
| roll | random 20-10 | 初始滚转角 |
| pitch | random 20-10 | 初始俯仰角 |
| heading | random 360 | 初始朝向 |
| speed | 0.12 | 飞行速度 |
| live | 1 000 | 生命值 |
| missile | 1 000 | 导弹数量 |
2.2 导弹模型
导弹模型的设计基于空战对抗中导弹的追踪和打击行为,并结合简化的物理原理进行抽象(见表2 )。模型利用shape和color属性区分导弹与飞机,size设为1、speed设为1,体现导弹体积更小、速度更快的特性。live属性设为30,代表导弹的最大飞行时间,模拟导弹射程有限的特性。
表2 导弹模型Tab.2 Missile model |
| 属性名 | 属性值 | 说明 |
|---|---|---|
| shape | arrow | 形状 |
| size | 1.0 | 尺寸 |
| color | yellow/white | 颜色 |
| speed | 1.0 | 飞行速度 |
| live | 30 | 飞行时间 |
基于这些属性,模型通过以下策略模拟导弹的追踪与打击效果:
(1)目标探测与标记:导弹的探测范围抽象为一个锥形区域,模拟导弹的“不可逃逸区”[15]。一旦敌机进入该区域,即被标记为攻击目标,向我方提供攻击指示。
(2)导弹追踪:导弹发射后会持续追踪被标记的敌机。同时,敌机具备一定的逃逸能力,模拟真实空战中的对抗博弈。
(3)打击效果:当导弹与目标的距离小于1个单位时,判定为命中。命中后,目标飞机的生命值将相应减少。
2.3 地形模型
虽然地形在真实空战中扮演重要角色,影响着飞行高度、机动性以及战术选择,但为了简化空战模拟过程,本系统暂不考虑崎岖地形复杂环境因素对飞行操作的影响。地面模型的主要作用是提供一个基本的视觉参考,提升仿真环境的空间感和真实感,而不直接参与空战过程中的战术决策。
3 动态行为模块
基于构建的飞机、导弹和地形空战要素模型,为实现动态空战模拟并支持人人对抗、人机对抗以及算法间对抗等多种模式,系统设计了手动控制和智能决策算法控制两种方式来操控飞机,以满足不同的模拟需求。
3.1 手动控制模式
3.1.1 手动控制理论基础
飞机的机动行为模拟采用了文献[16]中提出的27种基础动作模型,并在NetLogo环境中开发了相应的函数实现,此处不对该模型的具体原理进行深入探讨。
首先构建飞机的控制矢量W={K,L,w},其中K表示推阻合力,L表示升力,w表示滚转角,各参量对于飞机飞行动作具有表3 所示的控制关系。
表3 矢量控制关系Tab.3 Vector control relation |
| 控制状态 1 | 控制状态 2 | 控制状态 3 | |
|---|---|---|---|
| 推阻合力 K | 油门全加力 K | 油门中立 0 | 油门慢车-K |
| 升力 L | 驾驶杆后拉 L | 驾驶杆中立 0 | 驾驶杆前推-L |
| 滚转角 w | 驾驶杆左压 w | 驾驶杆中立 0 | 驾驶杆右压-w |
设计了六种函数用于模拟飞机的动作。用户可以通过图2 所示的GUI与这些函数进行交互,通过点击控制界面上的按钮来调用不同函数,从而实现特定动作。
通过模拟油门操作,飞行员可以调整飞机的速度,例如加速追击敌人或减速进行防御,以适应不同的战斗场景需求。飞机的姿态控制通过驾驶杆实现,包括爬升和俯冲操作,改变飞机的俯仰角来获得高度优势或躲避攻击;转向操作,调整飞机的横滚角,使飞机能够快速灵活地改变方向和姿态,从而占据有利的攻击位置或规避敌方火力。未进行任何操作,飞机将保持稳定的飞行状态,模拟油门和驾驶杆处于中立位置的情形,确保飞行的平稳性。
3.1.2 手动控制效果展示
3.2 专家算法控制模式
专家算法的设计以结构简洁为核心,将状态判断与条件控制相结合,指导飞行器的智能决策过程。其显著特点是将复杂的决策过程分解为简单的规则和条件,从而形成一个清晰的决策流程图。这种方法能有效应对各种飞行状态和环境变化,确保飞行器在不同情况下都能做出合理的响应。以我方战机为研究对象,可以设计如图4 所示的专家算法执行流程。图中p是一个随机生成的0~1范围内的数字。
3.3 DDQN算法控制模式
由于状态的连续性、庞大的状态空间以及动作的离散性等特点,DQN算法非常适合用于本系统。而DDQN算法通过减少Q值估计偏差,能进一步提高DQN算法性能,成为本系统的最佳选择。
3.3.1 训练流程设计
在深度强化学习领域,智能体通过与环境不断交互来学习和积累经验[17]。每次交互都会生成数据,包括当前状态(s)、采取的行动(a)、下一状态(s_)、即时奖励(r)和是否结束的标志(done)。
奖励函数的设计对于解决奖励函数的稀疏性、任务相关性、局部最优性和安全性等问题至关重要[18]。为了提高智能体在空战模拟环境中的训练效率和效果,本文在兼顾模拟准确性、计算资源和成本等因素的情况下,对标准DDQN算法流程进行了改进。具体改进包括:结合离线学习与在线学习,加速学习过程;在离线学习的数据采集过程中,采用频繁随机初始化智能体状态的机制,帮助智能体探索更广泛的状态空间。
3.3.2 状态与动作设计
如表4 ,状态与动作设计主要考虑以下几个方面:
(1)dx、dy、dz表示两架飞机的相对位置;
(2)p1、h1分别表示我方战机的pitch和heading;
(3)瞄准敌机时,“s”参数由0变为50;
(4)对“s”以外的参数合理标准化;
(5)取消“加、减速”动作,仅保留左右转向、抬升俯冲和攻击5个动作效果更佳。
表4 状态与动作设计Tab.4 State and action design |
| 状态 | 动作 | 动作编号 |
|---|---|---|
| dx | go-up | 0 |
| dy | go-down | 1 |
| dz | go-left | 2 |
| p1 | go-right | 3 |
| h1 | shoot-missile | 4 |
| s |
3.3.3 奖励函数设计
本文设计了基于态势评估的奖励函数。计算过程主要分为三步:
第一步,计算态势Rh,其与我方战机的heading以及双方战机水平相对位置有关。
第二步,计算态势Rp,其与我方战机的pitch参数以及双方战机竖直相对位置有关。
第三步,综合Rh与Rp得到每一个时刻的态势,然后通过综合处理相邻两个时刻的态势来计算动作奖励。
对非射击动作的奖励值进一步进行四舍五入处理,简化了学习信号,使数据更稳定、易于区分,有效减少过拟合,提升神经网络的稳定性和泛化能力。
3.3.4 模型训练
本系统采用的离线训练和常规的DDQN在线训练方式有所不同,具体对比见图5 。
说明:
(1)在线训练中,Python和NetLogo环境协同工作,训练完成后,经验回放缓冲区通常被清空。离线训练将两个环境解耦,NetLogo环境收集大量样本数据并本地持久化,随后在Python环境中进行模型训练。本地数据存储便于异常值检测和数据清洗。
(2)离线训练数据采集过程中,动作选择时采用纯随机采样。这种方法在相似状态序列中可以探索更多样化的动作,增加了智能体发现最优动作的概率。
(3)两种训练方式在神经网络的参数优化方式上保持一致,详见图6 。
(4)在离线训练时,状态和动作将分别作为神经网络的输入输出,其余参数如表5 。
表5 神经网络参数Tab.5 Neural network parameters |
| 层 | 节点个数 | 激活函数 |
|---|---|---|
| 输入层 | 6 | 无 |
| 隐藏层1 | 128 | ReLu |
| 隐藏层2 | 128 | ReLu |
| 输出层 | 5 | 无 |
为了提高网络的泛化能力并防止过拟合,在两个隐藏层之间引入了dropout[19]层(p=0.3)。
本地数据总量为146 953(数据筛选之后),训练循环次数设定为7 000次。每次训练时使用的样本批量大小为256,折扣因子γ为0.95。优化器选择Adam,学习速率参数为0.001。网络训练loss(归一化之后)收敛情况见图7 。
经过4 000次训练后,模型参数趋于稳定。在模型训练前后指导智能体进行对抗,智能体累积奖励见图8 。模型训练前智能体未能快速击败对方,截取连续200步观察奖励情况,整体呈现下降趋势。训练后进行5轮对抗测试并记录奖励,观察到明显的性能提升。在线训练时,实验发现效果提升有限,本系统采用离线训练后的模型进行进一步测试和评估。
4 实验与结果分析
4.1 系统工作流程展示
为了构建一个多模式空战对抗环境,首先需要将人工操作模式、DDQN算法和专家算法决策模式与HubNet的工作流程无缝融合,形成一个完整的代码块。接下来,精心设计服务器端和客户端的操作界面,以确保用户体验的流畅性和直观性。以下是本系统工作流程的一个完整示例。
(1)首先初始化环境。启动HubNet控制中心和3D界面,加载预先训练好的DDQN算法模型,等待用户的加入。
(2)测试时加入两个本地用户。在3D视图中实例化两架飞机(红色与蓝色),双方的初始生命值设定为1 000,子弹数量为1 000。每次遭受攻击时,生命值减少10。
(3)用户可以选择三种模式之一进行对抗。 “off”代表手动操作模式,“machine”代表由DDQN算法控制,“master”代表由专家算法主导。在本次实验时,蓝色方选择“master”模式,而红色方选择“machine”模式。
(4)开始对抗。3D界面渲染对抗过程,服务器实时更新飞机的生命值、子弹数量等关键参数。
(5)对抗结束。服务器广播对抗结果,对抗双方同步显示最终结果。
4.2 人机对抗实验
在设计的系统中进行人机对抗实验,如图12 所示。实验中,红方由人工操作,蓝方则由DDQN算法控制,同时记录对抗过程中的轨迹。人机对抗(3)中,由于NetLogo 3D环境所提供的三维空间具备“wrap-around”特性,即导弹智能体穿越空间边界后会在对侧重新出现。
4.3 算法对抗实验
如图13 所示,红方由专家算法控制,蓝方由DDQN算法控制。由于仿真实验的初始状态是随机生成的,实验过程中观察到了多种对抗情景。其中,智能对抗(1)—(2)展示了初始时刻一方具有明显优势的情况,而智能对抗(3)—(6)则展示了初始状态均势条件下的对抗实验。该系统能够完整展示对抗过程,并直观地对其进行可视化,从而使算法行为更加透明。系统有效揭示了DDQN算法与专家算法在策略选择和性能表现等方面的差异,为深入理解这两种算法提供了新的视角。
5 结束语
本文提出了一种基于NetLogo 3D平台和HubNet模块的3D空战模拟系统。该系统不仅支持人工操作,还集成了DDQN强化学习算法和专家算法,实现了智能决策。通过构建具有C-S架构的空战环境,系统支持多种形式的对抗实验。实验结果初步验证了系统的有效性和稳定性,展示了其在智能空战研究领域的潜力。未来,将考虑增加对抗环境的复杂性,引入更多的对抗者实现团队作战模式,并比较更多智能算法的性能,以进一步提升系统的应用范围。