中国指挥与控制学会会刊 
近年来,因雷达组网良好的“四抗”特性,预警探测雷达网得到广泛的研究和应用。通过将多方位多频段的多部雷达进行交叉验证和关联融合,预警雷达网实现了对目标的稳定航迹跟踪效果。以台湾防空雷达网为例,已经建立预警雷达站超过40个,部署雷达数量超过100部[1],给空中编队的突防航路规划带来了极大挑战。
针对突防航路规划问题,国内学者提出了一些航路优化理论方法。文献[2]提出了基于干扰方程和雷达方程缩减雷达探测威力区域,将突防航路规划问题转换为突防避障问题,并利用A*算法进行求解。文献[3]提出了通过预先设置先验毁伤概率,基于降低无人机毁伤概率,提出了对无人机进行突防航路规划的方法。文献[4-5]分别提出了自适应差分进化算法和遗传算法的空中目标避障方法。总的来说,这些方法基本未考虑预警探测雷达网的多重覆盖性,或者仅静态考虑了雷达受干扰后的威力范围下降,没有考虑目标航迹形成机理、多雷达组网融合以及突防兵力在各航路段面临的威胁,难以良好地支撑空中编队的突防行动。
为实现良好空中突防效果,需在考虑电子干扰和雷达探测能力基础上,通过破解单部雷达的目标检测、航迹建立与跟踪、组网融合等环节,实现高效的突防效果。基于此,本文提出了一种基于马尔科夫决策模型的航路规划方法,通过对突防战机电子干扰和预警探测雷达网处理准则进行建模,建立空中编队被检测跟踪状态转移模型和突防代价目标描述,达到对空中兵力突防路径的优化效果。
1 预警探测雷达网原理分析
组网雷达系统内各节点独立开展目标探测,得到点迹或航迹后,上报至组网融合中心,经过预处理、点迹/航迹关联及航迹滤波与更新后,形成探测航迹,并实现稳定跟踪效果[6],基本处理流程如图1 。
1.1 单部雷达处理
点迹形成:目标回波信号达到一定的信噪比门限,可判断目标存在,从而在信号方位和距离上,生成目标点迹。
航迹跟踪:采用五中取四、连续三次探测等跟踪算法,即在目标附近特定区域内,连续五次检测中有四次检测到目标信号,或者连续三次检测到目标点迹,则建立目标航迹。在航迹建立后,且未丢失航迹,则为航迹跟踪状态。
航迹丢失:连续多次(如三次)未检测到目标时,判断目标航迹丢失。
1.2 组网融合处理
航迹跟踪:分为点迹融合和航迹融合。点迹融合时,将所有雷达探测点迹汇聚到融合中心,采用类似单部雷达航迹建立方式,建立组网探测航迹。航迹融合时,需要单部雷达形成航迹后,组网融合中心将多部雷达上报的航迹进行聚集建立航迹,即任意一部雷达形成了航迹,才建立航迹。航迹建立后,且未丢失航迹,则为组网航迹保持状态。
航迹丢失:与单部雷达处理类似。当采用点迹融合方式时,一定时间阈值内网内节点均未检测到目标时,判断航迹丢失;当采用航迹融合方式时,若没有一部雷达形成航迹,则判断航迹丢失。
2 突防战斗机编队航路规划建模
航路规划目标是寻找一条安全、经济且满足飞机平台机动性能的航路,并能给出整个突防路径上的威胁航路段预警。本文中,将战斗机编队突防预警雷达网的过程建模为马尔科夫决策过程(MDP),并定义战斗机编队突防代价,通过搜索代价最小的航路,实现航路优化的目标。
2.1 战斗机编队过程突防建模
MDP定义为{S(0),T(s,a,s'),R(s,a)},分别代表初始状态、转移模型以及回报函数[11]。基于MDP的战斗机突防航路规划,定义如下。
1)初始突防状态S
首先采用一定的刻度将突防空间栅格化,单个栅格至少大于一个雷达回访/扫描周期内的机动距离。考虑预警雷达网对突防编队的探测能力、突防编队位置变化以及相邻两栅格间雷达探测状态变化的连续性等因素,将战斗机编队突防状态空间定义为
S=Detect_State×Loc_No×DState_Last
其中,Detect_State为预警雷达网对突防编队的探测状态,包括“未探测到/航迹丢失(UnFind_State)”和“探测到/航迹跟踪(Find_State)”两种状态。Loc_No表示突防编队所处位置栅格的编号;DState_Last表示最近三次雷达网的目标点迹探测状态,取值为二进制000~111,第k位取0和1分别表示第k次扫描未形成、形成目标点迹。
初始情况下,可假设突防编队处于雷达探测威力外,即Detect_State取为“UnFind_State”,Loc_No取为突防兵力实际所处栅格编号,DState_Last取为“000”。
2)转移模型T(s,a,s')
①编队突防行动集A
A表示航路规划可选的所有行动集合。不失一般性,以二维空间为例,突防编队机动可选行为包括向左前(a1)、前(a2)、右前(a3)、右(a4)、右后(a5)、后(a6)、左后(a7)、左(a8)等八个动作,如图2 所示。
②突防状态转移模型
•突防位置转移
以突防起始点为原点,按照空间栅格尺度,向东、向北方向分别为水平向、纵向栅格编号的正值方向。记第i步突防编队位置为Loc_No(i),所采用突防行为ai,则第i+1步突防编队位置Loc_No(i+1)为:
其中,Loc_No(·)v、Loc_No(·)h分别表示编队位置Loc_No(·)的纵向和水平向栅格编号。
•最近三次点迹生成状态转移
根据文献[6,9-10]结论,一定虚警概率门限下,目标点迹检测概率Pd与信噪比(S/N)呈现出一定的函数关系Pd(S/N),如图3 所示。基于此,可计算获得雷达一次扫描/回访周期内,对突防战斗机编队形成点迹的概率。
记第i步突防编队从位置Loc_No(i),采用突防行为ai,机动到位置Loc_No(i+1)所需时间为ΔTi,雷达网回访/扫描时间周期为TScan,则DState_Last转移模型定义如下。
当ΔTi大于等于3倍回访/扫描周期时,最近三次点迹生成状态转移定义如式(1)。其中,Pd(i,S/N)表示雷达网探测概率,其是基于第i步突防编队所处栅格中心位置的雷达网信噪比和图3 所示的函数关系计算得到的。组网处理时,一般采用具备最优探测效果的雷达目标探测点迹,因此Pd(i,S/N)可取为雷达组网系统中所有雷达的最大信噪比。
当ΔTi小于3倍且大于2倍回访/扫描周期时,最近三次点迹生成状态转移定义如式(2)。式中DState_Last(·)j表示探测状态的第j位取值。
当ΔTi小于2倍且大于1倍回访/扫描周期时,最近三次点迹生成状态转移定义如式(3)。空间栅格化时保证了单个栅格至少大于一个回访/扫描周期内突防编队的机动距离,因而不考虑ΔTi小于1倍回访/扫描周期的情况。
$\begin{matrix} & T(DState\_Last(i),{{a}_{i}},DState\_Last(i+1)){{\text{ }\!\!|\!\!\text{ }}_{\left[ \text{ }\!\!\Delta\!\!\text{ }{{T}_{i}}/{{T}_{Scan}} \right]\ge 3}}= \\ & \left\{ \begin{array}{*{35}{l}} {{(1-{{P}_{d}}\left( i,S/N \right))}^{3}},DState\_Last\left( i+1 \right)=000 \\ {{P}_{d}}\left( i,S/N \right){{(1-{{P}_{d}}\left( i,S/N \right))}^{2}},DState\_Last\left( i+1 \right)\in \left\{ 100,010,001 \right\} \\ {{P}_{d}}{{\left( i,S/N \right)}^{2}}\left( 1-{{P}_{d}}\left( i,S/N \right) \right),DState\_Last\left( i+1 \right)\in \left\{ 110,110,101 \right\} \\ {{P}_{d}}{{\left( i,S/N \right)}^{3}},DState\_Last\left( i+1 \right)=111 \\ 0,其他 \\ \end{array} \right. \\ \end{matrix}$
$\begin{matrix} & T(DState\_Last(i),{{a}_{i}},DState\_Last(i+1)){{|}_{\left[ \text{ }\!\!\Delta\!\!\text{ }{{T}_{i}}/{{T}_{Scan}} \right]=2}} \\ & =\left\{ \begin{array}{*{35}{l}} {{\left\{ \begin{array}{*{35}{l}} {{(1-{{P}_{d}}\left( i,S/N \right))}^{2}},DState\_Last{{\left( i+1 \right)}_{2,3}}=00 \\ {{P}_{d}}\left( i,S/N \right)\left( 1-{{P}_{d}}\left( i,S/N \right) \right),DState\_Last{{\left( i+1 \right)}_{2,3}}\in \left\{ 10,01 \right\} \\ {{P}_{d}}{{\left( i,S/N \right)}^{2}},DState\_Last\left( i+1 \right)\in 11 \\ \end{array} \right\}}_{DState\_Last{{\left( i+1 \right)}_{1}}=DState\_Last{{\left( i \right)}_{3}}}} \\ 0,其他 \\ \end{array} \right. \\ \end{matrix}$
$\begin{matrix} & T(DState\_Last(i),{{a}_{i}},DState\_Last(i+1)){{|}_{\left[ \text{ }\!\!\Delta\!\!\text{ }{{T}_{i}}/{{T}_{Scan}} \right]=2}} \\ & =\left\{ \begin{array}{*{35}{l}} {{\left\{ \begin{array}{*{35}{l}} \left( 1-{{P}_{d}}\left( i,S/N \right) \right),DState\_Last{{\left( i+1 \right)}_{3}}=0 \\ {{P}_{d}}\left( i,S/N \right),DState\_Last{{\left( i+1 \right)}_{3}}=1 \\ \end{array} \right\}}_{DState\_Last{{\left( i+1 \right)}_{1,2}}=DState\_Last{{\left( i \right)}_{2,3}}}} \\ 0,其他 \\ \end{array} \right. \\ \end{matrix}$
•探测状态转移
以点迹融合为例,假设航迹建立采用连续三次探测跟踪算法,而航迹丢失采用连续三次丢失判别算法。显然,雷达网的第i+1探测状态仅依赖于第i步的探测状态、最近三次点迹状态、第i步到i+1步的转移时间ΔTi以及雷达网的扫描回访时间等因素。基于此,本文可将探测状态转移定义如下。
当Detect_State(i)=UnFind_State时,探测状态转移模型为式(4)。式中,φ(DState_Last(i),ΔTi+1,TScan)表示第j+1步预警雷达网的[ΔTi+1/TScan]次探测与DState_Last(i)组成的探测序列中,满足雷达网航迹建立与航迹保持的排列个数,即存在连续三次检测且到最后一次探测时未出现连续三次目标未探测到的排列个数。
$\begin{matrix} & T(S(i),{{a}_{i}},Detect\_State(i+1)){{|}_{Detect\_State}}_{(i)=UnFind\_State} \\ & =\left\{ \begin{array}{*{35}{l}} \varphi \left( DState\_Last\left( i \right),\text{ }\!\!\Delta\!\!\text{ }{{T}_{i+1}},{{T}_{Scan}} \right)/{{2}^{\left[ \text{ }\!\!\Delta\!\!\text{ }{{T}_{i+1}}/{{T}_{Scan}} \right]}},Detect\_State\left( i+1 \right)=Find\_State \\ 1-\varphi \left( DState\_Last\left( i \right),\text{ }\!\!\Delta\!\!\text{ }{{T}_{i+1}},{{T}_{Scan}} \right)/{{2}^{\left[ \text{ }\!\!\Delta\!\!\text{ }{{T}_{i+1}}/{{T}_{Scan}} \right]}},Detect\_State\left( i+1 \right)=UnFind\_State \\ \end{array} \right. \\ \end{matrix}$
当Detect_State(i)=Find_State时,探测状态的转移模型如式(5)所示。式中,ϕ(DState_Last(i),ΔTi+1,TScan)表示第j+1步预警雷达网[ΔTi+1/TScan]次探测与DState_Last(i)组成的探测序列中,满足雷达网航迹建立与航迹保持的排列个数,即“目标检测序列中存在连续三次检测到,同时直到最后一次探测时都未出现连续三次目标未探测到的排列个数”,加上“目标检测序列中不同时存在连续三次检测和连续三次目标未探测到的排列个数”。
$\begin{matrix} & T(S(i),{{a}_{i}},Detect\_State(i+1)){{|}_{Detect\_State}}_{(i)=Find\_State} \\ & =\left\{ \begin{array}{*{35}{l}} \phi \left( DState\_Last\left( i \right),\text{ }\!\!\Delta\!\!\text{ }{{T}_{i+1}},{{T}_{Scan}} \right)/{{2}^{\left[ \text{ }\!\!\Delta\!\!\text{ }{{T}_{i+1}}/{{T}_{Scan}} \right]}},Detect\_State\left( i+1 \right)=Find\_State \\ 1-\phi \left( DState\_Last\left( i \right),\text{ }\!\!\Delta\!\!\text{ }{{T}_{i+1}},{{T}_{Scan}} \right)/{{2}^{\left[ \text{ }\!\!\Delta\!\!\text{ }{{T}_{i+1}}/{{T}_{Scan}} \right]}},Detect\_State\left( i+1 \right)=UnFind\_State \\ \end{array} \right. \\ \end{matrix}$
3)汇报函数R(s,a)
R(s,a)表示在状态s下,执行行动a所获得的效益。记状态s下,突防编队执行行动a后,将处于状态s'。可将回报函数R(s,a)定义如式(6)所示。式中,r、c为常数,分别表示向突防目标位置移动、远离的奖励和惩罚。
$R\left( s,a \right)=\left\{ \begin{array}{*{35}{l}} r,dis\left( s',{{s}_{tgt}} \right) < dis\left( s,{{s}_{tgt}} \right)且dis\left( s,{{s}_{tgt}} \right)-dis(s',{s_{tgt}}) > \Delta dis/2 \\ c,dis\left( s',{{s}_{tgt}} \right)>dis\left( s,{{s}_{tgt}} \right)且dis\left( s',{{s}_{tgt}} \right)-dis\left( s,{{s}_{tgt}} \right)>\text{ }\!\!\Delta\!\!\text{ }dis/2 \\ 0,其他 \\ \end{array} \right.$
式中,dis(x,y)表示状态x、y之间的距离;stgt表示目标状态;Δdis表示相邻两个栅格中心之间的距离,即划分栅格的尺度。
2.2 基于启发式搜索的航路规划求解
采用启发式搜索方法对突防编队航路规划模型进行求解,主要是涉及对搜索行动空间进行消解、定义启发式搜索目标、搜索算法设计等三个方面。
1)搜索行动空间消解
针对突防编队的突防行动集A,在考虑突防编队上一位置基础上,排除上一位置一步可达的位置后,得到平台的实际机动动作,如图4 所示。
2)启发式搜索目标
航路规划本质上是,给定起始点和终止点,寻求安全、时间/距离较短、适合飞机机动性能的路径点序列{Loc_No(0),Loc_No(1),…,Loc_No(n)}。因此,从时间、距离、安全的角度,定义编队突防规划启发式搜索代价函数为式(7)。其中,V(DState_Last(i))表示第i步处于Loc_No(i)位置且雷达网探测状态为DState_Last(i)的代价。该代价可以通过定义最终突防目标状态价值后,利用Bellman方程等[11]进行反馈计算,如式(8)。其中,γ为折扣因子,P(DState_Last(i+1))为处于DState_Last(i+1)的概率。
$\text { Cost }=(1-\alpha) c \sum_{i} t(i)+\alpha \sum_{i} \sum_{\text {DState_Last }(i)} t(i) p(\text { DState_Last }(i)) V(\text { DState_Last }(i))$
$V(\text { DState_Last }(i))=\max \left(R(s(i), a)+\gamma \sum_{D \text { State_Last }(i+1)} \\ V(\text { DState_Last }(i+1)) P(\text { DState_Last }(i+1))\right)$
3 突防航路规划仿真
本文设置利用1个战斗机编队对10部预警雷达组成的雷达网进行突防的仿真场景,如表1 所示。突防战机性能参数和突防目标设置情况,如表2 、3所示。
表1 预警雷达网坐标和参数设置 |
| 编号 | 大地坐标 | 直角坐标(起始点为原点) | 威力范围/ km | 扫描周期/ s | ||||
|---|---|---|---|---|---|---|---|---|
| 经度/(°) | 纬度/(°) | 高度/m | 东/m | 北/m | 天/m | |||
| 1 | 106.2 | 36.82 | 100 | 160.0 | -54.77 | 7.23 | 200 | 10 |
| 2 | 104.63 | 36.62 | 300 | 25.23 | -99.39 | 2.35 | 150 | 12 |
| 3 | 103.72 | 36.27 | 278 | -49.52 | -149.97 | -2.01 | 150 | 10 |
| 4 | 105.55 | 35.58 | 100 | 125.29 | -200.18 | 5.48 | 200 | 6 |
| 5 | 104.25 | 34.84 | 123 | 21.44 | -299.79 | -1.21 | 150 | 10 |
| 6 | 105.96 | 34.61 | 50 | 180.02 | -300.09 | 4.59 | 180 | 10 |
| 7 | 105.00 | 33.65 | 100 | 110.16 | -419.48 | -2.36 | 200 | 10 |
| 8 | 103.85 | 33.90 | 220 | 0.74 | -408.28 | -6.56 | 200 | 10 |
| 9 | 107.0 | 35.0 | 320 | 266.2 | -241.0 | 8.09 | 150 | 10 |
| 10 | 106.7 | 34.0 | 300 | 258.7 | -355.06 | 4.39 | 150 | 10 |
表2 平台机动性能参数设置 |
| 经济速度/ m·s-1 | 最大爬升速度/ m·s-1 | 最大下降速度/ m·s-1 | 最大转弯速度/ m·s-1 | 最大飞行高度/ m | 最小飞行高度/ m | |
|---|---|---|---|---|---|---|
| 取值 | 1.5*340 | 100 | 150 | 200 | 20 000 | 1 000 |
表3 编队突防目标设置 |
| 突防起始位置 | 终止位置 | 抵近至与终点距离/km | ||||
|---|---|---|---|---|---|---|
| 经度/(°) | 纬度/(°) | 高度/m | 经度/(°) | 纬度/(°) | 高度/m | |
| 104.0 | 38 | 8000 | 106.52 | 33.54 | 10000 | 80 |
设干扰机功率为200 W,干扰机在多个目标之间均分干扰功率,基于传统A*方法[2]得到的编队突防航路规划结果,如图5 所示。设置雷达的虚警概率为10-6,基于本文方法的规划结果如图6 所示。其中,绿色、黄色分别表示处于未被雷达网探测、处于被航迹跟踪的可能性最大,即可以对战斗机编队飞行员进行威胁警示。图5 主要体现了依据雷达受干扰后威力范围变化的规划结果,因而规划结果是处于各部雷达烧穿距离以外,且“绕着雷达走”。图6 则体现了依据雷达网处理逻辑的规划结果,该结果并非仅依据雷达网信噪比/信干比,因而能体现编队处于不同被探测状态的概率。此外,需说明的是,当干扰功率不能对雷达进行完全压制时,干扰后各雷达之间不存在“缝隙”,传统A*方法不能进行规划。图7 给出了每个航路段上,突防编队处于各种探测状态的概率估计值。
4 结束语
本文针对战机编队对预警雷达网的空中突防应用背景,在考虑雷达组网处理逻辑基础上,提出了一种基于马尔科夫决策的航路规划方法。该方法综合考虑了单部雷达点迹生成、航迹跟踪、航迹丢失以及组网航迹跟踪、航迹丢失等处理准则,建立了突防状态概率转移模型以及突防航路优化目标。仿真结果表明,该方法在降低突防兵力的被探测跟踪概率的同时,能给突防编队飞行员进行威胁警示,辅助空中突防作战行动。