中国科技核心期刊      中国指挥与控制学会会刊     军事装备类重点期刊
Modeling & Simulation & Evaluation

Helicopter reconnaissance indicators sensitivity analysis based on machine learning

  • JIANG Xinyi ,
  • LOU Benchao ,
  • ZENG Weiping
Expand
  • China Helicopter Research and Development Institute, Jingdezhen 333001, China

Received date: 2024-05-20

  Revised date: 2024-06-13

  Online published: 2024-11-26

Abstract

In order to meet the requirements of sensitivity analysis in the design of helicopter reconnaissance indicators, based on the logistic regression method in machine learning, the reconnaissance capability index system of helicopter system contribution evaluation is established. Firstly, the basic steps of sensitivity analysis of helicopter reconnaissance indicators based on machine learning are introduced. Secondly, sensitivity analysis of helicopter reconnaissance mission effectiveness is achieved through task planning, constructing indicator systems, collecting relevant data, evaluating effectiveness, and using machine learning algorithms for modeling and training. This study can provide reference for the sensitivity analysis of helicopter task efficiency and provide more scientific and reasonable support for the development and application of helicopters in the system.

Cite this article

JIANG Xinyi , LOU Benchao , ZENG Weiping . Helicopter reconnaissance indicators sensitivity analysis based on machine learning[J]. Command Control and Simulation, 2024 , 46(6) : 131 -136 . DOI: 10.3969/j.issn.1673-3819.2024.06.021

作为典型的高技术复杂设备,在直升机设计过程中,各项效能指标的确定将直接影响任务结果的优劣,因此,选择恰当的效能指标取值,最大程度发挥直升机的任务效能,是直升机设计的重要环节[1-2]。直升机的效能是指在低空域上完成任务的能力和效果[3],从OODA环的角度出发,按照观察、判断、决策和行动的完整环路,直升机包含侦察、指挥、攻击、运输、救护等多种任务效能[4]
敏感性分析可以描述主体在不同情况下的性能变化和对外界因素的敏感程度,体现在外部环境、操作条件或设计参数等变化下所表现出的稳定性和可靠性程度。因此,利用敏感性分析,可以直观描述各指标对效能的影响程度,从而确定指标的最佳取值[5]
现在常用的敏感性分析方法包括3种:一是元素贡献率法,通过逐个改变输入变量的值来观察输出结果的变化情况[6];二是Sobol指数法,利用线性回归法,在元素贡献率的基础上进一步考虑输入变量之间的相互作用[7];三是Morris法,随机扰动输入变量的值来计算变量的平均效应和评估变量的敏感性[8]。这些方法在进行敏感性分析时具有各自的优点和适用范围。例如,Morris法克服了方差计算量大的问题,其局限在于只考虑因素之间的相互作用,而不能说明哪一个更重要[9]。机器学习作为人工智能的分支,具有强大的数据驱动能力,可以从大量的数据中学习并发现规律,为敏感性分析提供新的思路和方法[10]
目前,在评估直升机效能时,缺少针对直升机侦察效能的敏感性分析方法,并且,直升机效能指标复杂,各指标之间相互影响,依靠传统的分析方法既不能客观反映直升机的指标对任务效能的影响,也会在计算过程中带来巨大的工作量。因此,本文提出一种基于机器学习的直升机侦察效能指标敏感性分析方法,针对直升机的侦察任务效能,设定合理的任务指标,通过基于机器学习的直升机侦察效能指标敏感性分析步骤和基于L2正则化逻辑斯蒂回归的敏感性分析算法,对直升机的侦察任务指标敏感性进行分析,最后在具体任务场景下,证明本方法的可行性。

1 方法框架

基于机器学习的直升机侦察效能指标敏感性分析方法分为四个步骤:1)任务想定;2)指标体系构建;3)效能评估;4)敏感性分析,如图1所示。
图1 方法框架

Fig.1 Method framework

在进行具体的敏感性分析前,需要预设任务情境以更好地理解任务要求和评估任务效果。任务想定是指在进行某项任务前制定的计划或假设,用于预测观测物可能的行动和反应,并为自己制定相应的应对措施。例如,制定任务环境、任务时间、任务流程等[11]
在构建场景后,需进行指标体系的构建,即不确定参数或试验因子的选取。在评估直升机任务效能过程中,根据任务场景和方案,采用一定的方法,去掉影响较小的因素,保留影响较大的因素,以减少计算量,并可以较好地逼近效能评估结果。直升机在侦察任务过程中不确定因素较多,例如速度、高度、观测距离等。
合理的指标体系构建完成后,需要进行效能评估,对系统、算法或模型的性能表现进行量化,根据任务想定给出的直升机侦察任务仿真的输入条件,选取设计方法,在建立直升机侦察任务仿真模型的基础上,运行仿真系统,得到仿真数据,按照一定的统计分析方法处理数据,得到逼近结果。
最后,利用效能评估得到的仿真结果进行敏感性分析,在决策或模型中对输入变量进行系统评估,以了解其对输出结果的影响程度。典型的方法有Sobol指数法、Morris方法、主成分分析法、机器学习方法[12]等。本文采用机器学习中的逻辑斯蒂回归方法进行指标对效能的敏感性分析,本方法在处理大规模数据集时计算速度较快,具有较严格的推理和较强的可解释性。

2 算法与模型

基于任务想定、指标体系、效能评估和敏感性分析的整体方法框架,本文进行实验算法构建。在计算层面,实验包含基于探索性分析的效能评估和基于逻辑斯蒂回归的敏感性分析。

2.1 实验整体设计

为解决效能评估中存在的计算成本高、计算时间长等问题,本文提出了基于机器学习的指标体系敏感性分析算法。在进行直升机侦察效能指标敏感性分析时,需要按照以下步骤进行计算分析。
步骤1:想定侦察任务场景。
步骤2:构建指标体系,选取试验因子和效能指标。
步骤3:给定试验次数,通过效能模型进行试验仿真,基于先验知识进行仿真数据置信度评估。
步骤4:采样设计,形成输入和输出数据集,对数据进行归一化预处理。
步骤5:根据数据集的规模和特征选取机器学习的方法,对数据集进行基于该方法的敏感性分析,并筛选敏感指标。
步骤6:根据敏感指标找到对应的影响因子,对后续体系优化提供支持。
其中,步骤1、2、3属于直升机侦察效能评估分析,步骤4、5、6属于敏感性分析。本文采用的效能评估分析方法为探索性分析,敏感性分析方法为机器学习中的基于L2的逻辑斯蒂回归分析方法。
整体问题模型的回归函数如下:
R=γ0+γ1p1+…+γnpn+ε
其中,R为直升机侦察效能,pi(i=1,2,…,n)为影响直升机侦察效能的指标因子,γi(i=0,1,…,n)表示各个因子的敏感性值,ε为误差。在获取大量实验数据[p1,p2,…,pn]和对应的R值后,通过机器学习方法得到的[γ1,γ2,…,γn]即为对应的指标敏感性值。

2.2 基于探索性分析的效能评估

体系效能是检验体系建设水平高低的重要标准,体系敏感性需要在效能评估的基础上进行分析。探索性分析通过对系统宏观整体的认识,全面考虑不确定性条件对模型的影响,进而给出合理的方案或各种方案在不同不确定条件下所能达到的效果。基于探索性分析的效能评估分为以下步骤。
步骤1:想定任务场景,制定直升机的任务方案,包括任务时间、任务地点、任务流程等,给出直升机的基本参数。
步骤2:选取试验因子和效能指标。在直升机影响因子中,根据步骤1选取的任务场景和方案,选取影响较大的因素,减少因子数量,逼近效能评估结果。针对任务选取直升机效能指标,设计效能评估模型。
步骤3:试验仿真,数据统计。随机生成影响因子的组合数据集,将该数据集输入任务效能评估模型,进行仿真试验,得到效能评估结果输出集。在本文实验中,选取直升机对地面观测物的侦察能力作为评估指标。直升机编队对观测物的识别效果为
Nt= i=1nNsi
其中,Nt表示直升机编队的识别数量,Ns表示单架直升机的识别数量,n表示直升机数量。
为提高计算效率,将直升机对观测物的侦察分为三个流程:扫描、识别和校准,输入参数选择最大探测距离Rmax、观测距离Rob、反射面积Rcs、识别误差概率Pid、校准数目n,根据效能模型返回是否成功识别观测物。
在最大探测距离内,针对不同的观测距离,识别的概率P

P=1-exp(-K'2Rob2Rmax2-Rob2Rmax2+

1Robarctan Rmax2-Rob2Rmax2)
式中,K'与反射面积Rcs相关。
K'= 2K·RcsW
其中,K为修正系数,按照经验取值40,W为传感器搜索路径宽度,本文取4 m。
对地面观测物的校准概率PG
PG= (1-1ω)m
式中,m表示校准数,ω表示直升机对观测物识别所需校准数,m计算如下:
m=NG·(1-exp(- r22rmax2))
rmaxθ·R
其中,NG为总校准数量,r为观测物被识别等效面积的圆半径,rmax为误差半径,Δθ表示误差角,R为校准点与观测物的距离。
基于上述解析式在仿真环境中进行试验,得到大量样本数据后可对指标进行敏感性分析。

2.3 基于逻辑斯蒂回归的敏感性分析

在对直升机的侦察任务进行效能评估后,结合机器学习回归方法,提出基于L2正则化逻辑斯蒂回归的直升机侦察任务效能的敏感性分析方法。
假设给定m组直升机仿真数据,即m个训练样本S={(x(i),y(i))}i=1m,服从分布D;x(i)∈[0,1]nn维向量,表示影响任务效能的因素所对应的指标值;y(i)∈{0,1}是任务效能指标,即类别标签。为了统一偏置项,设定xni=1,即x(i)的第n维值设定为1。逻辑斯蒂回归模型方程为[13]:
p(y=1|x;θ)= 11+exp(-θTx)
p(y=0|x;θ)= exp(-θTx)1+exp(-θTx)
式中,θ∈R为权值向量,θj(j=1,2,…,n)反映了输入向量第j维对于模型输出的敏感性。
为了防止优化过程中的过拟合,加入L2正则项[14]。对于加入L2正则项的逻辑斯蒂回归模型可统一描述为针对参数θ优化下式的问题:
argmaxθi=1mlog p(y(i)|x(i);θ)-αR(θ)
R(θ)=‖θ‖2= j=1n(θj)2
式中,R(θ)为L2范数的正则项,以惩罚权值过大的项。参数θ用以优化函数中拟合效果与正则参数惩罚项之间的关系,则式(10)为L2正则化逻辑斯蒂回归模型,式(10)和式(11)的优化问题可以转换为
maxθi=1mlog p(y(i)|x(i);θ) s.t. R(θ)≤β
在式(9)中,选定α后,对于式(9)的每一个解θ,都会在式(12)中对应存在一个β,使得式(12)优化问题的解也为θ。对于式(12)优化问题,本实验采用极大似然估计方法来求解模型参数,并将误差函数定义为负对数似然函数:
εl(θ)=E(x,y)~D[-log p(y|x;θ)]
式中,(x,y)~D表示测试样本(x,y)服从分布D。当给定数据集S后,定义对数形式的经验损失函数为
εSl(θ)= 1mi=1m-log p(y(i)|x(i);θ)
在本实验中,由于识别任务为0/1分类的错分问题,因此将式(14)变为
εSl(θ)=E(x,y)~D[t(11+e-θTx)≠y]
式中,t为门限函数,即当z≥0.5时,t(z)=1,当z<0.5时,t(z)=0。
利用L2正则化逻辑斯蒂回归模型求解直升机侦察任务效能指标敏感性的算法如下:
算法1 基于L2正则化逻辑斯蒂回归的敏感性分析算法
步骤1:将数据集S分为训练集S1(包含前(1-γ)m个样本)及交叉验证集S2(包含剩下的γm个样本),进行归一化处理。
步骤2:设定β=1,2,…,C,对于指定的β,在S1上求解式(12)最优化问题,获得参数向量θβ
步骤3:从步骤2获得的所有θβ中选择θ=argmini{1,2,,C}εS2l(θi)。
步骤4:通过步骤2和步骤3的迭代交叉验证确定参数β,求得的向量θ为直升机效能指标,即x向量的敏感性。
在完成蒙特卡洛仿真试验得到数据样本并均匀采样后,基于上述算法步骤,可进行直升机侦察效能的敏感性分析。

3 实验与结果

3.1 实验参数和数据生成

本文以直升机对地面观测物的识别概率为侦察效能指标,选取5个输入因子,分析这5个因素对观测物识别概率的敏感性。如表1所示
表1 直升机对观测物识别概率输入因子

Tab.1 Input factors for helicopter identification probability of observed objects

指标 取值范围
最小值 最大值
最大探测距离Rmax/km 10 30
观测距离Rob/km 2 10
反射面积Rcs/km2 10 20
校准数目n 10 320
识别误差概率Pid 0.5 0.95
本研究随机选取输入因子取值范围内的数值,生成5000个随机数组,将随机数组代入仿真环境中,通过快速仿真得到每一个试验数据的侦察结果,即输入为随机数组、输出为0或1的数据集,其中,0表示未能成功侦察到目标样本,1表示成功侦察到目标样本,并对输入数据集进行归一化预处理。
图2显示了对得到的归一化数据集进行均匀采样后的可视化视图。绿色表示正样本,即成功识别观测物的样本,输出标签为1;红色表示负样本,即未成功识别观测物的样本,输出标签为0。图2展示了样本的二维正负样本数据分布,图3展示了样本的三维立体数据分布。
图2 数据集均匀采样后正负样本分布

Fig.2 Distribution of positive and negative samples after uniform sampling of the dataset

图3 数据集均匀采样后总体样本分布

Fig.3 Sample distribution after uniform sampling of the dataset

3.2 评估结果置信度分析

本文采用基于信息熵的JS散度进行置信度评估。JS散度为KL散度的对称归一化形式,可以衡量两个概率分布之间的相似性,输出为[0,1],越接近0,说明两个分布之间差异越小[15]。假设基于先验知识的数据集为S={(x(i),y(i))}i=1m,设P(x)为基于先验知识的随机变量x上的概率分布,即输出y的分布,Q(x)为基于仿真试验的x上的概率分布,则分布PQ之间的KL散度为
KL(P‖Q)= i=1mP(x(i))log P(xi)Q(xi)
但KL散度具有非对称性,即
KL(PQ)≠KL(QP)
且KL散度输出为[0,+¥],当两个分布差异较大时,不能很好地反映分布之间的差异程度,因此在KL散度基础上构建JS散度,在[0,1]区间内判断先验知识和仿真模型的差异性,如下所示:

JS(PQ)=12KLP(x)‖P(x)+Q(x)2+

12KLQ(x)‖ P(x)+Q(x)2
将先验数据的输入x代入直升机侦察仿真模型Q,得到Q(x),经计算得到先验数据与本文仿真模型的JS散度值为0.160,和0接近,表示先验数据分布和本文仿真模型数据分布相近,可以进行下一步敏感性分析。

3.3 实验结果与分析

基于算法1对得到的实验数据集进行敏感性分析,选取迭代次数为30,得到的损失函数曲线如图4所示。从图4中可看出,在经过10次迭代后实验的损失函数值逐渐趋于稳定,可以验证算法的高效性。测试数据集的最终准确率为0.92,可以验证算法的有效性。
图4 逻辑斯蒂回归损失函数曲线

Fig.4 The loss function curve of logistic regression

通过对采集到的样本进行30次迭代之后,得到的θ为[0.412 5, -1.650 2, 0.526 4, 1.437 0, 1.895 5],该向量即为选取的5个参数对识别概率的敏感度。其中,观测距离与识别概率呈负相关,即观测距离越远,识别概率越低。基于图5实验结果显示的直升机对观测物侦察效能的敏感性分析的绝对值,参数敏感性排序为识别误差概率Pid>观测距离Rob>校准数目n>反射面积Rcs>最大探测距离Rmax。因此,在设计过程中,可以首先考虑通过一定的技术手段提升对观测物的识别误差概率,之后考虑校准数目以保证直升机的侦察效能。
图5 直升机对观测物侦察敏感性分析结果

Fig.5 Sensitivity analysis results for helicopter reconnaissance of observation objects

结果表明,本文所提出的基于机器学习的敏感性分析框架能够有效地预测直升机侦察效能的敏感性,具有较高的准确率和可靠性,对后续工作中指标优化以及体系效能分析具有借鉴意义。

4 结束语

直升机效能指标敏感性分析是直升机型号研制和效能评估的重要一环,针对目前缺乏有效分析直升机侦察效能指标敏感性方法的问题,本文提出了一种基于机器学习的直升机侦察效能指标敏感性分析方法。该方法包含基于探索性分析的效能评估方法和基于L2正则化逻辑斯蒂回归的敏感性分析算法,以直升机对地面观测物的识别概率为侦察效能指标,通过构建指标体系、试验仿真收集数据、置信度评估、机器学习敏感性分析等步骤,实现了对直升机侦察效能敏感性的评估。实验结果表明,该方法框架在预测和评估直升机对观测物识别概率的侦察效能指标敏感性方面具有较好的性能。未来的工作可以在机器学习的算法模型上继续优化,从实验数据出发,利用深度神经网络生成代理模型,进一步扩大数据规模,以提高精度。
[1]
罗鹏程, 周经纶, 金光. 武器装备体系作战效能与作战能力评估方法[M]. 北京: 国防工业出版社, 2014.

LUO P C, ZHOU J L, JIN G. Evaluation method for combat effectiveness and combat capability of weapon and equipment systems[M]. Beijing: National Defense Industry Press, 2014.

[2]
LI X B, TAN Y J, YANG K W. Effectiveness evaluation method for armored weapons SOS based on exploratory analysis[J]. Systems Engineering and Electronics. 2007, 29(9):1496-1499.

[3]
李国知, 吕少杰. 直升机作战效能评估技术应用与研究进展[J]. 航空科学技术, 2021, 32(1):70-77.

LI G Z, LYU S J. Application and research progress on operational effectiveness evaluation technology for helicopter[J]. Aeronautical Science & Technology, 2021, 32(1): 70-77.

[4]
杨玉腾, 李治权, 冷俊杰. 基于任务需求的高速旋翼机多方案对比研究[J]. 航空科学技术, 2023, 34(5):7-13.

YANG Y T, LI Z Q, LENG J J. Comparative study of multiple schemes for high speed rotorcraft based on task requirements[J]. Aeronautical Science & Technology, 2023, 34(5): 7-13.

[5]
罗鹏程, 傅攀峰. 武器装备敏感性分析方法综述[J]. 计算机工程与设计, 2008, 29(21):5546-5 549.

LUO P C, FU P F. Review on weapons and equipment sensitivity analysis methods[J]. Computer Engineering and Design, 2008, 29(21):5546-5 549.

[6]
EMANUELE B, ELMAR P. Sensitivity analysis: a review of recent advances[J]. European Journal of Operational Research, 2015. 248(3): 869-887.

[7]
尹文进, 张静远, 饶喆, 冯炜. 基于Sobol指数法作战能力全局敏感性分析方法[J]. 船电技术, 2015, 12(35):19-21,25.

YIN W J, ZHANG J Y, RAO Z, FENG W. Global sensitivity analysis method based on sobol index method[J]. Marine Electric and Electronic Technology, 2015, 12(35): 19-21, 25.

[8]
文泽军, 孟祥恒, 肖钊, 张帆. 基于数论网格法与Morris的翼型气动特性敏感性分析[J]. 工程设计学报, 2022, 29(4):438-445.

DOI

WEN Z J, MENG X H, XIAO Z, ZHANG F. Sensitivity analysis of airfoil aerodynamic characteristics based on NT-net method and Morris method[J]. Chinese Journal of Engineering Design, 2022, 29(4):438-445.

[9]
FREY H C, PATIL S R. Identification and review of sensitivity analysis methods[J]. Risk Analysis, 2010, 22(3):553-578.

[10]
ABDULNASER A H, DEEPALI C, ALI A A, GAWALI B W. Big data analytic using machine learning algorithms for intrusion detection system: a survey[J]. Computer Science, Engineering, 2020, 10(3):6063-6 079.

[11]
李耀宇, 金帅, 马满好, 任伟. 无人空战指控建模仿真方法研究[J]. 指挥控制与仿真, 2024, 46(1): 85-92.

DOI

LI Y Y, JIN S, MA M H, REN W. Unmanned air combat oriented command and control simulation evaluation research[J]. Command Control and Simulation, 2024, 46(1): 85-92.

[12]
吴庶宸, 戚宗锋, 李建勋. 基于深度学习的智能全局灵敏度分析[J]. 上海交通大学学报, 2022, 56(7): 840-849.

DOI

WU S C, QI Z F, LI J X. Intelligent global sensitivity analysis based on deep learning[J]. Journal of Shanghai Jiao Tong University, 2022, 56(7): 840-849.

[13]
KOH K, KIM S, BOYD S. An Interior-point Method for Large-scale L1-regularized Logisitic Regression[J]. Journal of Machine Learning Research, 2007, 1(8):1519-1 555.

[14]
周靖洋, 曾新华. 基于正则化约束元学习优化器的深度学习模型[J]. 计算机应用与软件, 2022, 39(10):266-273.

ZHOU J Y, ZENG X H. Deep learning model based on regularization constrained meta learning optimizers[J]. Computer Applications and Software, 2022, 39(10): 266-273.

[15]
HE L T, YUAN H R. Improved cross-entropy research based on JS divergence: Iris flower data as an example[C]. IEEE International Conference on Advances in Electrical Engineering and Computer Applications, 2022.

Outlines

/