中国科技核心期刊      中国指挥与控制学会会刊     军事装备类重点期刊
工程实践

基于数据增强的仿真模型验证方法

  • 聂凯 ,
  • 栾瑞鹏
展开
  • 中国人民解放军92124部队, 辽宁 大连 116023

聂 凯(1983-),男,河南商丘人,博士,工程师,研究方向为数据处理与深度学习。

栾瑞鹏(1981-),男,硕士,工程师。

Copy editor: 许韦韦

收稿日期: 2019-01-15

  修回日期: 2019-02-22

  网络出版日期: 2022-05-16

Validation Method of Simulation Models Based on Data Augmentation

  • NIE Kai ,
  • LUAN Rui-peng
Expand
  • 92124 Unit of PLA, Dalian 116023, China

Received date: 2019-01-15

  Revised date: 2019-02-22

  Online published: 2022-05-16

摘要

检验飞行数据与仿真数据的一致性,是目前飞行器仿真模型验证过程中最常用、最重要的方法。针对飞行数据的小样本特性导致仿真模型验证中决策风险增加的问题,提出基于数据增强的仿真模型验证方法。在飞行数据预处理的基础上,采用离散序列生成式对抗网络对飞行数据进行增强,扩大飞行数据样本。最后采用假设检验方法中的F检验和静态数据脱靶量,采用灰色关联分析方法和动态数据俯仰姿态角分别对仿真模型进行了验证。结果表明,无论静态还是动态,飞行数据增强后都有助于飞行数据与仿真数据的一致性检验,为仿真模型验证及其可信度评估提供了一种新方法。

本文引用格式

聂凯 , 栾瑞鹏 . 基于数据增强的仿真模型验证方法[J]. 指挥控制与仿真, 2019 , 41(3) : 92 -96 . DOI: 10.3969/j.issn.1673-3819.2019.03.020

Abstract

Consistency validation between flight test data and simulation data is a very important and popular method in vehicle simulation models validation recently. Aiming at the problem of enhancing decision risk because of the small samples of flight test data, a validation method of simulation models based on data augmentation is proposed. The flight test data is pre-processing firstly. Then it is augmented with the sequence Generative Adversarial Nets and the flight test data sample becomes larger. Finally, the simulation models validation are done separately using the F test of hypothesis test and statistical miss distance data, the grey relational analysis method and dynamic pitching attitude angle data. The validation results show that the data augmentation can help the consistency validation between flight test data and simulation data no matter statistical or dynamic and provide a new method for validating the simulation models and its credibility.

1 仿真模型VV&A

随着仿真技术的迅速发展,仿真试验已逐渐成为飞行器定型试验中不可缺少的试验手段,与外场试验有机结合,推动着飞行器试验与鉴定技术的发展。仿真试验最重要的是仿真系统的可信性,仿真系统的校核、验证与确认(Verification,Validation and Accreditation,VV&A)日益成为人们研究的热点[1]。通过静态、动态数据验证飞行数据与仿真数据的一致性,是目前飞行器仿真模型验证过程中最常用、最重要的方法[2]。通过验证飞行数据与仿真数据的一致性,进而确定仿真系统的可信度对仿真系统来说非常重要。
静态数据的验证方法一般包括图示法、统计分析法、假设检验法等,动态数据的验证方法分为相似比较方法(误差分析法、灰色关联分析法、相关系数法)、特征比较方法(时域分析、频域分析)等[3],已成功应用于各种仿真试验模型验证。受飞行器实际试验成本限制,实际飞行数据呈现小样本特性,而仿真结果样本量不受限制,会造成验前大容量仿真信息“淹没”飞行小样本试验信息问题[4]。针对飞行数据小样本问题,人们通过研究提出了很多解决方法,如贝叶斯估计、Bootstrap方法[5]、主从一体化检验[6]等,但依然会增加决策风险[7]
近年来,以深度学习为代表的人工智能技术迅速发展,人们研究了多种数据增强方法来满足其训练时对大样本数据量的需求[8]。当飞行器实际飞行数据小样本无法满足仿真模型验证需求时,可以通过采用生成式对抗网络(Generative Adversarial Nets,GAN)等深度学习新技术生成逼真数据,扩大数据子样[9]。GAN通过非线性变换和迭代对抗训练而具备拟合高度复杂分布的能力,因此增强后的数据与原飞行数据在相容性上保持高度一致。文献[10]提出了一种离散序列生成式对抗网络(Sequence Generative Adversarial Nets,SeqGAN),在语音、诗词和音乐生成方面超过了传统方法,也适合离散的实际飞行数据。
针对仿真模型验证中飞行数据小样本问题,采用离散序列生成式对抗网络对飞行数据进行增强,并对增强后飞行数据和仿真数据的一致性进行验证,最后选取静态数据脱靶量和动态数据俯仰姿态角对某飞行器半实物制导仿真系统的相关仿真模型进行验证测试。

2 仿真模型验证方法

2.1 仿真模型验证过程

仿真模型验证过程分为飞行数据预处理、飞行数据增强、仿真模型验证方法、实例验证测试等,具体过程如图1所示。
图1 仿真模型验证过程
仿真模型验证具体步骤为:
1)飞行数据预处理。通过时间配准、野值识别与修复、平滑与去噪、重采样等保持与仿真数据的一致性。
2)飞行数据增强。采用离散序列生成式对抗网络SeqGAN对小样本飞行数据进行增强。
3)仿真模型验证方法。对于脱靶量等静态数据采用假设检验方法进行验证,对于位置、速度、姿态角等动态数据采用灰色关联分析方法进行验证。
4)实例验证测试。选取飞行器制导仿真系统中的脱靶量、俯仰姿态角等实际飞行数据进行验证测试。

2.2 静态数据验证方法

假设检验方法是静态数据验证中最常用的一类方法,当数据为小样本时,通常使用秩和检验、游程检验等非参数检验方法进行检验。文献[11]采用秩和检验对样本数为1的极端情况进行了验证,得出了结果,但决策风险高。当实际飞行数据被增强后,数据样本扩
大了,有可能满足正态分布,就可以使用F检验方法,即
令飞行数据和仿真数据的变量为XY,设其分布函数为F xF y,下面判断公式(1)是否成立:
H0:F x=F y
当增强后数据满足正态分布时,采用F检验验证H0是否成立,F检验的步骤和公式见文献[12]。

2.3 动态数据验证方法

近年来,灰色关联分析方法、时域内分析法、频域内分析法等动态数据验证方法获得迅速发展[13],灰色关联分析方法在序列一致性分析方面具有明显优势,因此本文选用灰色关联分析方法对动态数据进行验证,具体步骤为[14]:
1)若动态数据较长,则根据数据的特点和模型验证的需要对动态数据进行分段,段数为N;
2) 对于每段数据,通过灰色关联度模型计算灰色关联度γk,基于专家经验为每个灰色关联度确定权重ωk;
3)基于公式γ= k = 1 Nωkγk求解综合灰色关联度;
4)根据灰色关联度与仿真系统可信度的映射关系,评估系统的可信度。

3 基于离散序列生成式对抗网络的数据增强

无论静态还是动态飞行数据,都是离散的。因此,采用GAN的变型——离散序列生成式对抗网络(Sequence GAN,SeqGAN)对飞行数据进行增强。SeqGAN的生成器使用循环神经网络(Recurrent Neural Network,RNN),判别器使用卷积神经网络(Convolutional Neural Networks,CNN),并引入强化学习的奖励和蒙特卡洛搜索。判别器的输出作为强化学习的奖励,采用奖励和梯度策略对生成器进行更新,最后使用蒙特卡洛搜索评估中间状态。SeqGAN很好地结合了GAN和强化学习,其计算流程和结构如图2所示。
图2 SeqGAN的计算流程和结构
离散序列生成式对抗网络算法流程如表1所示。
表1 离散序列生成式对抗网络算法流程
算法:SeqGAN
需求:生成器策略Gθ; 滚轮策略Gβ;
判别器Dϕ;离散序列数据集S= X 1 : T
1:使用随机权重θ,ϕ初始化GθDϕ
2:在数据集S上使用MLE对Gθ进行预训练
3:βθ
4:使用Gθ产生负采样训练Dϕ
5:通过最小化交叉熵预训练Dϕ
6:repeat
7: for g-steps do
8: 生成一个序列Y1:T= y 1 , . . . , y T~Gθ
9: for t in 1∶T do
10: 用公式(2)计算Q a = y t ; s = Y 1 : t - 1
11: end for
12: 通过策略梯度公式(3)更新生成器参数
13: end for
14: for d-steps do
15: 用现在的Gθ来生成负实例, 并与原正实例S联合
16: 用公式(4)在周期k内训练判别器Dϕ
17: end for
18: βθ
19:直到SeqGAN收敛
算法中用到的公式如下:
Q D ϕ G θ=(s=Y1:t-1,a=yi)= 1 N n = 1 N D ϕ ( Y 1 : T n ) , Y 1 : T n M C G β ( Y 1 : t ; N ) f o r t < T D ϕ ( Y 1 : T ) f o r t = T
θ←θ+αhθJ(θ)
m i n ϕ Ε Y ~ p d a t a l o g D ϕ Y - Ε Y ~ G θ l o g 1 - D ϕ Y
这里我们把SeqGAN的生成模型当作一种非参数的产生式建模方法,它可以逐步逼近任何概率分布,如果判别器训练良好,生成器可以生成与真实样本几乎相同的分布,因此SeqGAN是渐进一致的[15]。而其他生成模型如变分自动编码器会依赖预先假设的近似分布,而对近似分布的选择需要一定的经验信息,同时它还受变分方法本身的限制,生成的概率分布会存在偏差。

4 验证实例

4.1 飞行数据增强验证

在我们搭建的深度学习系统中,离散序列生成对抗网络中的RNN与CNN模型的训练采用TensorFlow实现。RNN生成模型包含2层隐含层,每层包含200个长短记忆网络,其训练时采用了丢弃正则化方法,在预训练与对抗训练时初始丢弃率均为0.3。CNN判别模型分别采用窗长为1,2,3,4,5的卷积核进行卷积操作,每个窗长分别使用40个不同的卷积核。此外,判别模型包含2层通道层,每层200节点。输出层包含1个节点,表示输入序列与真实数据相似程度。在训练过程中,也采取丢弃正则化技术防止模型过拟合,丢弃率为0.3。同时在输出层采用L2范数正则化技术,正则项系数为0.15。
生成模型和判别模型的训练采用基于Adam算法的批量(Mini-batch)随机梯度下降更新参数,输入序列长度为50,批量数目为分别为5000和400。生成模型的初始学习率为0.01,衰减速率为0.95,判别模型的学习率为 0.000 1。选择静态数据脱靶量和动态数据俯仰姿态角进行增强性能验证。某型号飞行器脱靶量实测数据只有9个,样本量小,因此我们采用迁移学习的方法[16],即将某舰炮5000发的脱靶量数据进行学习,然后结合某飞行器脱靶量分布实际进行迁移,发现学习效果较好。图3为某飞行器的9次脱靶量结果,其增强后分布如图4所示。
图3 某飞行器脱靶量结果
图4 某飞行器脱靶量增强后结果
我们对增强后的脱靶量数据进行统计分析,脱靶量数据已经达到5000个,其服从均值为6,方差为1的正态分布,达到了数据增强目的。
图5为某飞行器一次飞行俯仰姿态角数据,其增强后结果如图6所示。
图5 某飞行器一次飞行俯仰姿态角数据
图6 某飞行器俯仰姿态角增强后数据
我们对增强后的俯仰姿态角数据进行统计分析,姿态角数据已经达到400条,采用t-SNE算法[17]对原数据和生成数据的分布进行可视化,映射到二维空间,结果显示其分布与原数据的分布十分接近。

4.2 静态数据验证

选择某飞行器半实物制导仿真系统,采用静态、动态数据对仿真模型进行验证,半实物制导仿真系统的组成如图7所示。
图7 某飞行器半实物制导仿真系统的组成图
基于仿真系统和模型,通过仿真生成飞行器脱靶量数据记为Y,其分布函数为F y,服从正态分布,实际飞行脱靶量数据记为X,其分布函数为F x
增强后的实际飞行脱靶量数据与仿真脱靶量数据都服从正态分布,采用F检验验证式(1)是否成立。实际飞行脱靶量数据的自由度m=5000,仿真脱靶量数据的自由度n=5000,假设σ1=σ2,显著性水平α=5%,根据 0 F α 2 F m - 1 , n - 1dv=1- α 2确定置信限。查表得F0.025=1.02,接近1,公式(1)成立,一致性检验通过。
当实际飞行脱靶量数据未增强,个数仅为9时,采用秩和检验法[11],不能通过一致性检验。

4.3 动态数据验证

基于灰色关联分析方法的动态数据验证,首先在时间[0,100]上以 0.05秒步长仿真得到一组(400个)关于俯仰姿态角的仿真数据,与飞行数据个数相等,时间一致。验证步骤为:
1)从400组数据中选择一组数据,动态数据长达100 s,将时间序列分为N=2段,[0.02, 49.97][50.03, 99.97];
2)采用邓氏灰色关联度模型计算灰色关联度γk,并确定ω1=[0.4,0.6],ω2=[0.7,0.3],按照上述参数设置之后获得的灰色关联度结果为γ1=[0.835,0.918],γ2=[0.931,0.886];
3)由式γ= k = 1 Nωkγk将灰色关联度加权平均,得到灰色关联分析结果γ=[0.885,0.917];
4)对剩余399组数据进行灰色关联度计算,得到一组值,合起来记为矩阵A400x2。对固定的分辨系数ε,γ越大,表明两组数据序列间的相关性就越强。相对于小样本的计算结果,基于增强后的飞行俯仰姿态角数据,灰色关联度计算结果矩阵A400x2包含的结果更多,对仿真模型的验证更有效。从A400x2γ值的计算结果看,基本都在0.8以上,动态飞行数据和仿真数据的一致性好。根据灰色关联度与仿真系统可信度的映射关系,进一步可以评估系统的可信度。

5 结束语

相对于仿真数据,大型飞行器的飞行结果数据呈现小样本特性,在仿真试验时增加了仿真模型验证的决策风险。本文采用生成式对抗网络GAN这一深度学习新技术生成逼真数据,扩大飞行数据样本。针对飞行数据的离散特性,在数据预处理的基础上,采用离散序列生成式对抗网络,对静态结果数据(如脱靶量)和动态数据(如俯仰姿态角),进行增强,然后采用假设检验方法中的F检验对静态数据,采用灰色关联分析方法对动态数据分别进行了验证。飞行数据增强后,F检验将一致性从未通过变成通过,灰色关联分析方法使一致性检验通过,为仿真模型验证及其可信度评估提供了一种新方法。下一步,将结合深度学习研究更多的数据增强方法及其增强后与原数据兼容性的定量评价标准,进一步提高仿真模型验证及其可信度评估的效率。
[1]
韩建兴, 田尚飞. 新型舰炮火控仿真试验建模及VV&A技术[J]. 指挥控制与仿真, 2015, 37(5): 113-117.

[2]
焦鹏. 导弹制导仿真系统VV&A理论和方法研究[D]. 长沙: 国防科技大学, 2010.

[3]
季蓓, 程健庆, 曹志敏. 综合声呐仿真系统的VV&A过程研究[J]. 指挥控制与仿真, 2013, 35(3): 95-99.

[4]
张金槐, 张士峰. 验前大容量仿真信息“淹没”现场小子样试验信息问题[J]. 飞行器测控学报, 2003, 22(3): 1-6.

[5]
胡正东, 曹渊, 张士峰, 等. 特小子样试验下导弹精度评定的Bootstrap方法[J]. 系统工程与电子技术, 2008, 30(8): 1493-1497.

[6]
宁小磊, 陈战旗, 孙亚琪. 基于飞行试验数据的仿真模型主从一体化检验[J]. 探测与控制学报, 2015, 37(4): 37-41.

[7]
宁小磊, 吴颖霞, 于天朋, 等. 基于改进灰色关联分析的仿真模型综合验证方法[J]. 兵工学报, 2016, 37(2): 338-347.

[8]
王坤峰, 苟超, 段艳杰, 等. 生成式对抗网络GAN的研究进展与展望[J]. 自动化学报, 2017, 43(3): 321-332.

[9]
张一珂, 张鹏远, 颜永红. 基于对抗训练策略的语言模型数据增强技术[J]. 自动化学报, 2018, 44(5): 891-900.

[10]
Lantao Yu, Weinan Zhang, Jun Wang, et al. SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient[C]. Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, 2017.

[11]
张兴华. 小样本量内外场测试数据一致性检验[J]. 电子制作, 2015(12): 47-48.

[12]
关治, 陆金甫. 数值方法[M]. 北京: 清华大学出版社, 2012.

[13]
陈建伟. 仿真结果动态一致性检验方法研究进展[J]. 河北理工大学学报(自然科学版), 2011, 33(3): 87-93.

[14]
李玉宁. 基于灰色关联分析的仿真模型验证及辅助工具研究[D]. 哈尔滨: 哈尔滨工业大学, 2015.

[15]
曹仰杰, 贾丽丽, 陈永霞, 等. 生成式对抗网络及其计算机视觉应用研究综述[J]. 中国图象图形学报, 2018, 23(10): 1433-1449.

[16]
田宏泽, 古平. 基于FCM的文本迁移学习算法[J]. 计算机应用研究, 2018, 35(7): 1978-1981.

[17]
Van Der, Matten L. Accelerating t-SNE Using Tree-based Algorithms[J]. The Journal of Machine Learning Research, 2014, 15(1): 3221-3245.

文章导航

/