中国科技核心期刊      中国指挥与控制学会会刊     军事装备类重点期刊
Command Control and Simulation

Command Control and Simulation >

2022 , Vol. 44 >Issue 1: 32 - 37

DOI: https://doi.org/10.3969/j.issn.1673-3819.2022.01.004

Information Fusion

Application of Bayesian Inference Model Index-GMVAE in Filling Random Missing Values of Data

  • MA Chao 1 ,
  • CAI Meng 2 ,
  • LI Jian-xun 1
Expand
  • 1. Shanghai Jiaotong University Department of Automation, Shanghai 200240
  • 2. Luoyang Institute of Electro-optical Equipment, AVIC, Luoyang 471009, China

Received date: 2021-10-24

  Request revised date: 2021-11-09

  Online published: 2022-05-19

Copyright

Copyright reserved © 2022
Fold

Abstract

Variational autoencoder (VAE) infers random missing data reduction is an emerging data filling method in recent years, but the traditional VAE algorithm has the problems of single posterior distribution and slow convergence of the evidence lower bound of variational inference. A new Bayesian inference network framework, Index-GMVAE, based on Gaussian mixture posterior distribution and missing data location mask to infer missing data restoration is proposed in this paper. The experiments are performed on the Mnist handwritten digit dataset and the Adult dataset. The simulation results show that the proposed algorithm can significantly improve the convergence speed of the evidence lower bound. Compared with the VAE algorithm, the accuracy of inferring missing data restoration is increased by about 10%. And it can effectively improve the inference performance of the probability hidden layer of model on both the image dataset and the heterogeneous binary classification dataset, which reflects the universality of data with different structures.

Key words： variational encoder; gaussian mixture model; missing data location mask; evidence lower bound

Cite this article

MA Chao , CAI Meng , LI Jian-xun . Application of Bayesian Inference Model Index-GMVAE in Filling Random Missing Values of Data[J]. Command Control and Simulation, 2022 , 44(1) : 32 -37 . DOI: 10.3969/j.issn.1673-3819.2022.01.004

现实世界的数据集常会存在数据随机缺失(MAR,Missing At Random)的问题,且样本数据缺失会大大降低分析算法的有效性。现有的处理缺失数据还原的方法大致分为两类:第一类是直接删除含有缺失值的样本点,这种方法简单易操作,但是会造成原有数据集信息的丢失;另一种方法是对缺失值进行插值,这种方法分为基于统计技术的方法和基于样本聚类技术的方法。基于统计技术的方法即常见的均值插值、众数插值等。基于样本聚类技术的方法是通过找到与缺失值样本相似的样本,再通过一定的算法进行插值。早期的方法常见的有K近邻、决策树等[1]。
近年来,将深度生成模型应用于缺失数据处理逐渐成为研究的热点。该模型是一种基于贝叶斯网络的深度学习网络模型,通过一种无监督的方式学习任何类型的数据分布。在该模型中,通过定义观测数据和潜在变量的联合分布,用极大似然估计的方式去拟合观测数据分布。然而,推理隐变量的真实后验分布是十分困难的,所以,采用了基于变分推断理论的深度生成模型——变分自编码器(VAE, Variational Auto-Encoder)[2],该模型可以通过隐变量学习观测数据集的分布,并在生成网络中将缺失数据推理出来。现有的VAE推理缺失数据方法通常将隐变量的先验分布设置为单高斯分布,并将数据的缺失位置当作掩码变量一同作为观测数据输入[3]。这种设置可以降低算法的复杂度,但是,由于设置了单一先验高斯分布,将会在一定程度上损失观测数据的部分信息,且变分推断证据下界收敛较慢。
针对以上问题,本文提出了一种新的贝叶斯推理模型——位置索引高斯混合变分自编码器(Index—GMVAE, Index—Gaussian Mixture Vatiational Auto-Encoders),将隐变量的先验分布设置为高斯混合分布,可以使隐变量更好地学习观测数据的先验分布,从而提高随机缺失数据推理生成的有效性[4,5],并将缺失位置掩码[6]作为一种变量建立了观测数据、隐变量、缺失掩码变量及高斯混合类别变量的四元联合概率分布,推导出了新的变分推断证据下界。该算法在Mnist手写数字数据集和UCI-Adult异构数据集上做了对比验证,实验结果表明,该算法在两种数据集上均显著提高了模型的证据下界收敛速度和推理效果及置信度。将缺失数据还原平均准确率提升10%左右,具有良好的鲁棒性。

1 Index-GMVAE算法理论推导

1.1 变分自编码器(VAE)理论推导

变分自编码器是一种典型的无监督生成网络模型,它将贝叶斯网络变分推断和深度学习结合用于数据的概率推理及生成。其基本网络结构如图1所示。
图1 变分自编码器网络结构图
该模型将复杂的观测数据空间x映射到相对简单的低维隐变量空间z上,则x的边际概率为
pθ(x)=∫pθ(z)pθ(x|z)dz
其中,θ为生成网络参数且未知,隐变量z的真实后验分布难以计算:
pθ(z|x)= p θ ( z ) p θ ( x | z ) ∫ p θ ( x | z ) p θ ( z ) d x
为了解决该问题,该模型构建了一个推理网络qφ(z|x),φ为推理网络参数,运用变分推断方法去逼近真实后验分布pθ(z|x),则观测数据的边际似然对数函数可以写为
log pθ(x)= E z~ q φ ( z | x )[logpθ(x)]= E z~ q φ ( z | x ) log p θ ( z ) p θ ( x | z ) p θ ( z | x )= E z~ q φ ( z | x ) log p θ ( z ) p θ ( x | z ) q φ ( z | x ) p θ ( z | x ) q φ ( z | x )= E z~ q φ ( z | x )[log pθ(x|z)]- E z~ q φ ( z | x ) log q φ ( z | x ) p θ ( z )+ E z~ q φ ( z | x ) log q φ ( z | x ) p θ ( z | x )=KL[qφ(z|x)||pθ(z|x)]+ E z~ q φ ( z | x )[log pθ(x|z)]-KL[qφ(z|x)||pθ(z)]
结果的后两项即为观测数据x边际似然函数的证据下界(ELBO)[7],将其作为损失函数,迭代优化网络的θ和φ参数。如公式(4)、(5)所示:
L(θ,φ;x)=-KL[qφ(z|x)||pθ(z)]+ E z~ q φ ( z | x )[log pθ(x|z)]
其中:
q φ ( z | x ) ~N ( u z , σ z ) p θ ( z ) ~N ( 0,1 ) p θ ( x | z ) = b ( n , p )
如图1所示,该模型通过推理网络拟合出隐变量z的均值uz和方差σz,并采样构造出对应的单高斯分布的z值,然而采样过程不可导,为了能通过梯度下降算法优化网络参数,采用重参数法从ξ~N(0,1)这个新的标准正态分布中采样构造z,对ξ求导使梯度可求[8],如公式(6)所示:
z=uz+σz·ξ

1.2 Index-GMVAE理论推导

传统的VAE模型的隐变量z的先验分布为单高斯分布,工程上便于实现,但是会在推理过程中丢失观测数据x的部分分布特征。本文引用高斯混合分布作为隐变量z的先验分布,该分布具有可以拟合任意概率分布的优秀特性。记c~π(n)为离散的高斯混合分布类别变量,将原本的连续隐变量先验分布pθ(z),变为离散变量c和连续变量z的联合概率分布pθ(z,c)[9]。
针对完全随机缺失数据,本文将缺失数据的位置记录为张量m,将缺失视为数据不可观测,设
mi= 1 　 第 i 个值可观测 0 　 第 i 个值不可观测
记x为原本未缺失的完整数据,x0为经过随机缺失处理后的可观测数据,则满足:
x0=m·x
因为原数据是完全随机缺失的,故可以假设隐变量z与数据的缺失位置变量m相互独立[10]:
pθ(z,c)=pθ(z,c|m)
此时观测变量的边际对数似然函数为
log pθ(x0|m)=log ∑ c = 1 n∬pθ(x|m,z,c)pθ(z,c)dmdz=log ∑ c = 1 n∫pθ(x0|m,z,c)pθ(z,c)dz=KL[qφ(z,c|x0,m)||pθ(z,c|x0,m)]+ E q φ ( z , c | x 0 , m )[log pθ(x0|z,c,m)]-KL[qφ(z,c|x0,m)||pθ(z,c)]
同样地,可得该似然估计的证据下界如公式(11)所示:
L(θ,φ;x,m,c)= E q φ ( z , c | x 0 , m )[log pθ(x0|z,c,m)]-KL(qφ(z,c|x0,m)||pθ(z,c))
将该证据下界作为模型的损失函数,用随机梯度变分贝叶斯(SGVB, Stochastic Gradient Variational Bayes)估计器近似求解。首先用蒙特卡洛估计方法求损失函数第一项的重构损失期望,如公式12所示:
E q φ ( z , c | x 0 , m )[log pθ(x0|z,c,m)]≈ 1 L ∑ i = 1 Llog pθ(x0|z,c,m)z~qφ(z,c|x0,m)
复原的数据对数似然函数一般为伯努利分布和高斯分布两种形式,在实验中不论是Mnist手写数字数据集还是UCI.Adult二分类异构数据集均归一化和离散化编码为0~1的值,故采用伯努利分布,如公式(13)所示:
log pθ(x0|z,c,m)= ∑ i = 1 Dxilogyi+(1-xi)log(1-yi)D∈{mi=1|m}
其中,y为生成网络输出的还原数据D∈{mi=1|m},即只对可观测数据计算重构损失。将不可观测位置上生成的数据作为还原的缺失数据。在变分推断理论中,隐变量分布的复杂性决定了整个优化问题的复杂性,一般将其拆分为多组相互独立的变量,如公式(14)所示:
qφ(z,c|x0,m)=qφ(z|x0,m)qφ(c|x0,m)
所以损失函数中的KL散度项可以展开为
-KL(qφ(z,c|x0,m)||pθ(z,c))= E q φ ( z , c | x 0 , m ) log p θ ( z , c ) q φ ( z , c | x 0 , m )= E q φ ( z , c | x 0 , m ) log p θ ( c ) p θ ( z | c ) q φ ( z | x 0 , m ) q φ ( c | x 0 , m )= E q φ ( z , c | x 0 , m )[logpθ(c)+logpθ(z|c)-logqφ(z|x0,m)-qφ(c|x0,m)]
针对缺失数据还原问题,将类别c的前后验分布均设为均匀分布,即期望为1,不参与损失函数的计算。设pθ(z|c)~N(z;uc,σc,I),可用蒙特卡洛估计法将式(15)展开为[12]:
E q φ ( z , c | x 0 , m )[logpθ(z|c)]= ∑ c = 1 kq(c|x) ∑ j = 1 J - 1 2 log 2 π + log σ c + ( z - u c ) 2 σ c 2
E q φ ( z , c | x 0 , m )[loglog qφ(z|x0,m)]= ∑ c = 1 kq(c|x) - 1 2 ∑ j = 1 J[log 2π+log σc+1]

2 Mnist图像数据集实验

2.1 缺失处理及实验设计

Mnist手写数字数据集是非常常用的算法验证数据集,共有0~9这10类数字,具有样本均衡、维度适中、易于验证等特点。实验中在原数据集的图像上构造了完全随机缺失(MCAR, Missing Completely At Random),缺失类型分为像素点缺失和像素块缺失[13]。如图2所示,从左到右列依次为原数据集、缺失块和缺失点处理示意图、处理后效果示意图及均值填补示意图。
图2 图像完全随机缺失和均值填补
在图像像素随机缺失处理的基础上,先对其做插值预处理,常见的基于统计的插值预处理方法分为零插值法、均值插值法、众数插值法等。实验中采用均值插值法,记x0为缺失处理后的观测数据,u为原观测数据的均值(即所有图片同一像素点的均值),如公式(18)所示:
x 0 = m · x + ( 1 - m ) · u u = E [ x ]
模型网络先将缺失图像输入经过卷积层处理后再池化,降维成128维的向量,将高斯混合分布的类别数目定在8~12类之间,在经过softmax层得到高斯混合的类别概率向量后,依次拟合出每一类的高斯分布均值方差,用重参数法组合出隐变量z值后再按概率向量组合出最后高斯混合分布的z值,设置隐变量z为10维向量,之后经过卷积层扩维,将推理还原出图像原来的完整数据与输入数据进行重构损失和KL散度计算,不断迭代优化网络参数,最后,推理出相对良好的缺失数据值。实验中的Index-GMVAE网络结构如图3所示。
图3 Index-GMVAE处理Mnist网络结构图

2.2 实验结果及分析

在整个模型推理的过程中,观测数据的对数似然函数证据下界(ELBO, Evidence Lower Bound)的收敛性和逼近0值的性能是判断网络推理性能好坏的重要指标,Index-GMVAE与VAE对比的ELBO迭代变化如图4所示。
图4 Index-GMVAE和VAE证据下界收敛对比
因为Index-GMVAE比VAE的ELBO多一项 E q φ ( z , c | x 0 , m )[logpθ(z|c)]类别重构期望,所以收敛最小值要比VAE大,但是收敛速度明显比VAE快很多。
将随机缺失图像用均值填补,传统VAE算法填补及index-GMVAE算法填补后图像的还原的效果对比和推理分类结果的ROC曲线对比如图5所示,从左到右列依次为图像均值填补示意图、VAE算法推理还原示意图及本文提出的Index-GMVAE算法推理还原示意图。
图5 图像均值填补、VAE推理和Index-GMVAE推理
从图5可以看出,Index-GMVAE算法的图像缺失推理还原能力明显强于传统VAE算法,具有更高的整体辨识度和低错误率。由图6中两种模型对数据类别推理的ROC曲线对比可知,Index-GMVAE算法显著提高了模型的概率推理性能,使模型推理具有更高的推理置信度。
图6 Index-GMVAE和VAE的ROC曲线对比
由图7最终得到的缺失数据还原的均方差对比可知,Index-GMVAE算法在还原精度上明显高于VAE算法,体现了算法在还原图像数据缺失时的有效性。
图7 Index-GMVAE和VAE推理缺失数据MSE对比

3 Adult异构数据集实验

3.1 缺失处理及实验设计

UCI数据库中的Adult数据集是一个典型的异构二分类数据集,它有48 842个样本点,每个样本有14个特征,有两种不同类型的数据特征[14,15]。具体如表1所示。
表1 Adult数据集的特征展示
变量名 含义 类型
Age 年龄 数值型
workclass 工作类型 类别型
Fnlwgt 编号 数值型
Education 受教育程度 类别型
Education.num 受教育时间 数值型
Marital 婚姻状况 类别型
Occupation 职位 类别型
Relationship 家庭关系 类别型
Race 种族 类别型
Sex 性别 类别型
Capital.gain 资本收益 数值型
Capital.loss 资本损失 数值型
Hours.per.week 每周工作小时 数值型
Native.country 原籍 类别型
Class 收入阶层 类别型(小于或大于50K)
由表1可知,数据特征分为数值型和类别型两种类型,实验中为了便于记录缺失位置,将数值型数据等频分桶之后,两种类型的数据均进行One-Hot Enbedding编码,输入由14维变成133维的二值向量,将Mnist数据集模型中的卷积层变成全连接层来做隐变量z的编码和解码,实验中设计任意1~3个特征的完全随机缺失[16]。具体的网络结构如图8所示。
图8 Index-GMVAE处理Adult网络结构图

3.2 实验结果及分析

实验将高斯混合的分布的类别设为6类,设置隐变量z为10维向量,与Mnist实验类似,Index-GMVAE收敛速度较快,但下界略高于VAE。Index-GMVAE和VAE的证据下界收敛对比如图9所示。
图9 Index-GMVAE和VAE证据下界收敛对比
将测试集数据的PCA降维分布、VAE和Index-GMVAE隐变量分布,两个模型推理结果的ROC曲线以及进行缺失数据还原的准确率进行仿真实验对比,结果如图10,11及表2所示。
图10 测试集数据分布及模型隐变量分布对比
图11 Index-GMVAE和VAE的ROC曲线对比
表2 Adult数据集的特征展示
算法 缺失数据还原准确率
Index-GMVAE 57%±15%
VAE 49%±10%
KNN 30%±10%
由测试集数据的降维分布和两个模型的隐变量分布对比以及两个模型推理结果的ROC曲线对比可知,Index-GMVAE对数据分布的降维推理能力明显强于VAE,能学习到更为精确的数据分布,并且Index-GMVAE模型的推理置信度要优于VAE,这说明引入高斯混合分布及位置掩码后提高了模型的贝叶斯推理性能。可知本文提出的Index-GMVAE模型比传统VAE算法在缺失还原平均准确率指标上提升约10%,明显具有更好的缺失数据还原能力。这与在Mnist图像数据集上仿真得出的结论一致。

4 结束语

本文针对数据集的部分特征完全随机缺失问题,提出了一种基于高斯混合后验分布和缺失数据位置掩码的Index-GMVAE概率网络模型,用高斯混合分布替代原来的单高斯分布来提高从观测数据中提取分布特征的能力,并将缺失位置掩码也作为一种变量建立了观测数据、隐变量、缺失掩码变量及高斯混合类别变量的四元联合概率分布,推导出了新的变分推断证据下界(ELBO),提高了网络的收敛速度和概率推理性能。
算法在手写数字图像数据集Mnist和异构二分类数据集Adult上均取得了比VAE和传统聚类方法更好的推理还原能力,体现了算法的鲁棒性。但是本文方法只涉及了完全随机缺失情况下的数据还原,对于非随机缺失问题还没设计更好的应对策略,这将是下一步研究的重点。

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
刘莎, 杨有龙. 基于灰色关联分析的类中心缺失值填补方法[J]. 四川大学学报(自然科学版), 2020, 57(5):871-878.

[2]
Kingma D P, Welling M. Auto-encoding Variational Bayes[J]. arXiv preprint arXiv, 2013: 1312.6114.

[3]
Xie R, Jan N M, Hao K, et al. Supervised Variational Autoencoders for Soft Sensor Modeling with Missing Data[J]. IEEE Transactions on Industrial Informatics, 2019, 16(4):2820-2828.

DOI

[4]
Dilokthanakul N, Mediano P A M, Garnelo M, et al. Deep Unsupervised Clustering with Gaussian Mixture Variational Autoencoders[J]. arXiv preprint arXiv: 2016: 1611.02648.

[5]
Guo C, Zhou J, Chen H, et al. Variational Autoencoder with Optimizing Gaussian Mixture Model Priors[J]. IEEE Access, 2020(8):43992-44005.

[6]
Jun E, Mulyadi A W, Suk H I. Stochastic Imputation and Uncertainty-aware Attention to EHR for Mortality Prediction[C]// 2019 International Joint Conference on Neural Networks (IJCNN), IEEE, Budapest, Hungany, 2019: 1-7.

[7]
Duan H, Yang L, Fang J, et al. Fast Inverse-free Sparse Bayesian Learning via Relaxed Evidence Lower Bound Maximization[J]. IEEE Signal Processing Letters, 2017, 24(6):774-778.

DOI

[8]
Silveira D, Carvalho A, Cristo M, et al. Topic Modeling using variational auto-encoders with Gumbel-softmax and logistic-normal mixture distributions[C]// 2018 International Joint Conference on Neural Networks (IJCNN). IEEE, Riode Janeino, Brazil, 2018: 1-8.

[9]
Collier M, Urdiales H. Scalable Deep Unsupervised Clustering with Concrete Gmvaes[J]. arXiv preprint arXiv: 2019: 1909.08994.

[10]
Nazabal A, Olmos P M, Ghahramani Z, et al. Handling Incomplete Heterogeneous Data Using Vaes[J]. Pattern Recognition, 2020, 107:107501.

[11]
张显炀, 朱晓宇, 林浩申. 基于高斯混合-变分自编码器的轨迹预测算法[J]. 计算机工程, 2020, 46(7):50-57.

[12]
Tang P, Peng K, Dong J, et al. Monitoring of Nonlinear Processes With Multiple Operating Modes Through a Novel Gaussian Mixture Variational Autoencoder Model[J]. IEEE Access, 2020, 8:114487-114500.

DOI

[13]
Collier M, Nazabal A, Williams C K I . VAEs in the Presence of Missing Data[J]. arXiv preprint arXiv: 2020: 2006. 05301.

[14]
McCoy J T, Kroon S, Auret L. Variational Autoencoders for Missing Data Imputation with Application to a Simulated milling circuit[J]. IFAC-PapersOnLine, 2018, 51(21):141-146.

[15]
Huang Y, Tang Y, Vanzwieten J. Prognostics with Variational Autoencoder by Generative Adversarial Learning[J]. IEEE Transactions on Industrial Electronics, 2021, 69(1):856-867.

DOI

[16]
Su Y, Zhao Y, Sun M, et al. Detecting Outlier Machine Instances through Gaussian Mixture Variational Autoencoder with One Dimensional CNN[EB/OL]. IEEE Transactions on Computers, 2021.

Options
Outlines

/

〈 〉