中国科技核心期刊      中国指挥与控制学会会刊     军事装备类重点期刊
Command Control and Simulation

Command Control and Simulation >

2023 , Vol. 45 >Issue 6: 57 - 63

DOI: https://doi.org/10.3969/j.issn.1673-3819.2023.06.009

Multimodal Information Fusion

Prediction model of intelligent connected vehicles driving behavior based on deep learning multi network fusion

  • DING Zirui ,
  • XIANG Junping
Expand
  • Lianyungang JARI Electronics Co., Ltd., Lianyungang 222061, China

Received date: 2022-10-28

  Revised date: 2023-02-18

  Online published: 2023-12-07

Fold

Abstract

The accurate prediction of driving intention and driving tracks of surrounding vehicles is the basis to ensure the safe driving of Intelligent Connected Vehicles in complex road scenes. This paper proposes a driving intention and behavior prediction model of intelligent connected vehicles based on BLSTM-DCG-ATT by combining Bi-directional Long Short-Term Memory, Deep Convolutional Generic Adversary and Attention Mechanism. The data with dual characteristics are obtained through the forward and reverse Bi-directional LSTM link and attention mechanism, and then the characteristic data are convolved through the Deep Convolutional Generic Adversary to iteratively generate the lane change intention and driving data of the intelligent connected vehicle and surrounding vehicles in the future. The simulation results show that the model can accurately predict the lane change intention and driving track of the intelligent connected vehicle and its surrounding vehicles under the condition of complex road network and dense traffic flow, and the prediction accuracy reaches 94%.

Key words： intelligent transportation; vehicle behavior prediction; DCGAN; intelligent connected vehicle; Bi-directional Long Short-Term Memory

Cite this article

DING Zirui , XIANG Junping . Prediction model of intelligent connected vehicles driving behavior based on deep learning multi network fusion[J]. Command Control and Simulation, 2023 , 45(6) : 57 -63 . DOI: 10.3969/j.issn.1673-3819.2023.06.009

车辆驾驶行为预测是实现车辆决策控制的基础和前提。驾驶员会在车辆进行变道操作之前,通过后视镜仔细观察周围交通流变化,并对未来一段时间内的运动状态进行评估,从而判断是否进行后续操作。研究表明,道路上绝大多数交通事故的发生,是由于驾驶员不正确的判断所导致[1]。因此,对网联车及周围交通流变化进行正确且精准的预测,是保证网联车在道路上行驶安全和大幅度提高控制精度的关键。
依据输入数据类型[2]的不同,常见的网联车行为预测模型主要分为两类:单一目标车辆的轨迹信息、目标车辆及周围交通流的信息。
单一目标车辆的轨迹信息能够对短期内的车辆行为进行精准预测,如文献[3]所提出的模型,利用单一车辆轨迹信息预测不同交叉口场景下的驾驶行为。由于模型感知的局限性和未考虑车辆之间的相互影响,模型在车辆驾驶行为预测过程中会产生错误的预测结果,且容易陷入梯度消失或梯度爆炸的困境之中。尽管文献[4]利用回忆缓冲区,解决了样本相关性和发散性问题;文献[5]利用双层LSTM,突破了模型在长时序训练中的梯度消失问题。但上述文献所研究的背景均为不可执行变道操作的高速路场景,对于行驶在城市路网中、可随时变道的车辆并不适用。
目标车辆及周围交通流的信息则将邻近车辆的轨迹信息数据输入数据集中,从而突破单一车辆的感知局限性,并且反映车辆之间的相关性。这使得依托该数据集建立的预测模型,在长时序预测状态下有较好的效果,更加适合在结构复杂且交通密集的城市路网中解决车辆行为预测问题。例如,Ding W等人[6]所提出的模型选用当前车道和相邻车道的临近车辆作为输入,利用多组GRU编码器对输入数据进行交互建模。Casas等人[7]则是使用双层CNN对数据进行栅格化,并且通过三个不同的检测层输出预测轨迹,使得模型在优化所有目标任务的同时,改善了独立完成相应目标时任务之间的分配不匹配问题。
但上述文献都未考虑驾驶员行为的不确定性。由于单一的深度学习算法或单一变种算法,对输入数据关联性和结构性有过度的依赖,无法解决这种不确定性问题,从而使设计得到的模型鲁棒性差且不具有普适性。
因此,本文考虑车辆之间的相关性和车辆自身的局限性,针对道路行驶车辆的不确定性问题,研究深度学习理论在车辆行为预测领域中的应用,提出一种基于深度学习多网络融合的车辆驾驶行为预测模型。通过将双向长短期记忆网络(Bi-LSTM)、深度卷积生成对抗网络(DCGAN)和注意力机制(ATT)进行融合,在保证训练稳定性的同时,降低模型对数据的依赖度,利用Bi-LSTM和ATT的数据特征优化和DCGAN的泛化能力,提高对车辆驾驶行为预测的准确性和有效性。

1 问题描述与建模

车辆在城市道路中行驶时,驾驶员需要通过对相邻车辆运动状态的评估和下一时刻驾驶意图的假设,来避免车辆在行驶、超车、变道过程中发生碰撞。相邻车辆同样也会被周围其他车辆和道路行驶环境所影响,从而导致行驶状态发生变化。智能网联车在城市交通密集场景中进行安全行驶,需要对目标车辆及周围车流的驾驶意图和行驶信息进行精准预测。

1.1 车辆领域信息

本文用车辆领域这一概念,对目标车辆周围一定范围内的交通流行驶信息进行统计。假设在t时刻,目标车辆的领域信息是一个由12个参数组成的矩阵,矩阵参数覆盖当前车道和相邻车道上的车辆关系,用矩阵veht表示。
veht=[ v t c a r, v t l e a, v t l _ l e a, v t r _ l e a, v t l _ f o l, v t r _ f o l, d t l e a, d t f o l, d t l _ l e a, d t r _ l e a, d t l _ f o l, d t r _ f o l]T
因此,在n个时间步长内,目标车辆的领域信息,可用矩阵veh表示。
veh=[veh1,veh2,…,vehn]
式中,veht表示t时刻目标车辆的领域信息; v t c a r表示t时刻目标车辆的自车车速; v t l e a表示t时刻当前车道的前车车速; v t l _ l e a表位t时刻相邻左侧车道的前车车速; v t r _ l e a表示t时刻相邻右侧车道的前车车速; v t l _ f o l表示t时刻相邻左侧车道的后车车速; v t r _ f o l表示t时刻相邻右侧车道的后车车速; d t l e a表示t时刻自车与当前车道前车的距离; d t f o l表示t时刻自车与当前车道后车的距离; d t l _ l e a表示t时刻自车与相邻左侧车道前车的距离; d t r _ l e a表示t时刻自车与相邻右侧车道前车的距离; d t l _ f o l表示t时刻自车与相邻左侧车道后车的距离; d t r _ f o l表示t时刻自车与相邻右侧车道后车的距离。

1.2 模型算法

车辆驾驶行为预测的原理是,通过对输入的历史数据进行学习,预测得到未来时刻车辆的行为和状态。行驶在城市道路上的车辆,行驶状态受诸多因素影响,且这些因素之间具有强耦合性。单一的深度学习网络或单一网络变种,无法在低计算负担的前提下,保证长时序状态下模型训练稳定,同时获得高质量的预测精度。因此,为解决上述问题,本文提出了一种多深度学习网络融合的车辆行为预测模型,模型架构如图1所示。
图1 车辆行为预测模型

Fig.1 Vehicle behavior prediction model

该模型主要由4个部分组成:输入层,特定时间步长内车辆的领域信息,用矩阵veh表示;双向长短期记忆网络层,利用正反双向LSTM对矩阵veh进行特征提取,解决长时序下的依赖问题;注意力机制层,对经过双向LSTM提取后的特征向量,根据信息重要性对权重进行再分配,降低模型计算负担;卷积生成对抗网络层,利用该网络优秀的泛化能力和零和博弈思想,对分配好权重的特征向量进行预测,提高生成数据质量、数据的泛随机性,输出下一时刻的高精度车辆行为状态。

1.2.1 双向长短期记忆网络(Bi-LSTM)层

不论是在时间维度还是空间维度,车辆行为之间都存在一定的依赖关系和耦合性。过去车辆的行为会对未来行为产生影响,周围其他车辆的行为也会影响目标车辆本身。因此,在路网结构复杂、交通密集的城市道路环境中,目标车辆的车辆领域信息长度超过了百级时间步长(一级时间步长等于0.01 s)。对于以时间为序列输入的数据预测问题来说,循环神经网络(Recurrent Neural Network,简称RNN)有良好的效果[8],但由于RNN处理长时序、强依赖的信息能力较差,因此,选用双向长短期记忆网络(Bi-LSTM)[9]对数据进行特征处理,让输出变量同时具有过去和未来双重数据特征,以至于模型能够在任意时间步长前后,充分捕捉目标车辆状态的细微变化。同时,通过“门”结构解决长时序状态下的数据依赖问题。
该网络结构为两个参数相互独立且传递方向相反的LSTM链:前向长短期记忆LSTMf和后向长短期记忆LSTMb。以n个时间步长范围内,目标车辆领域矩阵中表示车辆速度的vcar={ v 1 c a r, v 2 c a r,…, v n c a r}举例,将其一式两份分别输入正反向LSTM链中得到相应的隐向量,具体公式如下:
h f v c a r={ v L 1 c a r, v L 2 c a r,…, v L n c a r}
h b v c a r={ v b 1 c a r, v b 2 c a r,…, v b n c a r}
h v c a r={[ v L 1 c a r, v b 1 c a r],…,[ v L n c a r, v b n c a r]}={ v 1 b i _ c a r, v 2 b i _ c a r,…, v n b i _ c a r}
式中, h f v c a r表示正向LSTM链得到的车辆速度隐向量组; v L n c a r表示正向LSTM链中第n个LSTM得到的车辆速度隐向量; h b v c a r表示反向LSTM链得到的车辆速度隐向量组; v b n c a r表示反向LSTM链中第n个LSTM得到的车辆速度隐向量; h v c a r表示双向LSTM层最终输出的车辆速度数据组; v t b i _ c a r表示双向LSTM层最终输出的第n个车辆速度,t={1,2,…,n};n表示LSTM链中LSTM的个数,等于指定的时间步长。

1.2.2 注意力机制(ATT)层

由于一级时间步长为0.01 s,原始的单车数据在经过Bi-LSTM层处理后,每秒会得到的12个长度为200的特征数据组。特征数据组如果直接导入卷积生成对抗网络中进行生成对抗处理,不仅会因信息过载导致干扰数据增多,降低模型生成的预测数据质量,而且会给有限的车载单元带来巨大计算负载,降低模型生成的预测数据效率。
为了突出车辆在指定时间步长范围内的重点行驶状态,并且减少计算复杂程度,在双向长短期网络模型之后增设注意力机制层,对通过Bi-LSTM层的数据进行权重再分配。仍然是以车辆速度vcar举例,注意力机制层输出的车辆速度变量用矩阵AT T v c a r表示,具体公式如下
AT T v c a r=[α1 v 1 b i _ c a r,α2 v 2 b i _ c a r,…,αn v n b i _ c a r]
式中,AT T v c a r表示注意力机制层最终输出的车辆速度特征数据; v t b i _ c a r表示Bi-LSTM层最终输出的第n个车辆速度,t={1,2,…,n};αt表示ATT层的权重系数, ∑ t = 0 nαt=1。

1.2.3 卷积生成对抗网络(DCGAN)层

由于行驶在城市道路上的车辆种类繁多、状态复杂多变,无法对每辆车每个时间步长内的数据逐一进行标签标定。同时,在实际道路上,目标车辆的周围并非时刻都有交通流存在,这就导致了输入模型的车辆领域信息并非时刻完整。车辆行驶行为具有一定的泛随机性,面对相同场景,即使是同一驾驶员也可能做出不同的应对操作,从而导致车辆行为的不确定性。
传统的神经网络无法处理无标签数据,也无法解决不确定性问题。而DCGAN网络能够很好地解决上述问题。加入卷积神经网络结构的DCGAN,不仅继承了GAN网络优秀的无监督无标签学习特性,还强化了网络在训练中的稳定性,避免了梯度消失问题的产生。
ATT网络层进行权重再分配后的特征数据,作为DCGAN网络层的输入,可以得到未来t=n+1时刻的目标车辆领域信息,用vehn+1表示。
vehn+1=[ v n + 1 c a r, v n + 1 l e a, v n + 1 l _ l e a, v n + 1 r _ l e a, v n + 1 l _ f o l, v n + 1 r _ f o l, d n + 1 l e a, d n + 1 f o l, d n + 1 l _ l e a, d n + 1 r _ l e a, d n + 1 l _ f o l, d n + 1 r _ f o l]
DCGAN层的生成器网络一共设计了七个反卷积层,并且取消了池化层。前六个反卷积层之后增设一个Batch Normalization层用以提高训练的稳定性,除第七层——输出层的激活函数为Tanh外,其余各层的激活函数设定为ReLU,具体结构参数如表1所示,下文公式仍以车辆速度vcar举例。
表1 生成器网络的具体结构参数

Tab.1 Specific structural parameters of the generator network

结构 卷积核
大小		 步幅 填充 后续
ConvTranapose2d (1,2) (1,1) (0,0) BatchNorm2d+ReLU
ConvTranspose2d (1,4) (1,1) (0,4) BatchNorm2d+ReLU
ConvTranspose2d (1,4) (1,1) (0,4) BatchNorm2d+ReLU
ConvTranspose2d (1,4) (1,1) (0,4) BatchNorm2d+ReLU
ConvTranapose2d (1,4) (1,1) (0,4) BatchNorm2d+ReLU
ConvTranapose2d (1,4) (1,1) (0,4) BatchNorm2d+ReLU
ConvTranapose2d (1,4) (1,1) (0,4) Tanh
使用Binary Cross Entropy损失函数作为卷积生成网络的参数更新公式:
G(AT T v c a r)= z v c a r
G_loss(D( z v c a r),yreal)=-[yreallgD( z v c a r)+(1-yreal)lg(1-D( z v c a r))]
式中,G(AT T v c a r)表示生成器G的生成函数; z v c a r表示生成器G,通过真实数据AT T v c a r生成的模拟数据向量;G_loss表示生成损失函数;D( z v c a r)表示判别器D的判别模拟数据向量 z v c a r的结果;yreal表示数据标签为真,本文设定值为1。
DCGAN层的判别器网络一共设计了六个卷积层,和生成器网络一样,取消了池化层,改用Batch Normalization层,除第六层——输出层的激活函数为Sigmoid外,其余各层的激活函数设定为LeakyReLU,具体结构参数如表2所示。
表2 判别器网络的具体结构参数

Tab.2 Specific structural parameters of the discriminator network

结构 卷积核
大小		 步幅 填充 后续
Conv2d (1,6) (1,1) (0,0) LeakyReLU(0.2)
Conv2d (1,6) (1,1) (0,0) BatchNorm2d+LeakyReLU(0.2)
Conv2d (1,6) (1,1) (0,0) BatchNorm2d+LeakyReLU(0.2)
Conv2d (1,6) (1,1) (0,0) BatchNorm2d+LeakyReLU(0.2)
Conv2d (1,6) (1,1) (0,0) BatchNorm2d+LeakyReLU(0.2)
Conv2d (1,6) (1,1) (0,0) Sigmoid
卷积判别网络的参数更新公式:
real_loss(D(AT T v c a r),yreal)=-[yreallgD(AT T v c a r)+(1-yreal)lg(1-D(AT T v c a r))]
fake_loss(D( z v c a r),yfake)=-[yfakelgD( z v c a r)+(1-yfake)lg(1-D( z v c a r))]
D_loss=real_loss(D(AT T v c a r),yreal)+fake_loss(D( z v c a r),yfake)
式中,real_loss(D(AT T v c a r),yreal)表示判别器正确判别真实数据的损失函数;fake_loss(D( z v c a r),yfake)表示判别器正确判别生成数据的损失函数;D(AT T v c a r)表示判别器判别真实数据的结果;D( z v c a r)表示判别器判别生成数据的结果;yreal表示标签为真,本文设定值为1;yfake表示标签为假,本文设定值为0。

2 仿真实验

2.1 实验场景

利用开源的微观交通仿真软件Simulation of Urban MObility(SUMO),仿真实验场景取自江苏省连云港市,选取花果山大道作为实验对象,构建仿真路网,路网结构如图2和图3所示。
图2 花果山路网结构图

Fig.2 Structure of huaguo road network

图3 花果山大道路网仿真结构图

Fig.3 Simulation structure of huaguo road network

图3中的交叉口自南向北依次编号,花果山大道与凌州东路交叉口为1号、花果山大道与青峰路交叉口为2号、花果山大道与振华东路交叉口为3号,具体路网结构如表3所示。
表3 仿真路网各道路结构

Tab.3 Simulate the road structure of the road network

编号 起止点 长度/
m		 车道数 交叉口类型 信号灯
相位		 相位时长/s 道路限速/
(m/s)
起点 终点 起点 终点 绿灯 红灯
HG0 \ 1号口 2 203.09 南北:双向8车道
东西:双向6车道		 十字形 4相位 40 20 27.78
HG1 1号口 2号口 925.46 南北:双向8车道
东西:双向6车道		 十字形 4相位 40 20 27.78
HG2 2号口 3号口 900.76 南北:双向8车道
东西:双向6车道		 十字形 4相位 40 20 27.78
HG3 3号口 \ 1 701.87 南北:双向8车道
东西:双向6车道		 十字形 4相位 40 20 27.78

2.2 仿真实验结果

因为智能网联车技术尚未成熟,道路上没有真正意义上的网联车行驶,所以本次实验是在道路上随机选取车辆作为实验用车。通过sumo自带的traci接口,依据上文所设定的数据,对该车的领域信息进行提取。剔除因外部干扰导致的错误数据,最终筛选出2 500条可用的有效数据,将其中的2 000条数据作为训练集,用于对所提出的预测模型进行训练,剩下的500条数据作为测试集,用于对训练好的模型进行验证。本文所提出的模型在迭代200次后趋于平稳,如图4所示。
图4 预测模型的损失函数训练迭代图

Fig.4 Iterative graph of loss function training of prediction model

测试集中的数据依据车辆未来行驶状态的不同,可以分为3种:车辆跟驰、车辆右转和车辆左转。面对不同的车辆行驶状态,新模型在测试集中的残差值和准确率也各不相同,具体结果如图5所示。
图5 预测模型不同状态残差对比

Fig.5 Comparison of residual error in different states of prediction model

如图5所示,当车辆依旧保持直行时,预测模型所预测得到的结果与真实值进行比较,其残差值在3种行驶状态中最小,只有0.040 7,并且准确率最高为95.97%。相比之下,当车辆需要进行转向变道时,由于目标车辆及周围车辆状态是非线性的,具有一定的不确定性,所以预测模型所得结果与真实值的残差值,相较于直行状态有所增加,分别是0.042 1和0.050 8。相应的准确率也随之下降,车辆右转的准确率为94.97%,而车辆左转的准确率只有94.70%。

2.3 与其他算法对比

从仿真实验中随机选取1 500 s的行车场景,对本文所提的新模型、文献[10]中的LSTM模型和文献[11]中的GAN模型进行预测结果准确率和残差值对比,具体结果如表4和图6所示。
表4 不同模型预测结果比较

Tab.4 Comparison of prediction results of different models

模型 车辆直行 车辆右转 车辆左转
残差值 准确率 残差值 准确率 残差值 准确率
本文模型 0.040 7 95.97% 0.042 1 94.97% 0.050 8 94.70%
GAN模型 0.071 2 93.16% 0.094 7 92.85% 0.098 1 92.68%
LSTM模型 0.112 8 89.93% 0.102 1 92.63% 0.100 4 92.66%
图6 不同模型预测结果比较

Fig.6 Comparison of prediction results of different models

从上述图表中可以看出,不同模型对于同一数据的预测结果是不同的。不论是对何种行驶状态进行预测,本文所提出的新模型准确率都要高于GAN模型和LSTM模型,相应的残差值则是远小于GAN模型和LSTM模型。GAN模型对数据的优化能力相较于单一LSTM模型对数据的优化能力更好,因此GAN模型对数据的预测准确率略高于LSTM模型,残差值略小于LSTM模型的残差值。

3 结束语

本文通过将双向长短期记忆网络、卷积生成对抗网络和注意力机制三种不同的深度学习模型进行有机结合,提出一种新的车辆驾驶行为预测模型。仿真实验表明,该模型能够在保证道路安全和车辆行驶稳定的前提下,准确且有效地对车辆未来时刻的变道意图和行驶轨迹进行预测,预测准确率在94.70%以上。与其他现有模型相比,新模型更加适应交通流密集的路网城市情况。
下一阶段的工作主要是优化该预测模型在特殊场景下的性能表现,例如夜间城市道路,极端天气情况下的城市道路、没有车道线的交通流密集交叉口。同时以该预测模型为基础,实现混合交通流下对智能网联车的纵横向运动控制决策。

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
高红丽, 邓昌俊, 王文迪, 等. 基于国家车辆事故深度调查体系的道路交通事故驾驶员人因分析[J]. 科学技术与工程, 2019, 19(19): 342-348.

GAO H L, DENG C J, WANG W D, et al. Analysis of driver’s cause of road traffic accident based on the national automobile accident in-depth investigation system[J]. Science Technology and Engineering, 2019, 19(19): 342-348.

[2]
MOZAFFARI S, AL-JARRAH O Y, DIANATI M, et al. Deep learning-based vehicle behaviour prediction for autonomous driving applications:a review[J]. IEEE Transactions on Intelligent Transportation Systems, 2022, 23(1):33-47.

DOI

[3]
ALEX Z, STEWART W, EDUARDO N. A recurrent neural network solution for predicting driver intention at unsignalized intersections[J]. IEEE Robotics and Automation Letters, 2018, 3(3):1759-1764.

DOI

[4]
贺伊琳, 宋若旸, 马建. 基于强化学习 DDPG 的智能车辆轨迹跟踪控制[J]. 中国公路学报, 2021, 34(11):335-348.

DOI

HE Y L, SONG R Y, MA J. Trajectory tracking control of intelligent vehicle based on DDPG method of reinforcement learning[J]. China Journal of Highway and Transport, 2021, 34(11):335-348.

[5]
DAI S Z, LI L, LI Z H. Modeling vehicle interactions via modified LSTM models for trajectory prediction[J]. IEEE Access, 2019, 7:38287-38296.

DOI

[6]
DING W C, CHEN J, SHEN S J. Predicting vehicle behaviors over an extended horizon using behavior interaction network[C]//2019 International Conference on Robotics and Automation (ICRA). Montreal, 2019: 8634-8640.

[7]
CASAS S, LUO W, URTASUN R. IntentNet: learning to predict intention from raw sensor data"[EB/OL]. 2021: arXiv: 2101. 07907. https://arxiv.org/abs/2101.07907"

[8]
GRAVES A, LIWICKI M, FERNÁNDEZ S, et al. A novel connectionist system for unconstrained handwriting recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(5): 855-868.

DOI PMID

[9]
ALEX, GRAVES. Framewise phoneme classification with bidirectional LSTM and other neural network architectures[J]. Neural Networks, 2005, 18(5): 602-610.

DOI

[10]
HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural Computation, 1997, 9(8): 1735-1780.

DOI PMID

[11]
梁军, 王军, 杨云庆, 等. 网联车对抗神经网络跟驰模型[J]. 汽车工程, 2021, 43(2): 189-195, 203.

LIANG J, WANG J, YANG Y Q, et al. A connected and autonomous vehicle following model based on generative adversarial network[J]. Automotive Engineering, 2021, 43(2): 189-195, 203.

Options
Outlines

/

〈 〉