中国指挥与控制学会会刊 
近年来,卫星通信在军事通信、地质勘测、定位导航、电视直播、气象侦察等军工和民用领域的应用越来越广泛。使用卫星通信传输数据,能够实现全球覆盖,但是卫星与卫星之间距离较远,传播时延较大,加上卫星的运动,卫星网络的拓扑结构不断变化,使得卫星网络无法同地面网络一样实现端到端实时通信。在卫星网络中,采用的是点到点可靠传输机制。卫星通信的特殊性,也使得卫星网络的可靠性尤为重要,卫星链路可以被干扰被侦听,而且卫星也能被物理打击摧毁,当卫星网络服务功能链部署之后,一颗卫星的破坏可能导致整个服务功能链无法使用。因此在卫星网络部署服务功能链需要保证卫星网络的可靠性,当某颗卫星出现故障或者被摧毁时,通常采用相应的冗余备份等策略,可以保证其可靠性。
据统计[1],低轨卫星的故障率占所有卫星的86%,远高于同步轨道卫星。因此,在基于SDN架构的混合卫星网络中,在位于数据平面的低轨卫星部署SFC时,需要进一步考虑卫星服务功能链可靠性保护的问题。
地面网络功能因故障而导致的服务失效也时有发生,谷歌公司在2012年12月因发生故障,导致很多谷歌提供的网络服务受影响,其中就包括Gmail与Chrome。近年来,服务功能链的可靠性越来越受到研究人员的关注。地面IP网络常常使用校验和、序列号、确认机制、超时重传等技术来进行数据的可靠传输。然而,在基于SDN架构的混合卫星网络中,卫星之间的传播时延比地面大,这些技术并不适用。本文在基于SDN架构的混合卫星网络部署服务功能链时,针对其可靠性要求,提出基于可靠性的卫星服务功能链保护方法。
1 研究现状
文献[9]提出一种使用联合备份的SFC可靠性保护方法,提高可靠性必然产生相应的开销,相邻备份节点放置时采用联合备份的方式,对SFC可靠性部署问题建模,建立了整数线性规划模型,提出启发式算法解决问题,该算法能够提高请求接受率,满足SFC可靠性需求。文献[10]采用的方法是先对网络服务功能的重要度定义,以重要度的高低为标准进行备份。文献[11]将可靠性较低的节点进行备份,从而提高整体SFC的可靠性。文献[12]为了最小化开销,以资源感知的方法减少代价。近年来,研究者们都选择了采用备份的方法来对服务功能链进行可靠性保护[13⇓-15],在设计可靠性保护方法时能够参考的标准包括网络服务功能的重要度、共享度等。在使用备份解决SFC可靠性保护的问题时,都需要考虑备份所产生的资源消耗[16-17],从而优化方法。
为了提高请求接受率,研究者也采取了其他方法来保证可靠性。文献[18]提高了SFC可靠性而未采取备份保护的方法,然而未解决基础设备出现故障而导致SFC无法使用的问题。
在网络功能虚拟化的环境中,文献[19]将物理资源的分配分为三个阶段,分别为成链、映射、调度。成链阶段将SFC解构为VNF与链路;映射阶段是指为解构的VNF和虚拟链路分配网络物理资源,在这一阶段完成SFC的部署;调度阶段是指网络服务功能的生命周期的管理。
文献[20]设计了启发式算法来对服务功能链的可靠性进行保护,首先对服务功能链映射问题进行建模,明确映射的目标函数,再使用启发式算法进行多目标优化,从而解决服务功能链可靠性保护的问题。同时,对网络功能的生命周期的管理也同样重要,若网络功能的生命周期结束,为了进行服务功能链的可靠性保护,必须对网络功能给予良好的维护与管理。
文献[21]使用了深度强化学习的方法来保证地面网络的服务功能链的可靠性,大大减少了开销。混合卫星网络中的低轨卫星节点的寿命较短,可靠性不高,需要设计卫星SFC的可靠性保护方法。
2 模型建立
2.1 底层网络
底层网络同样是以基于SDN架构的混合卫星网络为基础。假设基于SDN架构的混合卫星网络表示为G=(V,E),V代表底层低轨卫星网络的节点集,E代表底层卫星网络的链路集,V={v1,v2,v3,…,vn}表示此混合卫星网络中数据平面低轨卫星节点集合,剩余节点资源为Cv。E={eij|vi,vj∈V}表示混合卫星网络中数据平面链路集合。Le表示低轨卫星链路eij的剩余可用链路资源。考虑i卫星与j卫星之间存在多跳链路的情况,假设pij是节点vi,vj之间经过的路径节点集合,qij是节点vi与vj经过的链路集合,hop(i,j)是节点vi,vj之间经过的跳数。
假设低轨卫星节点v的可靠性为rv,那么部署在节点上的网络服务功能能够获得的可靠性保护可以表示为 rv,数据平面链路e的可靠性若为rv,那么部署在网络上的服务功能链能够获得的链路可靠性保护为 re。
2.2 SFC请求
假设SFC请求的网络服务功能集为{SF1,SF2,…,SFs},表示依次请求部署的服务功能有s个,SFC请求可以用无向图表示为GSFC=( , ,t1,t2),其中 表示请求的节点资源, 表示请求的链路资源,t1表示SFC请求到达的时间,t2表示SFC请求的服务时间,为了简便,SFC请求的服务时间假设相同。对于第i个SFC中网络服务功能SFj(1≤j≤s)来说,假设MTBFij表示该网络服务功能部署的低轨卫星节点的平均故障时间间隔,MTTRij表示该网络服务功能部署的低轨卫星节点的平均故障修复时间,那么第i个SFC中网络服务功能SFj(1≤j≤s)的可靠性表达为
$ r_{i j}=M T B F_{i j} \times\left(M T B F_{i j}+M T T R_{i j}\right)^{-1}$
假设链路可靠性为li,那么此SFC的可靠性表达为
$ R_{i}=\prod_{j=1}^{s} r_{i j} \cdot l_{i}$
当SFC请求包含的网络服务功能越多时,整条SFC的可靠性越小,这是因为当一个网络服务功能不能提供服务时,整条SFC就不能正常工作。为了简化模型,假设SFC依次按序到达,每颗低轨卫星只能部署一个网络服务功能,但是部署后的网络服务功能可以由多条SFC共享,为多条SFC提供可靠性保护。
2.3 可靠性需求模型
在基于SDN架构的混合卫星网络中,为了保障SFC的可靠性,需要同时考虑多个其中的组件,包括链路和低轨卫星节点。SFC的可靠性可以由所有的网络服务功能和虚拟网络中链路的可靠性的乘积所得。假设SFC可靠性需求为 ,第i个SFC中网络服务功能SFj(1≤j≤s)的可靠性需求为 ,第i个SFC中第j条虚拟链路的可靠性需求为 。部署的SFC长度越长,链路的可靠性越低。
2.3.1 网络服务功能的可靠性需求模型
在一条SFC中,多个网络服务功能之间的拓扑特性和功能特性都不一样,当一个网络服务功能失效时,对此条SFC影响的程度、恢复的时间、难度各有不同。可以此为确定可靠性需求的指标,定义相关的参数,通过归一化,确定网络服务功能的可靠性。
1)网络服务功能共享个数:如SFC请求部分所述,一个网络服务功能可以由多条SFC共享。当网络服务功能出现故障,共享此功能的所有SFC都将受到影响而无法工作。因此可以将部署在同一低轨卫星节点上的SFC条数作为可靠性的一个参数,即网络服务功能的共享个数设为k,当共享个数越大时,造成故障的概率越大,为了避免此种情况,限定网络服务功能的共享个数上限为常数O。那么归一化的结果为
=
2)网络服务功能重要程度:在基于SDN架构的混合卫星网络中,卫星网关、防火墙、网络地址转换、虚拟专用网代理等网络功能具有不同的重要程度,每种网络服务功能的重要程度可以根据经验人为打分获得,假设某个网络服务功能的得分为xi,那么此网络功能的重要程度归一化结果为
=
3)网络服务功能损坏后的恢复时间与难度。部署每种网络服务功能使用的计算、内存、存储、带宽资源不尽相同,对资源的需求越高,当网络服务功能损坏时,恢复的时间与难度越大。因此,设计可靠性部署时,应当将对资源需求高的网络服务功能设置更高的可靠性。同样,假设某个网络服务功能的回复时间与难度为yi,那么,此网络服务功能的回复时间与难度归一化结果为
=
三个参数归一化后带权相加,得到每个网络服务功能的可靠性需求,即
=α· +β· +γ· ,(α+β+γ=1)
在部署网络服务功能时,当低轨卫星节点的可靠性满足上述网络服务功能的可靠性需求,则能进行部署。即当低轨卫星节点可靠性rv≥ 时,满足部署可靠性条件。
2.3.2 低轨卫星链路可靠性需求模型
在部署SFC时,链路的可靠性同样需要考虑,一般而言,低轨卫星链路的条数越多,链路的可靠性就越低,为了满足链路的可靠性需求,需要控制部署SFC后的链路长度,假设每一链路的可靠性为l,那么链路长度可以计算为
length=[logl ]+
其中[]+表示向上取整。
以上便是从链路可靠性出发设置的链路长度,当链路长度超过这个计算值length时,链路可靠性就会降低,满足不了链路可靠性要求,然而SFC长度可能会超过这个限制。此时为了解决这个问题,可以采用备份保护的方法。因此当SFC超过计算阈值length时,延长的链路使用备份保护的方法,采用备份保护方法的链路的可靠性可以设为1。
2.4 优化目标与约束条件
本文提出基于可靠性的卫星服务功能链保护方法,如果采取贪婪方法,当为当前卫星SFC分配的可靠性保护远远超过可靠性需求时,也会造成后来的SFC可靠性无法得到保证,同时,这也是对资源的浪费。为了解决上述问题,本文将可靠性需求与低轨卫星提供的可靠性差值作为优化目标,尽可能解决可靠性保护资源,即R= -Ri,优化目标为min{R}。
在提出基于可靠性的卫星服务功能链保护方法优化需求与保护的差值之前,需要明确约束条件,假设源节点是vi,目的节点是vj,约束条件有以下几个:
1)低轨卫星节点可靠性要满足此SFC中网络服务功能的可靠性要求,即
rv≥
其中rv表示低轨卫星节点v的可靠性。
2)低轨卫星系统中的星间链路需要满足SFC虚拟链路的可靠性需求,即
re≥
其中re表示低轨卫星系统中星间链路的可靠性。
3)剩余的低轨卫星节点的物理资源可以满足此SFC的部署需求,即
≤ Cv
4)剩余的低轨卫星星间链路资源可以满足此SFC虚拟链路的部署,即
≤ Le
5)SFC部署成功,源节点vi和目的节点vj之间的路径链路集是非空集合,并且跳数非负数。即
qij≠Ø
hop(i,j)≥0
3 基于可靠性的卫星服务功能链保护方法
本文采用虚拟拓扑的方法屏蔽卫星网络动态性,将整个卫星网络的周期进行了离散处理,将整个周期划分为n个时隙,每个时隙的网络拓扑保持不变,设为二维矩阵Bt表示。
Bt=
其中矩阵中的元素的值为0或1,0代表两颗低轨卫星之间无连接,1代表两颗低轨卫星之间存在星间链路。下标分别表示两颗卫星的标识。
假设在基于SDN架构的混合卫星网络的数据平面中,低轨卫星颗数为m,那么可以分析得到状态空间、动作执行空间和奖励集合。
1)状态空间:探寻的状态空间为A={{Cv},{Le},{ },{ },{a}},其中{Cv}、{Le}为剩余的低轨卫星节点物理资源集合和星间链路资源的集合,表示底层网络资源的情况,{ }、{ }为未映射的SFC部分集合,表示虚拟网络的情况。{a}表示已部署的低轨卫星节点共享个数。
2)动作执行空间:D={dn,dl,ds},其中dn表示低轨卫星节点映射动作,dl表示星间链路映射动作,ds表示共享映射节点动作。在已部署该网络服务功能的情况下,如果要部署的低轨卫星节点共享度未达到网络服务功能的共享个数上限,那么之间复用该节点进行部署,执行动作ds,若未部署该网络服务功能或者共享度达到了网络服务功能的共享个数上限,则执行动作dn。
3)奖励集合:奖励集合以优化的目标为基础,由于优化的目标越小,效果越好,故反馈的奖励可以计算为
r=-R= rij·li-
当无法执行有效动作时,反馈的奖励值为-1 000。提出的基于可靠性的卫星服务功能链保护方法包含两个阶段,一是基于深度强化学习的可靠性保护算法,二是基于低轨卫星节点与链路可靠性备份算法。
3.1 基于深度强化学习的可靠性保护算法
本节介绍了基于深度强化学习的可靠性保护算法,在不需要任何基于SDN架构的混合卫星网络的先验信息情况下,能够自动学习,完成SFC的可靠性保护。在此算法中,智能体(地面控制中心)从GEO卫星获取上述状态空间的信息,包括共享度,选择动作执行空间的动作执行,获得反馈奖励,若是复用同一低轨卫星节点,则将此低轨卫星的共享度加1,通过不断和底层卫星网络与SFC请求联合交互,探寻网络服务功能的合适的可靠性部署,得到最佳的SFC可靠性保护方法。在此探寻的过程中,智能体的训练与可靠性保护分配同步进行,使用了两层卷积神经网络,当执行足够多的训练之后,能够获得最佳方案。
首先是训练过程,为了开始训练,对整个基于SDN架构的混合卫星网络进行初始化,包括时间片拓扑B、SFC请求的长度、经验回放池等,假设SFC请求采取先到先服务的到达场景。算法首先构建了一个深度神经网络Q,假设Q的权重为θ,使Q(A,D,θ)≈Q*(A,D,θ*),θ*=θ。Q*(A,D,θ*)是目标网络,θ*是目标网络的权重。在智能体训练时,训练和可靠性保护同时进行,智能体根据对环境的观察执行动作,然后将其放到经验回放池M中。采取记忆重放方法,每一轮训练都从经验回放池M中进行采样对Q训练,每个时间片更新Q*,在每个时间片内有δ个时刻。训练过程可以表示为算法1。
| 算法1 智能体训练过程 | |
|---|---|
| 1: | 输入:训练场景数P,当前时间片拓扑B,学习率ω,折扣系数ε,长度为L的SFC请求队列,当前时间片的LEO卫星和链路的剩余资源情况以及共享度a |
| 2: | 输出:权重为θ的神经网络 |
| 3: | 初始化神经网络Q并且随机权重设为θ |
| 4: | 初始化经验回放池为M |
| 5: | 初始化目标网络Q*并且权重设为θ*=θ |
| 6: | for episode=1, P do |
| 7: | 初始化卫星网络状态和SFC请求队列向智能体发送请求 |
| 8: | for l=[1,L] do |
| 9: | 确定动作空间D,随机产生区间[0,1]中的数ν |
| 10: | 有v的概率选择贪婪的策略,有(1-v)的概率按照优先级选择,执行复用动作则将共享度更新 |
| 11: | 执行选出的动作d,计算执行动作获得奖励r,得到新的状态A |
| 12: | 将元组<A-,d,A,r>存入经验回放池M(A-,A分别为执行动作d前后的系统状态空间) |
| 13: | 从经验回放池M中进行采样M*⊆M |
| 14: | for (Aτ-1,dτ-1,Aτ,rτ) in M* do |
| 15: | θ=θ+ω(r+εmaxQ*(Aτ,dτ,θ*)) -Q(Aτ-1,dτ-1,θ))∇Q(Aτ-1,dτ-1,θ) |
| 16: | end for |
| 17: | if (t%δ)==0 then |
| 18: | 更新Q*且θ*=θ |
| 19: | end if |
| 20: | t++ |
| 21: | end for |
| 22: | end for |
经过多次训练之后,神经网络的权重系数便会收敛,自适应的可靠性保护就可以自动进行。
本文的基于深度强化学习的可靠性保护算法和智能体的训练同步进行,首先将节点状态、网络拓扑、共享度送入全连接层,将链路状态送入卷积层,再将提取出来的特征向量拼接,输入全连接层计算,通过对反馈奖励的计算,获得优先级排序,再判断是否满足约束条件,满足则执行动作,若复用低轨卫星节点,则更新共享度。若不满足条件,则继续向下寻找。若最终没有满足条件的节点,则采用低轨卫星节点备份的方法保证可靠性。基于深度强化学习的可靠性保护算法的过程如算法2所示。
| 算法2 基于深度强化学习的可靠性保护算法过程 | |
|---|---|
| 1: | 输入:基于SDN架构的混合卫星网络拓扑图,长度为L的泊松到达的SFC请求队列,卫星网络的状态空间集A |
| 2: | 输出:SFC部署动作 |
| 3: | for episode=1, P do |
| 4: | 对卫星网络状态进行初始化,对SFC队列进行初始化,采用先到先服务策略 |
| 5: | for Bt∈{B1,B2,…,Bm} do |
| 6: | r=Rand() |
| 7: | if r<ν then |
| 8: | 随机选择部署节点,若选取复用动作,则共享度加1 |
| 9: | else |
| 10: | 依据产生的奖励r选取能够产生最大奖励的动作,若选取复用动作,则共享度加1 |
| 11: | end if |
| 12: | 设当前状态为At,执行选取的动作dt,获得奖励rt,执行动作后的状态At+1,将四元组[At,dt,rt,At+1]存入经验回放池中。 |
| 13: | 随机取出批量四元组,组成样本向量集{Sw} |
| 14: | for Si∈{Sw} do |
| 15: | θ=θ+ω(r+εmaxQ*(Aτ,dτ,θ*)) -Q(Aτ-1,dτ-1,θ))∇Q(Aτ-1,dτ-1,θ) |
| 16: | end for |
| 17: | θ更新后将主神经网络参数赋值给目标网络 |
| 18: | end for |
| 19: | 通过主神经网络得到部署策略 |
| 20: | if奖励r<0 then |
| 21: | if链路长度需求太大无法满足可靠性then |
| 22: | 执行算法6-3 |
| 23: | end if |
| 24: | 拒绝该SFC请求 |
| 25: | end if |
| 26: | end for |
3.2 基于低轨卫星节点与链路可靠性备份算法
本节介绍了当链路太长、满足不了可靠性需求或者节点满足不了可靠性需求时,需要采取备份的方法满足可靠性需求,提出基于低轨卫星节点与链路可靠性备份算法。为了尽量提高资源利用率,将可靠性低的低轨卫星节点与链路作为备份节点,算法过程如算法3所示。
| 算法3 基于低轨卫星节点与链路可靠性备份算法 | |
|---|---|
| 1: | 输入:输入低轨卫星可靠性{rv},链路可靠性{re},需要备份的原链路{e}与节点{v}, |
| 2: | 输出:备份动作部署 |
| 3: | 依据低轨卫星可靠性和链路可靠性分别对备份节点与链路进行升序排列 |
| 4: | for排过序的节点队列do |
| 5: | if备份节点满足部署可靠性需求,即rv≥ then |
| 6: | 执行备份动作 |
| 7: | end if |
| 8: | end for |
| 9: | for排过序的链路队列do |
| 10: | if备份链路满足部署可靠性需求,即re≥ then |
| 11: | 执行备份动作 |
| 12: | end if |
| 13: | end for |
| 14: | if找不到满足可靠性的节点或者链路then |
| 15: | 返回原节点或链路无法部署 |
| 16: | else |
| 17: | 备份成功 |
| 18: | end if |
将低可靠性的低轨卫星节点或者链路作为备份节点,当因可靠性低发生错误时,由于仅仅是备份节点,不影响整体SFC的使用与可靠性。此算法是对基于深度强化学习的可靠性保护算法的补充,在实际运行的过程中,应当将备份的信息存储在低轨卫星节点,方便SFC出现可靠性问题之后的恢复。
4 实验分析与结果
4.1 实验环境
本文使用虚拟机进行实验,64位的Ubuntu的操作系统、Intel Core i7-9750H处理器、64GB内存、以Tensorflow为框架,使用的编程语言是Python3.6。
本文使用了OpenSAND仿真模拟器来仿真模拟卫星网络。3颗GEO卫星的轨道为36 000 km,精度参数分别为0°,东经120°,西经120°,LEO卫星采用的是类铱星星座,共66颗低轨卫星,轨道面6个。
4.2 实验结果与分析
本文实验将提出的基于可靠性的卫星服务功能链保护方法与基于模式感知的可靠部署算法(PARD)和基于CCI的可靠部署算法(CCI-RA)进行比较。本文提出的算法在结果图中用DRB表示,比较的指标包括请求接受率、平均时延和不同可靠性需求条件下的请求接受率。
1)请求接受率
从图中可以看出,3种算法都随着时间的增加而请求接受率减小。基于可靠性的卫星服务功能链保护方法基本上能够保持在90%以上,CCI-RA算法次之,PARD算法的请求接受率最差。由于提出的基于可靠性的卫星服务功能链保护方法能够充分复用底层物理网络资源,在保证可靠性基础上对资源进行充分复用,以物理资源可靠性与可靠性需求之差作为优化目标,最大限度减少了资源浪费。
2)平均时延
平均时延是用总时延除以成功部署的SFC条数而得。图2 为3种算法在基于SDN架构的混合卫星网络中的平均时延与SFC请求条数的关系。纵坐标表示平均时延,单位为ms,横坐标表示SFC请求部署的条数,单位为条。
从图中可以看出,3种算法的平均时延首先都随着SFC请求部署的条数的增加而增加,然后趋于平缓。基于可靠性的卫星服务功能链保护方法能够将平均时延保持在4.3 ms左右,CCI-RA算法的平均时延保持在8.2 ms左右,PARD算法的平均时延保持在11.5 ms左右。基于可靠性的卫星服务功能链保护方法通过智能体的训练,使得智能体能够自适应快速执行算法,从而减少了平均时延。
3)不同可靠性需求条件下请求接受率
当可靠性需求增加时,首先,充足的物理资源和可靠性资源能够满足可靠性需求,请求接受率能够达到100%。随着需求的增加,由于物理网络资源有限,请求接受率降低。基于可靠性的卫星服务功能链保护方法能够在可靠性需求增加的条件下保持最高的请求接受率。这是因为基于低轨卫星节点与链路可靠性备份算法能够在可靠性需求提高的情况下通过备份的方法解决物理资源可靠性不足的问题,解决SFC请求的可靠性需求满足不了的问题。同时,基于深度强化学习的可靠性保护算法能够最大限度节约可靠性保护和物理网络资源。同时也可看出,请求接受率对于可靠性需求的变化特别敏感,可靠性需求的少量变化就能够导致请求接受率明显下降。
综上所述,本文提出的基于可靠性的卫星服务功能链保护方法能够在基于SDN架构的混合卫星网络上增加SFC请求接受率,减少平均时延,同时,在不同可靠性需求的条件下也能够保持较高的请求接受率。
5 结束语
本文基于SDN架构的混合卫星网络,讨论了SFC的可靠性部署问题。首先对SFC可靠性保护的问题进行描述,建立了底层网络与SFC请求模型,然后建立了网络服务功能的可靠性需求模型与低轨卫星链路的可靠性需求模型,明确了优化目标与约束条件。接着提出基于可靠性的卫星服务功能链保护方法,包括基于深度强化学习的可靠性保护算法和基于低轨卫星节点与链路可靠性备份算法。实验证明,提出的基于可靠性的卫星服务功能链保护方法能够在基于SDN架构的混合卫星网络上提高SFC请求接受率,减少平均时延,并且在不同的SFC可靠性需求的条件下保持较高的请求接受率。