作为城市公共交通的骨干系统,轨道交通的安全性与运行效率直接影响居民出行体验与城市交通的整体效能。然而,随着轨道交通网络规模扩张、城市化进程加速,传统信号控制方法面临时空动态特性复杂化的挑战,即当前客流需求在时空维度上呈现显著不均衡性,而现有静态配时的信号系统往往难以实时适配动态变化的运输需求[1]。为此,亟须实现轨道交通信号动态调度,以提升轨道交通系统在复杂场景下的服务可靠性、运能利用率和适应性。
目前,轨道交通信号动态调度方法的研究已取得显著进展。李德文[2]等人设计了基于微服务模式的城市交通信号优化控制平台,实现了城市全域智能信号控制,然而其方案知识库的覆盖范围和更新频率限制了系统运行效率。高翔[3]等人设计了一种基于系统韧性理论的城市轨道交通信号系统,但该设计过度关注鲁棒性而牺牲了效率。田超[4]等人设计了一种基于拥堵溯源算法的信号灯多智能体强化学习组织方案,但该方案效率受限于算法复杂度和数据依赖性。任颖[5]等人针对轨道交通信号易出现失真与误差等问题,设计了一种基于变结构PID控制的轨道交通信号联合控制系统,但该系统效率受参数调整规则和系统集成性影响而较低,为提升轨道交通信号系统的运行效率,研究人员需设计轨道交通信号时空演化建模与动态调度方法。王清永[6]等人通过深入挖掘轨道交通的路况特征与客流特征,构建出契合实际运营状况的调度优化模型,他们利用线性规划方法,将该调度优化模型转化为城市轨道交通一体化调度优化模型。线性规划模型难以适应实时变化的客流与列车状态,本质上仍属于静态或准静态优化,缺乏真正的动态响应能力。LI C[7]等人定义了运行数据采集的关联规则,提出了一种关联规则算法,获得对列车运行信息更可靠的理解和运行质量评价,利用贝叶斯方法推理引入制动系统的可靠性和概率分析,从而指导系统的维护策略。但数据关联与概率分析方法更多侧重于事后分析与维护支持,未能形成闭环的实时调度策略,因而无法解决传统方法中因优化能力不足与策略僵化所导致的车辆等待时间延长、排队累积等问题。
1 轨道交通信号时空演化建模与动态调度方法设计
1.1 轨道交通信号时空演化建模
在轨道交通信号调度中,轨道交通信号时空演化建模为轨道交通信号动态调度,提供精准、实时的输入数据。轨道交通信号时空演化建模流程如下。
(1)定义轨道交通信号时空演化状态变量
利用χ(z,t)表示绿灯时长,也就是位置z在时间t的绿灯持续时间。利用δ(z,t)表示轨道交通信号相位状态,其中1表示绿灯,0表示红灯(黄灯仅作为过渡信号,不直接参与动态调度决策)。
(2)构建轨道列车到达率模型
轨道列车到达率φ(z,t)代表位置z在时间t的轨道列车到达频率,其值由轨道列车运行轨迹α(t)决定:
φ(z,t)= $\sum _{\mathit{k}=1}^{\mathit{M}}$ γ(z-αk(t))
式中,M指轨道列车总数;αk(t)指第k个轨道列车运行轨迹;γ指狄拉克函数。狄拉克函数γ被用于描述列车在特定位置与时间是否到达的离散事件,用于判断第k个列车的运行轨迹α(t)是否经过位置z且在时间t被检测到。其数学表达为
$\gamma\left(z-\alpha_{k}(t)\right)=\left\{\begin{array}{l} 1, \text { 如果列车 } k \text { 在时刻 } t \text { 经过位置 } z \\ 0, \text { 其他情况 } \end{array}\right.$
当γ为1 时,表示在当前时刻t与位置z处,有一辆列车正好经过或到达。在轨道交通调度系统中,这对应于:检测器被触发;列车到达事件被记录,用于更新该位置的到达率;信号系统可据此触发相应控制逻辑,如延长绿灯、启动进路等。
当γ为0 时,表示在当前时刻t与位置z处,没有列车经过或到达。此时检测器处于空闲状态;到达率模型中该列车不贡献计数;系统维持当前调度策略或转向其他需服务的交通流。
(3)客流密度模型构建
客流密度η(z,t)代表位置z在时间t的轨道交通乘客密度,其值由乘客上下车行为决定:
$\eta(z, t)=\eta_{0}(z)+\iota \cdot \sum_{k=1}^{M}\left[\gamma\left(z-\alpha_{k}(t)\right) \cdot\right. \left.\left(\kappa_{\text {in }}-\kappa_{\text {out }}\right)\right]$
式中,ι指客流密度变化系数;η0(z)指初始客流密度;κin指列车上车乘客数量;κout指列车下车乘客数量。
(4)构建绿灯时长演化方程
绿灯时长χ(z,t)的演化由轨道列车到达率以及客流需求共同驱动:
式中,λ指客流密度对绿灯时长的负向影响系数;β指轨道列车到达对绿灯时长的正向影响系数; $\frac{\partial \mathit{\chi }\left(\mathit{z},\mathit{t}\right)}{\partial \mathit{t}}$ 指绿灯时长变化率。
(5) 绿灯时长更新
基于绿灯时长变化率对下一时刻的绿灯时长进行更新:
χ(z,t+Δt)=χ(z,t)+ $\frac{\partial \mathit{\chi }\left(\mathit{z},\mathit{t}\right)}{\partial \mathit{t}}$ ·Δt
式中,Δt指时间步长; χ(z,t+Δt)指下一时刻绿灯时长。
(6)构建轨道交通信号相位状态切换方程
轨道交通信号相位状态δ(z,t)由预设的相位切换逻辑与绿灯时长χ(z,t)共同决定:
δ(z,t+Δt)= $\left\{\begin{array}{l}1,\mathit{ }\mathit{i}\mathit{f}\mathit{\chi }\left(\mathit{z},\mathit{t}+\mathit{\Delta }\mathit{t}\right)\ge {\mathit{\chi }}_{\mathit{m}\mathit{i}\mathit{n}}\mathit{ }\mathit{a}\mathit{n}\mathit{d}\mathit{\eta }\left(\mathit{z},\mathit{t}+\mathit{\Delta }\mathit{t}\right)\ge {\mathit{\eta }}_{\mathit{t}\mathit{h}\mathit{r}\mathit{e}\mathit{s}\mathit{h}\mathit{o}\mathit{l}\mathit{d}}\\ 0\mathit{e}\mathit{l}\mathit{s}\mathit{e}\end{array}\right.$
图1展示了基于时空演化模型的轨道交通信号相位动态调度过程,反映了信号配时与客流密度、列车到达率等多源动态因素的耦合关系。该图揭示了信号相位切换不仅受预设最小绿灯时长约束,更关键的是通过实时客流阈值触发机制实现自适应控制。图中动态变化的绿灯时长与相位状态体现了模型对交通流时空异质性的响应能力,为后续D3QN强化学习调度提供了高维状态空间的结构化表征,是实现从静态配时向动态决策转变的关键数据基础。
1.2 动态调度模型设计
本文设计结合双深度Q网络(Double Deep Q-Network,DDQN)与双决斗深度Q网络(Dueling Deep Q-Network,Dueling DQN)的决斗双重深度Q网络(Dueling Double Deep Q Network,D3QN),利用其实施轨道交通信号动态调度。
D3QN的轨道交通信号动态调度流程如下。
(1)状态表示
将轨道交通信号系统的时空状态编码为D3QN的输入:
式中,H(t)指轨道列车状态;hm(t)指第m辆轨道列车的状态,包括列车位置、速度、加速度等分量;A(t)指调度输入的当前状态。
(2)优化Q值计算
结合Dueling DQN的双流结构与DDQN的解耦机制,共同优化Q值计算过程,以缓解Q值过高估计问题,即通过分离价值函数与优势函数来提升策略稳定性[9]。
Q(A(t),b;ϑ)=U(A(t);ϑU)+(B(A(t),b;ϑB)- $\frac{1}{\left|\mathit{B}\right|}{\sum }_{\mathit{b}\mathit{\text{'}}}^{}$ B(A(t),b';ϑB))
式中,b指可选动作,例如延长绿灯、保持当前相位、切换红灯等;ϑ指D3QN网络的参数集合;B指所有可选动作的集合,其定义的是智能体(轨道交通信号系统)的决策范围;Q(A(t),b;ϑ)指在状态 A(t)下选择动作b的预期总奖励,也就是主网络,用于选择动作b;ϑU指状态价值流的参数集合;U(A(t);ϑU)指估计当前状态A(t)的总价值,也就是无论选择何种动作,预期能够获得的总奖励;B(A(t),b;ϑB)指估计在状态A(t)下,动作b相对于其他动作的相对优势; $\frac{1}{\left|\mathit{B}\right|}{\sum }_{\mathit{b}\mathit{\text{'}}}^{}$ B(A(t),b';ϑB)指对优势函数流B(A(t),b;ϑB)在所有动作b'上取平均值[10]。
(3)训练
通过经验回放打破数据相关性,提升样本效率。在经验池中随机采样一批经验元组,其中ϖi是指智能体在状态A(t)i执行动作bi(例如延长绿灯、保持当前相位、切换红灯等)后立即获得的标量奖励;Di是指当前转移是否结束了一个回合的标记[11]。对每个样本计算目标Q值:
若未终止(Di=False):
$\zeta_{t}=\varpi_{i}+\psi\left(A(t)_{i+1}, \operatorname{argmax} Q\left(A(t)_{i}, b_{i} ; \vartheta\right), \vartheta^{-}\right)$
式中,ψ指折扣因子;ϑ-指用于计算目标Q值的目标网络Q(A(t),b;ϑ-)的参数。
其中,奖励函数设计如下:
$\varpi_{i}=\xi_{1} \varpi_{\text {flow }}+\xi_{2} \varpi_{\text {delay }}+\xi_{3} \varpi_{\text {safety }}$
式中,ϖflow指轨道列车通行效率奖励项;ϖdelay指轨道列车延误减少奖励项;ϖsafety指冲突避免奖励项;ξ1、ξ2、ξ3指ϖflow、ϖdelay、ϖsafety的权重系数[12]。
若终止(Di=True):
$\zeta_{t}=\varpi_{i}$
通过损失函数最小化预测Q值与目标Q值的误差:
L(ϑ)= $\frac{1}{\mathit{M}}\sum _{\mathit{I}=1}^{\mathit{M}}$ LH($({\mathit{\zeta }}_{\mathit{t}}{)}_{\mathit{i}}$ -Q(A(t)i,bi;ϑ))
式中, $({\mathit{\zeta }}_{\mathit{t}}{)}_{\mathit{i}}$ 指第i个样本的目标Q值,即对第i个样本,轨道交通信号调整后的预期收益;LH指哈伯损失[13]。
(4)动态调度决策
利用主网络Q(A(t),b;ϑ)选择动作b(例如延长绿灯、保持当前相位、切换红灯等):
bt= $\underset{\mathit{b}}{\mathit{a}\mathit{r}\mathit{g}\mathit{m}\mathit{a}\mathit{x}}$ Q(A(t),b;ϑ)
通过选择动作b实施轨道交通信号相位更新:
δ(z,t+1)=F(A(t),bt)
式中,F指轨道列车运动学方程[14]。
D3QN的核心创新在于结合DDQN解耦与Dueling结构实现了稳定、高效的动态调度策略,可以适应复杂多变的轨道交通场景,提高轨道交通信号系统的运行效率。列车动态调度相位状态图如图2所示。
图2呈现了D3QN算法在轨道交通动态调度中的相位状态优化结果,显示出算法在多列车协同场景下对信号相位的智能决策能力。图中相位状态的时空分布反映了D3QN通过价值函数与优势函数的解耦计算,在保证通行效率的同时有效平衡了各方向的延误成本。该调度模式克服了传统固定配时方案的刚性局限,通过深度强化学习的长期奖励机制实现了信号策略与列车运行状态的动态匹配,验证了D3QN在复杂枢纽站场景下的优越性。
2 实例测试
2.1 实验过程
实验场景设计如下:选取某大型城市轨道交通枢纽站作为实验场景,如图3所示。
该枢纽站日均客流量超50万人次,有3条线路在此交会,并在晚高峰时段(17:30—19:30,此期间乘客流量骤增、列车密集到发)开展实验。枢纽站线路图如图4所示。
实验轨道交通枢纽站配备智能信号系统,支持列车运行间隔和到发顺序的动态调整。其中3条交会线路均为双向运行线路,高峰时段最小行车间隔2分钟。
我们通过对实验交通枢纽站进行轨道交通信号时空演化建模,为该枢纽站轨道交通信号动态调度提供精准、实时的输入数据。其中实验参数设置情况如下:
•χmin:15 s;
•ηthreshold:3人/平方米;
•Δt:1 s;
•λ:0.8秒/(人/平方米);
•β;1.5秒/列。
实验交通枢纽站的轨道交通信号时空演化建模结果示例如表1所示。
表1 轨道交通信号时空演化建模结果示例(18:00时刻)Tab.1 Example of modeling results for the spatio-temporal evolution of rail transit signals (at 18:00) |
| 序号 | 位置 | 绿灯时长 | 相位状态 |
|---|---|---|---|
| 1 | 站台 | 25秒 | 1(绿灯) |
| 2 | 区间1 | 15秒 | 0(红灯) |
| 3 | 区间2 | 15秒 | 0(红灯) |
我们利用设计的D3QN实施实验交通枢纽站轨道交通信号动态调度,其中D3QN的实验参数设置情况如表2所示。
表2 D3QN的实验参数设置情况Tab.2 Experimental parameter settings of D3QN |
| 项目 | 数值 | 项目 | 数值 |
|---|---|---|---|
| 经验回放池容量 | 10 000 | ψ | 0.99 |
| 小批量采样大小 | 64 | 初始学习率 | 0.000 3 |
| 目标网络同步频率 | 每100步 | 调度周期 | 10 s |
| ξ1 | 0.5 | ξ3 | 0.1 |
| ξ2 | 0.4 | — | — |
我们在表2所列参数设置下,测试设计方法在实验交通枢纽站的轨道交通信号动态调度效果,接着测试设计方法下的轨道交通系统运行效率,具体测试指标包括车辆平均等待时间、车辆平均队伍长度。
测试选取城市交通信号优化控制平台与基于系统韧性理论的城市轨道交通信号系统作为对比测试对象。其中,城市交通信号优化控制平台代表了当前智能交通系统中数据驱动的集中式优化的主流工程实践。其基于微服务架构,融合历史与实时数据构建信号知识库进行配时优化,具备较强的技术典型性和工程代表性。选取该方法进行对比,能够有效验证本文D3QN方法在实时动态响应与策略灵活性上是否优于现有自适应优化系统。而基于系统韧性理论的信号系统体现了复杂交通系统鲁棒性设计与韧性管理的前沿学术理念,其通过引入韧性理论,强调系统在干扰下的维持与恢复能力。选取该方法作为对照,有助于凸显本文方法在兼顾运行效率与系统稳定性方面的平衡能力,从而体现本文研究在理论融合与应用创新上的进展。
2.2 测试结果分析
设计方法的实验交通枢纽站轨道交通信号动态调度效果如表3所示。
表3 实验交通枢纽站轨道交通信号动态调度效果Tab.3 Dynamic dispatching effect of rail transit signals at experimental transportation hub stations |
| 时间 | 当前相位 (s) | 列车状态 | 客流密度 | D3QN调 度动作 | 轨道交通信号 相位更新 |
|---|---|---|---|---|---|
| 17:30 | 1 (绿灯) | 列车A:距站台200 m,速度15 m/s;列车B:距站台500 m,速度20 m/s | 45人/分钟 (中等) | a=2 (延长绿灯) | 相位1 →东西向绿灯(45秒) |
| 17:31 | 1 (绿灯) | 列车A:已通过;列车B:距站台300 m,速度22 m/s;列车C:新进入区段,距站台800 m,速度18 m/s | 50人/分钟 (上升) | a=0 (保持相位) | 相位1 →东西向绿灯(15秒) |
| 17:32 | 1 (绿灯) | 列车B:已通过;列车C:距站台600 m,速度16 m/s | 55人/分钟 (高峰) | a=1 (切换红灯) | 相位1 →相位0(南北向红灯,30秒) |
| 17:33 | 0 (红灯) | 列车C:停车等待;列车D:距站台100 m,速度10 m/s(对向) | 40人/分钟 (下降) | a=0 (保持相位) | 相位0 →南北向红灯(30秒) |
表3所示的动态调度效果表明,本文设计方法能够实现实验交通枢纽站轨道交通信号的动态调度。
本文设计方法与两种对比方法的车辆平均等待时间对比测试结果如图5所示。
设计方法的车辆平均等待时间整体低于250 s,在三种测试方法中最低,说明设计方法下的轨道交通系统运行效率最高。这是由于设计方法实施了轨道交通信号时空演化建模,实现了时空状态变量的闭环反馈。同时,采用的D3QN方法具备长期收益引导、样本效率提升、抗干扰稳定性、全局优化能力以及动态环境适应性等特性,因此能够提高轨道交通信号系统的运行效率。
设计方法与两种对比方法的车辆平均队伍长度对比测试结果如图6所示。
设计方法的车辆平均队伍长度初始测试值较高,接着在调度中迅速降低,整体在20 m左右,在三种测试方法中最低,说明设计方法下的轨道交通系统运行效率最高。
表4 各方法在晚高峰时段的调度性能对比Tab.4 Comparison of scheduling performance of each method during the evening rush hour |
| 方法 | 平均等 待时 间/s | 平均队 伍长 度/m | 调度响 应延 迟/s | 状态识 别准确 率/% | 是否支 持实时 闭环调度 |
|---|---|---|---|---|---|
| 本文D3QN | ≤250 | ≈20 | ≤1.5 | 94.2 | 是 |
| 文献[7]方法 | 310—340 | 28—32 | 4.2—5.0 | 88.5 | 否(后验 分析 为主) |
| 城市交通信号 优化控制平台 | 280—300 | 24—27 | 3.0—3.8 | 85.1 | 部分 支持 |
| 基于系统韧性 理论的信号系统 | 320—360 | 30—35 | 2.8—3.5 | 82.3 | 是(侧重 鲁棒性) |
为从计算效率维度进一步对比各方法在实际部署中的可行性,我们在相同实验环境下对四种方法的算法时间复杂度与空间复杂度进行了量化测试。测试平台配置为 Intel i7-12700H CPU、32GB RAM、NVIDIA RTX 3060 GPU,软件环境为 Python 3.9 + PyTorch 1.12。测试记录了各方法在晚高峰时段内的单次决策平均耗时与总训练/配置时间,通过监测各方法运行时的内存占用量,得到结果如表5所示。
表5 各方法时间-空间复杂度对比Tab.5 Comparison of time and space complexity of each method |
| 方法 | 单次决策 时间/ms | 模型/知识 库内存占 用(MB) | 运行时 峰值内存 (MB) |
|---|---|---|---|
| 本文D3QN | 1.2 | 1.73 | 45.2 |
| 文献[7]方法 | 4.5 | 320.5(历史数据 集+规则库) | 520.8 |
| 城市交通信号 优化控制平台 | 3.1 | 85.4(知识库+ 微服务镜像) | 210.6 |
| 基于系统韧性 理论的信号系统 | 2.8 | 12.7(阈值配置+ 状态缓存) | 68.3 |
3 结束语
本文设计方法采用了轨道交通信号时空演化建模技术,并将建模结果作为D3QN模型的输入,随后利用D3QN模型,结合DDQN解耦与Dueling结构,实现了稳定且高效的动态调度策略,这对提升轨道交通信号系统的运行效率具有重大的现实意义。