基于MS_DQN算法的交通信号控制与仿真

doi:10.3969/j.issn.1674-0696.2026.07.11

重庆交通大学学报（自然科学版） ›› 2026, Vol. 45 ›› Issue (7): 94-100.DOI: 10.3969/j.issn.1674-0696.2026.07.11

• 交通运输+人工智能 • 上一篇

基于MS_DQN算法的交通信号控制与仿真

黄德启1，曹春萌2，倪自聪2，王东伟1

(1. 新疆大学电气工程学院，新疆乌鲁木齐 830017； 2. 新疆大学智能科学与技术学院，新疆乌鲁木齐 830017)

收稿日期:2025-12-30 修回日期:2026-04-16 发布日期:2026-07-21
作者简介:黄德启(1972—)，男，湖北武汉人，副教授，博士，主要从事交通控制与智能系统方面的研究。E-mail:2646988868@qq.com 通信作者：曹春萌(2000—)，女，河南周口人，硕士研究生，主要从事智能交通控制方面的研究。E-mail:19913372281@163.com
基金资助:
新疆维吾尔自治区自然科学基金项目(2022D01C430);国家自然科学基金项目(51468062)

Traffic signal control and simulation based on MS_DQN algorithm

Huang Deqi1, Cao Chunmeng2, Ni Zicong2, Wang Dongwei1

(1. College of Electrical Engineering, Xinjiang University, Urumqi 830017, Xinjiang, China; 2. School of Intelligence Science and Technology, Xinjiang University, Urumqi 830017, Xinjiang, China)

Received:2025-12-30 Revised:2026-04-16 Published:2026-07-21

摘要/Abstract

摘要： 针对DQN(deep Q-Network)算法在城市交通信号控制中策略更新滞后的问题，提出一种改进的双层探索及多步回报算法MS_DQN(multi-step deep Q-Network)。该算法通过融合ε-greedy(ε-贪心策略)和玻尔兹曼(Boltzmann)策略构建双层探索机制，帮助智能体更全面地探索未知空间以及平衡探索与利用；同时引入未来多个时间步的奖励，通过多步回报机制，减少样本之间的相关性，获得更高的长期奖励，提高学习的稳定性。在SUMO(simulation of urban mobility)仿真平台的实验结果表明：MS_DQN算法能显著提升交叉口通行效率，为城市智能交通控制提供有效的解决方案。

关键词: 交通工程；交通信号控制；MS_DQN算法；双层探索机制；多步回报机制

Abstract: To address the issue of policy update lag in urban traffic signal control by the deep Q-network (DQN) algorithm, an improved double-layered exploration and multi-step reward algorithm, that is MS_DQN (multi-step deep Q-network) algorithm, was proposed. The proposed algorithm constructed a double-layered exploration mechanism by combining(ε-greedy strategy) and Boltzmann strategy, enabling the agent to explore unknown spaces more comprehensively as well as balance exploration and exploitation. Meanwhile, rewards from multiple future time steps were introduced. Through a multi-step reward mechanism, sample correlation was reduced, higher long-term rewards were obtained and the learning stability was enhanced. Experimental results on the simulation of urban mobility (SUMO) platform demonstrate that the MS_DQN algorithm can significantly improves intersection throughput efficiency, providing an effective solution for urban intelligent traffic control.

Key words: traffic engineering; traffic signal control; MS_DQN algorithm; double-layered exploration mechanism; multi-step reward mechanism

中图分类号:

U491
TP181

黄德启1，曹春萌2，倪自聪2，王东伟1. 基于MS_DQN算法的交通信号控制与仿真[J]. 重庆交通大学学报（自然科学版）, 2026, 45(7): 94-100.

Huang Deqi1, Cao Chunmeng2, Ni Zicong2, Wang Dongwei1. Traffic signal control and simulation based on MS_DQN algorithm[J]. Journal of Chongqing Jiaotong University(Natural Science), 2026, 45(7): 94-100.

/ 推荐

参考文献

［1］李振龙, 张靖思, 刘钦, 等. 基于改进Q学习的双周期干线信号协调控制方法［J］. 科学技术与工程, 2021, 21(29): 12744-12750.
Li Zhenlong, Zhang Jingsi, Liu Qin, et al. Coordinated control method of double-cycling arterial based on improved Q-learning［J］. Science Technology and Engineering, 2021, 21(29): 12744-12750.
［2］ Mnih V, Kavukcuoglu K, Silver D, et al. Human-level control through deep reinforcement learning［J］. Nature, 2015, 518(7540): 529-533.
［3］晏弼成, 刘念, 王琨, 等. 一种平面交叉路口交通信号控制新方法［J］. 信息技术, 2022(6): 54-59, 65.
Yan Bicheng, Liu Nian, Wang Kun, et al. A new method of traffic signal control at level crossing［J］. Information Technology, 2022(6): 54-59, 65.
［4］任安妮, 周大可, 冯锦浩, 等. 基于注意力机制的深度强化学习交通信号控制［J］. 计算机应用研究, 2023, 40(2): 430-434.
Ren Anni, Zhou Dake, Feng Jinhao, et al. Attention mechanism based deep reinforcement learning for traffic signal control［J］. Application Research of Computers, 2023, 40(2): 430-434.
［5］赵乾, 张灵, 赵刚, 等. 双环相位结构约束下的强化学习交通信号控制方法［J］. 交通运输工程与信息学报, 2023, 21(1): 19-28.
Zhao Qian, Zhang Ling, Zhao Gang, et al. Reinforcement learning for traffic signal control under double-loop phase-structure constraints［J］. Journal of Transportation Engineering and Information, 2023, 21(1): 19-28.
［6］刘智敏, 叶宝林, 朱耀东, 等. 基于深度强化学习的交通信号控制方法［J］. 浙江大学学报(工学版), 2022, 56(6): 1249-1256.
Liu Zhimin, Ye Baolin, Zhu Yaodong, et al. Traffic signal control method based on deep reinforcement learning［J］. Journal of Zhejiang University (Engineering Science), 2022, 56(6): 1249-1256.
［7］ Joo H, Ahmed S H, Lim Y. Traffic signal control for smart cities using reinforcement learning［J］. Computer Communications, 2020, 154: 324-330.
［8］ Tan Tian, Bao Feng, Deng Yue, et al. Cooperative deep reinforcement learning for large-scale traffic grid signal control［J］. IEEE Transactions on Cybernetics, 2020, 50(6): 2687-2700.
［9］ Nishi T, Otaki K, Hayakawa K, et al. Traffic signal control based on reinforcement learning with graph convolutional neural nets［C］∥2018 21st International Conference on Intelligent Transportation Systems (ITSC). Maui, USA. IEEE, 2018: 877-883.
［10］徐建闽, 周湘鹏, 首艳芳. 基于深度强化学习的自适应交通信号控制研究［J］. 重庆交通大学学报(自然科学版), 2022, 41(8): 24-29.
Xu Jianmin, Zhou Xiangpeng, Shou Yanfang. Adaptive traffic signal control based on deep reinforcement learning［J］. Journal of Chongqing Jiaotong University (Natural Science), 2022, 41(8): 24-29.
［11］陈东静, 李林波, 朱锐, 等. 信号交叉口可变车道主预信号配时协调关系研究［J］. 重庆交通大学学报(自然科学版),2013, 32(2): 252-257.
Chen Dongjing, Li Linbo, Zhu Rui, et al. Coordinate relationship between main signals and pre-signals of the variable lane at signalized intersection［J］. Journal of Chongqing Jiaotong University (Natural Science), 2013, 32(2): 252-257.
［12］ Zhang Rusheng, Ishikawa A, Wang Wenli, et al. Using reinforcement learning with partial vehicle detection for intelligent traffic signal control［J］. IEEE Transactions on Intelligent Transportation Systems, 2021, 22(1): 404-415.
［13］ Wei Hua, Zheng Guanjie, Yao Huaxiu, et al. IntelliLight: a reinforcement learning approach for intelligent traffic light control［C］∥Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York, USA, ACM, 2018: 2496-2505.
［14］ Liang Xiaoyuan, Du Xunsheng, Wang Guiling, et al. A deep reinforcement learning network for traffic light cycle control［J］. IEEE Transactions on Vehicular Technology, 2019, 68(2): 1243-1253.

[1]	陈昱光1, 2, 胡山1, 林弘灏1, 黄金涛2, 郭凤香1. 基于改进YOLOv8-DeepSORT的城市交叉口交通冲突自动检测方法[J]. 重庆交通大学学报（自然科学版）, 2025, 44(10): 35-42.
[2]	朱政泽, 熊宇恒. 基于多时空特征和图注意力网络的交通流预测模型研究[J]. 重庆交通大学学报（自然科学版）, 2025, 44(10): 51-59.
[3]	崔铁军1, 2, 李莎莎1, 2, 王鑫阳1, 2. 地铁站乘客使用设备故障及其导致的人员伤亡过程研究[J]. 重庆交通大学学报（自然科学版）, 2025, 44(10): 60-64.
[4]	陈红1, 刘洋1, 梁子君2, 肖赟2, 李琛3. 青年货车驾驶人危险驾驶行为影响因素分析[J]. 重庆交通大学学报（自然科学版）, 2025, 44(10): 65-73.
[5]	何保红，谢维凯，杨夕蕊. 基于居住偏好视角的城市居民通勤与居住再选择研究[J]. 重庆交通大学学报（自然科学版）, 2025, 44(7): 83-90.
[6]	陈鲁川1，张姝玮2，王亮1，苏东兰3，郭忠印4. 基于演化博弈的高速公路诱导分流预测模型[J]. 重庆交通大学学报（自然科学版）, 2025, 44(7): 91-98.
[7]	王连震，周铭，程国柱. 基于SEM与fsQCA的出租车驾驶人危险驾驶行为多致因组态分析[J]. 重庆交通大学学报（自然科学版）, 2025, 44(7): 99-109.
[8]	朱震军1，张芮嘉1，韩吉1，唐超2，过秀成3. 不同出行目的下城市建成环境对自行车出行时间的影响[J]. 重庆交通大学学报（自然科学版）, 2025, 44(3): 88-95.
[9]	李晓伟1，刘倩1，石兰馨1,2，李昊田1，陈君1，时宗琦3. 天气和建成环境对乘客公交通勤时间的非线性影响[J]. 重庆交通大学学报（自然科学版）, 2025, 44(3): 96-104.
[10]	张旭1，杨晓光2，庞聿皓3,李英帅3. 交通语言综述化研究[J]. 重庆交通大学学报（自然科学版）, 2024, 43(1): 39-45.
[11]	邵长桥，陈艳清. 高速公路收费站ETC/MTC混合收费车道通行能力计算模型研究[J]. 重庆交通大学学报（自然科学版）, 2024, 43(1): 52-58.
[12]	王登忠1,2，马东方3，方博3，王如杰3，袁超1. 基于移动性导向的公交网络可达性研究[J]. 重庆交通大学学报（自然科学版）, 2024, 43(1): 59-66.
[13]	赵欣，李瑞，酆磊. 基于公交优先的干线协调信号控制改进模型[J]. 重庆交通大学学报（自然科学版）, 2024, 43(1): 67-74.
[14]	周和平，李文杰. 考虑鲁棒成本与绝对后悔的最短路径问题研究[J]. 重庆交通大学学报（自然科学版）, 2024, 43(1): 91-98.
[15]	赵红专, 李林, 周旦, 陈建鹏, 展新. 车联网环境下的可变单向交通控制算法研究[J]. 重庆交通大学学报（自然科学版）, 2023, 42(6): 111-118.

基于MS_DQN算法的交通信号控制与仿真

Traffic signal control and simulation based on MS_DQN algorithm

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics