Development of an adaptive traffic light control system using markov decision processes

Cover Page

Cite item

Full Text

Abstract

The paper presents the results of development of the MARLIN24 software suite, designed to implement adaptive control of traffic light systems. The primary objective of the development is to optimize the operation of traffic signals in order to minimize the total time vehicles spend within the detection zones of optical sensors. The architecture of the software suite comprises three principal modules: the adaptive control module, the traffic flow simulation module, and the validation module, complemented by an additional visualization module. The adaptive control module integrates four control approaches: fixed-time planning, uncoordinated reinforcement learning, coordinated multi-agent reinforcement learning, and phase duration control based on a MISO fuzzy logic controller (Multiple Input Single Output, MISO). Traffic flow simulation for performance evaluation is conducted via a microsimulation module utilizing the "Intelligent Driver Model" (IDM). The validation module employs copula functions to generate realistic optical sensor data reflecting actual traffic conditions, with marginal distributions derived from historical traffic intensity data collected during 2019-2020. The MARLIN24 software suite facilitates the analysis and comparison of multiple traffic control models on real-world sections of the road network in Krasnoyarsk under various conditions.

About the authors

Timofey Ivanovich Tislenko

Siberian Federal University

Email: timtisko@mail.ru
Krasnoyarsk

Darya Vladislavovna Semenova

Siberian Federal University

Email: DVSemenova@sfu-kras.ru
Krasnoyarsk

References

  1. АСУДД «МИКРО–М».[Электронный ресурс]. – Режим до-ступа: http://asud55.ru/archives/1346.
  2. ВОЙТИШЕК А.В. Основы метода Монте-Карло: Учебноепособие / Под ред. В.Н. Задорожного. Новосибирск: НГУ,2010. – 108 с.
  3. ЗАЛИЗНЯК В.Е. Численные методы. Основы научных вы-числений: учебное пособие для бакалавров. – М.: ЮРАЙТ,2012. – С. 356.
  4. ТИСЛЕНКО Т.И. Моделирование интенсивностей транс-портных потоков при помощи копул Маршала – Олкина //ИТ. НАУКА. КРЕАТИВ. Т. 5. Системы управления, инфор-мационные технологии и математическое моделирование:материалы I Междунар. форума (Омск, 14–16 мая 2024 г.):в 5 ч. / Под науч. ред. П.С. Ложникова, отв. ред. И.Г. Оль-гина. – Омск: Изд-во ОмГТУ, 2024. – С. 70.
  5. ТИСЛЕНКО Т.И. Моделирование интенсивностей транс-портных потоков для модуля валидации комплексаMARLIN24 // Информационные технологии и математиче-ское моделирование (ИТММ-2024): Материалы XXIII Меж-дународной конференции имени А.Ф. Терпугова. – Томск:Изд-во TГУ, 2024. – С. 336–341.
  6. Транспортная стратегия Российской Федерации. Утвер-ждена распоряжением Правительства Российской Федера-ции от 22 ноября 2008 года №1734-р. 2008 [Электронныйресурс]. – Режим доступа: http://mintrans.gov.ru.
  7. BISHOP C.M. Pattern Recognition and Machine Learning. –Springer, 2007.
  8. BOEING G. OSMnx: Python for Street Networks. [Электрон-ный ресурс]. – Режим доступа: https://osmnx.readthedocs.io/.
  9. CARINI RAYMOND N. Application of the UTCS-1 NetworkSimulation Model to Select Optimal Signal Timings in a Multi-Linear Street System // Interim Report. Publication for UrbanTraffic Control System. Joint Highway Research Project. –1977. – P. 164.
  10. CHANDLER M.J.H. SCOOT and Bus Detection. OTRC Proc.Annual Summer Meeting // Traffic Control Studies in London. –1990. – Vol. P269. – P. 111–128.
  11. EL-TANTAWY S., ABDULHAI B., ABDELGAWAD H.Multiagent Reinforcement Learning for Integrated Networkof Adaptive Traffic Signal Controllers (MARLIN-ATSC):Methodology and Large-Scale Application on DowntownToronto // IEEE Trans. on Intelligent Transportation Systems. –2013. – Vol. 14, No. 3. – P. 1140–1150.
  12. EPANECHNIKOV V.A. Non-Parametric Estimation of aMultivariate Probability Density // Theory of Probability andIts Applications. – 1969. – P. 153–158.
  13. GARTNER N.H. OPAC: Strategy for Demand-responsiveDecentralized Traffic Signal Control // IFAC Proc. Volumes. –1990. – Vol. 23. – P. 241–244.
  14. MARSHALL A.W., OLKIN I. Families of MultivariateDistributions // Journal of the American StatisticalAssociation. – 1988. – Vol. 83, No. 403. – P. 834–841.
  15. NASH J. Equilibrium Points in N-Person Games. // Proc. ofthe National Academy of Sciences. – 1950. – Vol. 36, No. 1. –P. 48–49.
  16. NELSEN R. B. An Introduction to Copulas. – Springer, 2006.–270 p.
  17. NETWORKX DEVELOPERS. NetworkX. [Электронный ре-сурс]. – https://networkx.org/.
  18. SUTTON R.S., BARTO A.G. Reinforcement Learning: AnIntroduction. – Cambridge, MA: MIT Press, 2015.–P. 145–147.
  19. TISLENKO T.I., SEMENOVA D.V., SERGEEVA N.A. et al.Multiagent Reinforcement Learning for Integrated Network:Applying to a Part of the Road Network of KrasnoyarskCity // IEEE 16th Int. Conf. on Application of Information andCommunication Technologies (AICT–2022). – 2022. – P. 1–5.
  20. TISLENKO T.I., SEMENOVA D.V., SOLDATENKO A.A.Modeling and Comparison of Different ManagementApproaches on the Intersections Network // IEEE 26th Int.Conf. Distributed Computer and Communication Networks:Control, Computation, Communications (DCCN–2023). –2023. – P. 25–29.
  21. TREIBER M., HENNECKE A., HELBING D. Congestedtraffic states in empirical observations and microscopicsimulations // Transportation Physics Reviews E. – 2000. –Vol. 62. – P. 1805–1824.
  22. TREIBER M., HELBING D. Realistische Mikrosimulation vonStraBenverkehr mit einem einfachen Modell // Symposium"Simulationstechnik ASIM–2002 Rostock.–2002.–P. 514–520.
  23. QUESADA-MOLINA J.J., RODRIGUEZ-LALLENA J.A.Bivariate copulas with quadratic sections // Journal ofNonparametric Statistics. – 1995. – Vol. 5, No. 4. – P. 323–337.
  24. ZADEH L.A. Fuzzy Sets, Fuzzy Logic, Fuzzy Systems. – WorldScientific Press, 1996.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download


Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

Согласие на обработку персональных данных

 

Используя сайт https://journals.rcsi.science, я (далее – «Пользователь» или «Субъект персональных данных») даю согласие на обработку персональных данных на этом сайте (текст Согласия) и на обработку персональных данных с помощью сервиса «Яндекс.Метрика» (текст Согласия).