Development and Research of Reconfi gurable High-Speed Image Recognition Algorithms for Traffi c Situation Assessment Based on Specialized Mobile Devices with Parallel-Pipeline Architecture

Cover Page

Cite item

Full Text

Abstract

The article summarizes the results of studying the use of reconfigurable computing environments for image processing tasks obtained on board unmanned transport systems. A new approach was proposed to the development of specialized, high-speed algorithms for recognizing images of a road scene, designed for hardware execution on computers with a parallel-pipeline architecture based on the model of reconfigurable computing environments. The architecture and algorithmic tooling of such environments for traffic situation assessment problems are considered. A new class of image recognition algorithms based on the calculation of LBP, HOG descriptors and the SVM classifier has been formed. It is shown that calculations of HOG descriptors in the layer of a reconfigurable computing environment are performed in one machine cycle for the entire image, and the execution time, when implemented on an Intel Arria 10 FPGA, does not exceed 20 ns.

About the authors

Stanisalv V. Shidlovskiy

Tomsk State University

Author for correspondence.
Email: shidlovskiysv@mail.ru
Russian Federation, 36 Lenin Ave., Tomsk, 634050, Russia

Dmitry V. Shashev

Tomsk State University

Email: dshashev@mail.tsu.ru
Russian Federation, 36 Lenin Ave., Tomsk, 634050, Russia

Anton S. Bondarchuk

Tomsk State University

Email: bondarchuk.a.c@gmail.com
Russian Federation, 36 Lenin Ave., Tomsk, 634050, Russia

Vladislav V. Shatravin

Tomsk State University

Email: shatravin@stud.tsu.ru
Russian Federation, 36 Lenin Ave., Tomsk, 634050, Russia

Mihail V. Okunskiy

Tomsk State University

Email: iamleftbrain@gmail.com
Russian Federation, 36 Lenin Ave., Tomsk, 634050, Russia

References

  1. K. Aizawa, K. Sakaue, Y. Suenaga Image Processing Technologies. Algorithms, Sensors and Applications, USA, NY, New-York, Marcel Dekker, 2004, 282 pp.
  2. D.G. Bailey Design for Embedded Image Processing on FPGAs, SG, Singapore, John Wiley & Sons, 2011, 482 pp.
  3. M. Fularz, M. Kraft, A. Schmidt, A. Kasiński Int. J. Adv. Robot. Syst., 2015, 12, 1. doi: 10.5772/61434.
  4. P. Garcia-Risueno, P.E. Ibanez Int. J. Mod. Phys., 2012, 23(7), 1230001. doi: 10.1142/S0129183112300011.
  5. S. Saxena, N. Sharma, S. Sharma Int. J. Adv. Res. Comp. Commun. Engin., 2013, 2(4), 1896. doi: 10.17148/IJARCCE.2013.2420.
  6. I.A. Kalyaev, I.I. Levin, E.A. Semernikov, V.I. Shmoilov Reconfigurable Multi-Pipeline Computing Structures [Rekonfiguriruemye multikonveyernye vychislitelnye struktury], RF, Rostov-on-Don, SSC RAS, 2008, 393 pp. (in Russian).
  7. M.S. Kocherga, V.I. Shmoilov Vestnik UNTs RAN [Bulletin of South Scientific Centre of RAS], 2008, 4(2), 18. (in Russian).
  8. A. Konovalchik Modern Automation Technologies [Sovremennye tekhnologii avtomatizatsii], 2013, 3, 70. (in Russian).
  9. Y. Jiang, S. Liu, H. Zhang, X. Kong Optics Communications, 2014, 332, 359. doi: 10.1016/J.OPTCOM.2014.07.038.
  10. C. Shi, J. Yang, Y. Han, Z. Cao, Q. Qin, L. Liu, N.-J. Wu, Z. Wang In Proc. 2014 IEEE International Solid-State Circuits Conference Digest of Technical Papers (ISSCC), 2014, 57, 128. doi: 10.1109/ISSCC.2014.6757367.
  11. V.M. Khachumov, A.Yu. Popkov, I.V. Sochenkov In Proc. National Supercomputing Forum (NSCF-2020) [Sbornik tezisov dokladov Tretego Nacionalnogo Superkompyuternogo Foruma (NSKF-2014)], RF, Pereslavl-Zalessky, Program Systems Institute of the RAS, 2014, pp. 13–17 (in Russian).
  12. N. Jouppi, C. Young, N. Patil, D. Patterson, G. Agrawal, R. Bajwa, S. Bates, S. Bhatia, N. Boden, A. Borchers, R. Boyle, P. Cantin, C. Chao, C. Clark, J. Coriell, M. Daley et al. In 2017 ACM/IEEE 44th Annual International Symposium on Computer Architecture (ISCA), 2017, 1. doi: 10.1145/3079856.3080246.
  13. S. Lie IEEE Micro, 2023, 43(3), 18. doi: 10.1109/MM.2023.3256384.
  14. S. Chun, T. Kuo, H. Tsai, C. Liu, C. Wang, J. Hsieh, T. Lin, T. Ku, D.C. Yu In 2020 IEEE 70th Electronic Components and Technology Conference (ECTC), USA, FL, Orlando, 2020, pp. 1–6. doi: 10.1109/ECTC32862.2020.00013.
  15. N. Dey, G. Gosal, H. Khachane, W. Marshall, R. Pathria, M. Tom, J. Hestness arXiv:2304.03208, 2023, 1. doi: 10.48550/arXiv.2304.03208.
  16. E. Talpes, D.D. Sarma, D.F. Williams, S. Arora, T. Kunjan, B. Floering, A. Jalote, C. Hsiong, C. Poorna, V. Samant, J. Sicilia, A.K. Nivarti, R. Ramachandran, T. Fischer, B. Herzberg, B. McGee et al. IEEE Micro, 2023, 43(3), 31. doi: 10.1109/MM.2023.3258906.
  17. D.V. Shashev, A.S. Bondarchuk Tomsk State University Journal of Control and Computer Science [Vestnik Tomskogo gosudarstvennogo universiteta. Upravlenie, vychislitelnaya tekhnika i informatika], 2023, 65, 116 (in Russian). doi: 10.17223/19988605/65/12.
  18. D.V. Shashev, A.A. Taganov, M. Mondal, M.V. Okunsky J. Phys.: Conf. Ser, 2020, 1611, 012070. doi: 10.1088/1742-6596/1611/1/012070.
  19. A.S. Bondarchuk, D.V. Shashev, S.V. Shidlovskiy In Proc. Distributed Computer and Communication Networks: 24th International Conference, DCCN 2021 (RF, Moscow, 20–24 September, 2021), Ser. Communications in Computer and Information Science (CCIS), Eds V.M. Vishnevskiy, K.E. Samouylov and D.V. Kozyrev, FRG, Cham, Springer, 2022, 1552, pp. 408–419. doi: 10.1007/978-3-030-97110-6_32.
  20. N. Attarmoghaddam, K.F. Li IEEE Transactions on Circuits and Systems II: Express Briefs, 2022, 69(4), 2306. doi: 10.1109/TCSII.2022.3148228.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Copyright (c) 2025 Shidlovskiy S.V., Shashev D.V., Bondarchuk A.S., Shatravin V.V., Okunskiy M.V.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».