Lucas – kanade optical flow computation based on the finite dimensional sampling theories

Cover Page

Cite item

Full Text

Abstract

This paper considers Lucas – Kanade optical flow computation using the finite dimensional sampling theories based on Fourier transform. Such a procedure regards all image pixels for image derivative evaluation and is able to provide high accuracy of optical flow computation. This paper proposes a hybrid image differentiation method which combines the finite dimensional sampling theories with Scharr operator in order to improve accuracy of optical flow computation. Experiments on optical flow computation for real videos on the basis of the finite dimensional sampling theories as well as the hybrid method have been conducted and their results are presented. Leveraging of the finite dimensional sampling theories allows to improve accuracy of optical flow computation for videos including poor illumination and shaded regions. The research results can be applied in various computer vision tasks such as visual object tracking.

About the authors

Mais Pasha Ogly Farkhadov

V.A. Trapeznikov Institute of Control Sciences of RAS

Email: mais@ipu.ru
Moscow

Rustam Gennad'evich Teplukhin

Bauman Moscow State Technical University

Email: teplukhinrg@student.bmstu.ru
Moscow

Alexander Nikolaevich Abramenkov

V.A. Trapeznikov Institute of Control Sciences of RAS

Email: aabramenkov@asmon.ru
Moscow

Alexander Viktorovich Abdulov

V.A. Trapeznikov Institute of Control Sciences of RAS

Email: aabdulov@asmon.ru
Moscow

Igor Igorevich Lychkov

Bauman Moscow State Technical University

Email: lychkovi@bmstu.ru
Moscow

References

  1. ЛЫЧКОВ И.И., ТЕПЛУХИН Р.Г. Применение конечно-мерных теорем отсчетов для отслеживания транс-портных средств // Материалы III Международной научно-практической конференции «Интеллектуальные транспортные системы» – М., 2024. – С. 654–666.
  2. ТЕРЕНТЬЕВ Е.Н., МАХНЮК М.В., БАЛАБАН Е.Д. и др. Градиентная морфология в оценивании параметров объектов в изображениях // Материалы 21-й Междуна-родной конференции «Современные проблемы дистан-ционного зондирования Земли из космоса». – М., 2023. – Т. 13. – С. 56.
  3. ABOUTABIT N. A new construction of an image edge de-tection mask based on Caputo – Fabrizio fractional deriva-tive // The Visual Computer. – 2021. – Vol. 37, No. 6. – P. 1545–1557.
  4. AL-QUDAH S., YANG M. Large Displacement Detection Using Improved Lucas – Kanade Optical Flow // Sensors. – 2023. – Vol. 23, No. 6. – P. 3152.
  5. ARORA S., MATHUR T., AGARWAL S. et al. Applications of fractional calculus in computer vision: a survey // Neuro-computing. – 2022. – Vol. 489. – P. 407–428.
  6. BOUGUET J.-Y. Pyramidal implementation of the affine lucas kanade feature tracker description of the algorithm // Intel Corporation. – 2001. – Vol. 5, No. 1–10. – P. 4.
  7. BOUMA H., VILANOVA A., BESCOS J.O. et al. Fast and accurate Gaussian derivatives based on B-splines // Int. Conf. on Scale Space and Variational Methods in Computer Vision. – Berlin, Heidelberg: Springer Berlin Heidelberg. – 2007. – P. 406–417.
  8. BRADSKI G., KAEHLER A. Learning OpenCV: Computer vision with the OpenCV library. – "O'Reilly Media, Inc.", 2008. – 557 p.
  9. CAPUTO M., FABRIZIO M. A new definition of fractional derivative without singular kernel //P rogress in Fractional Differentiation & Applications. – 2015. – Vol. 1, No. 2. – P. 73–85.
  10. CHEN D., SHENG H., CHEN Y. et al. Fractional-order var-iational optical flow model for motion estimation // Philo-sophical Trans. of the Royal Society A: Mathematical, Phys-ical and Engineering Sciences. – 2013. – Vol. 371, No. 1990. – P. 20120148.
  11. EGIDI N., GIACOMINI J., MAPONI P. et al. An FFT meth-od for the numerical differentiation // Applied Mathematics and Computation. – 2023. – Vol. 445. – P. 127856.
  12. FERRERA M., EUDES A., MORAS J. et al. OV2SLAM: A fully online and versatile visual SLAM for real-time applica-tions // IEEE Robotics and Automation Letters. – 2021. – Vol. 6, No. 2. – P. 1399–1406.
  13. GONZALEZ-ACUNA R.G., DAVILA A., GUTIERREZ-VEGA J.C. Optical flow of non-integer order in particle im-age velocimetry techniques // Signal Processing. – 2019. – Vol. 155. – P. 317–322.
  14. KONG L., SHEN C., YANG J. A lightweight network for fast optical flow estimation // IEEE Int. Conf. on Robotics and Automation (ICRA). – IEEE, 2021. – P. 10310–10316.
  15. KUMAR S.N., FRED A.L., KUMAR A.H. et al. Medical im-age edge detection using Gauss Gradient operator // Journal of Pharmaceutical Sciences and Research. – 2017. – Vol. 9, No. 5. – P. 695.
  16. LAVIN-DELGADO J.E., SOLIS-PEREZ J.E., GOMEZ-AGUILAR J.F. et al. Robust optical flow estimation involv-ing exponential fractional-order derivatives // Optik. – 2020. – Vol. 202. – P. 163642.
  17. LIN J., ZHANG F. R3LIVE: A Robust, Real-time, RGB-colored, LiDAR-Inertial-Visual tightly-coupled state Estima-tion and mapping package // Int. Conf. on Robotics and Au-tomation (ICRA). – IEEE, 2022. – P. 10672–10678.
  18. MENZE M., GEIGER A. Object scene flow for autonomous vehicles // Proc. of the IEEE Conference on Computer Vi-sion and Pattern Recognition. – 2015. – P. 3061–3070.
  19. NANDAL S., KUMAR S. Fractional-order anisotropic dif-fusion for defogging of RGB images // Int. Journal of Image and Graphics. – 2020. – Vol. 20. – No. 01. – P. 2050001.
  20. SCHARR H. Optimal filters for extended optical flow // Int. Workshop on Complex Motion – Berlin, Heidelberg: Springer Berlin Heidelberg, 2004. – P. 14–29.
  21. SHAH S.T.H., XUEZHI X. Traditional and modern strate-gies for optical flow: an investigation // SN Applied Scienc-es. – 2021. – Vol. 3, No. 3. – P. 289.
  22. SHAKYA S., KUMAR S., GOSWAMI M. Deep learning algorithm for satellite imaging based cyclone detection // IEEE Journal of Selected Topics in Applied Earth Observa-tions and Remote Sensing. – 2020. – Vol. 13. – P. 827–839.
  23. SHARMIN N., BRAD R. Optimal filter estimation for Lucas-Kanade optical flow // Sensors. – 2012. – Vol. 12, No. 9. – P. 12694–12709.
  24. SUN D., YANG X., LIU M.-Y. et al. Pwc-net: Cnns for opti-cal flow using pyramid, warping, and cost volume // Proc. of the IEEE Conf. on Computer Vision and Pattern Recogni-tion. – 2018. – P. 8934–8943.
  25. WINKLER J.R. Error Analysis and Condition Estimation of the Pyramidal Form of the Lucas-Kanade Method in Optical Flow // Electronics. – 2024. – Vol. 13, No. 5. – P. 812.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download


Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».