Analysis of Spatiotemporal Motion Patterns in Aerial Images Using Optical Flow

Abstract

This study focuses on the analysis of spatiotemporal motion patterns in aerial imagery using the optical flow method. With the advancement of remote sensing technologies and the widespread use of unmanned aerial vehicles (UAVs), the need for accurate and automated analysis of natural and anthropogenic dynamics is increasing. The work emphasizes the detailed examination of motion direction and intensity in high-resolution images. Existing methods of optical flow estimation are considered, including classical approaches such as the Lucas-Kanade and Horn-Schunck methods, as well as dense optical flow calculated using the Farnebäck method. The latter is applied as a core technique for constructing velocity vector fields, which serve as the basis for segment-wise motion distribution analysis, direction visualization, and heatmap generation. The proposed approach enables the identification of structural patterns and local motion features, which is particularly relevant for infrastructure monitoring and environmental risk assessment. It is also demonstrated that median motion estimates are more robust to noise and local outliers than mean values, thus improving analysis reliability. The research method is based on the calculation of dense optical flow using the Farnebäck algorithm, followed by statistical analysis of motion velocity characteristics and directional patterns across image segments. The scientific novelty of this study lies in the development of a comprehensive approach for analyzing spatiotemporal motion characteristics in aerial images using dense optical flow computed via the Farnebäck method. Unlike traditional techniques focused on global motion estimation, the proposed methodology emphasizes local patterns, enabling detailed segment-based evaluation of motion direction and intensity. For the first time, this study integrates both quantitative and visual analysis methods: histograms, heatmaps, calculations of median and mean velocities, and metrics such as structural similarity index (SSIM) and mean squared error (MSE) between image segments. This approach allows for detecting motion anomalies, identifying highly dynamic regions, and assessing structural stability. The method is tailored to UAV imagery and does not require large training datasets, making it suitable for low-resource environments. The results have practical relevance for automated infrastructure monitoring and environmental risk assessment.

References

  1. Гибсон, Дж. Дж. Восприятие визуального мира / Дж. Дж. Гибсон. – Бостон: Хoughton Mifflin, 1950. – 235 с.
  2. Лукас, Б. Д., Канаде, Т. Итеративная техника регистрации изображений с применением к стереоизображениям. В: Труды 7-й Международной совместной конференции по искусственному интеллекту; 1981. С. 674-679.
  3. Фарнебак, Г. Оценка движения по двум кадрам на основе полиномиального разложения. В: Труды 13-й Скандинавской конференции по анализу изображений (SCIA); 2003. С. 363-370. doi: 10.1007/3-540-45103-X_50.
  4. Сан, Д., Рот, С., Блэк, М. Дж. Секреты оценки оптического потока и их принципы. В: Конференция IEEE по компьютерному зрению и распознаванию образов (CVPR); 2010. С. 2432-2439. doi: 10.1109/CVPR.2010.5539939.
  5. Досовицкий, А., Фишер, П., Ильг, Е., Хауссер, П., Хазирбас, Ч., Гольков, В., Смакт, П., Кремерс, Д., Брокс, Т. FlowNet: Обучение оптическому потоку с помощью сверточных сетей. В: Международная конференция IEEE по компьютерному зрению (ICCV); 2015. С. 2758-2766. doi: 10.1109/ICCV.2015.316. EDN: YDBQRF.
  6. Брокс, Т., Бруhn, А., Папенберг, Н., Вайкетт, Дж. Высокоточная оценка оптического потока на основе теории искажений. В: Европейская конференция по компьютерному зрению (ECCV); 2004. С. 25-36. doi: 10.1007/978-3-540-24673-2_3.
  7. Адиль, О., Махраз, М. А., Риффи, Дж., Тайри, Х. Достижения в оценке оптического потока на основе глубокого обучения: Всесторонний обзор моделей и технологий. В: Шестая международная конференция по интеллектуальным вычислениям в науках о данных (ICDS); 2024 окт. С. 1-7. IEEE.
  8. Хричанюк, О., Свитенко, М., Крыхтин, Ю., Ахафонов, Ю., Авилов, А., Капашин, М. Программно-аппаратный комплекс для автоматической геотеггирования фотографий, сделанных с беспилотного летательного аппарата. В: 7-я международная конференция IEEE по актуальным проблемам разработки беспилотных летательных аппаратов (APUAVD); 2024 окт. С. 276-279. IEEE.
  9. Хорн, Б. К. П., Шунк, Б. Г. Определение оптического потока. Искусственный интеллект. 1981; 17(1-3): 185-203. doi: 10.1016/0004-3702(81)90024-2.
  10. Павленко, Б. В., Пикалев, Я. С. Методика создания набора аэрофотоснимков для задачи перекрестной геолокализации // Проблемы искусственного интеллекта. – 2024. – № 4(35). – С. 101-112. – doi: 10.24412/2413-7383-2024-4-101-112. EDN: DZMGUB.
  11. Галиверов, А. Н., Городничая, А. Н. Особенности использования БПЛА при эффективном сборе аэрофотоснимков в градостроительстве // Инновации. Наука. Образование. – 2022. – № 50. – С. 1822-1826. EDN: BKJZFH.
  12. Дюкарев, Е. А., Воропай, Н. Н., Макаров, С. А. Пространственное разрешение аэрофотоснимков БПЛА. В: Применение беспилотных летательных аппаратов в географических исследованиях: Материалы Всероссийской научно-практической конференции, Иркутск, 22-23 мая 2018 года / Ответственный редактор С.А. Макаров. – Иркутск: Институт географии им. В.Б. Сочавы Сибирского отделения Российской академии наук, 2018. – С. 64-66. EDN: YAVELR.

Supplementary files

Supplementary Files
Action
1. JATS XML

Согласие на обработку персональных данных

 

Используя сайт https://journals.rcsi.science, я (далее – «Пользователь» или «Субъект персональных данных») даю согласие на обработку персональных данных на этом сайте (текст Согласия) и на обработку персональных данных с помощью сервиса «Яндекс.Метрика» (текст Согласия).