Сравнительная оценка различных архитектур сверточных нейронных сетей для семантической сегментации нарушений лесного покрова по разновременным спутниковым снимкам

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Только для подписчиков

Аннотация

Алгоритмы, основанные на использовании сверточных нейронных сетей, являются наиболее эффективными для семантической сегментации изображений, в том числе для распознавания нарушений лесного покрова по спутниковым снимкам. В настоящей работе рассмотрена применимость различных модификаций сверточной нейронной сети архитектуры U-net для распознавания вырубок, гарей и ветровалов по разновременным и разносезонным спутниковым снимкам Sentinel-2. Оценка выполнена на трех тестовых участках, существенно различающихся по характеристикам насаждений и лесопользования. Наиболее высокая точность (среднее значение F-меры 0.59) получена по базовой модели U-net, а модели, которые показали наилучшие результаты при обучении (Attention U-Net и MobilNetv2 U-Net), не обеспечили повышение точности сегментации на независимых данных. Полученные оценки точности близки к ранее опубликованным для лесов со значительной долей проходных и выборочных рубок. Основными факторами, определяющими точность сегментации, являются характеристики самих нарушений (площадь участков рубок и их тип). Существенные различия также выявлены между снимками разных сезонов, причем максимальна точность распознавания по зимним парам снимков. По летним парам снимков и снимкам разных сезонов площадь нарушений существенно недооценивается моделями. Преобладающая порода в древостое оказывает менее существенное влияние, хотя для двух из трех тестовых участков максимальная точность отмечена в темнохвойных лесах, а минимальная – в лиственных лесах. Статистически значимое влияние освещенности склонов на точность распознавания по зимним парам снимков не выявлено. Точность распознавания гарей, которая оценивалась на примере 14 крупных лесных пожаров 2021–2022 гг., оказалась неудовлетворительной, что, вероятно, обусловлено разной степенью повреждения лесного покрова на гарях.

Полный текст

Доступ закрыт

Об авторах

Н. С. Подопригорова

Московский государственный технический университет имени Н.Э. Баумана

Email: and3131@inbox.ru
Россия, Москва

А. В. Тарасов

Пермский государственный национальный исследовательский университет

Email: and3131@inbox.ru
Россия, Пермь

А. Н. Шихов

Пермский государственный национальный исследовательский университет

Автор, ответственный за переписку.
Email: and3131@inbox.ru
Россия, Пермь

А. И. Канев

Московский государственный технический университет имени Н.Э. Баумана

Email: and3131@inbox.ru
Россия, Москва

Список литературы

  1. Барталев С.А. Егоров В.А., Жарко В.О., Лупян Е.А., Плотников Д.Е., Хвостиков С.А., Шабанов Н.В. Спутниковое картографирование растительного покрова России. М., ИКИ РАН. 2016. 208 с.
  2. Горбачёв В.А. Криворотов И.А., Маркелов А.О., Котлярова Е.В. Семантическая сегментация спутниковых снимков аэропортов с помощью свёрточных нейронных сетей // Компьютерная оптика. 2020. Т. 44. № 4. С. 636–645. doi: 10.18287/2412-6179-CO-636.
  3. Канев А.И., Тарасов А.В., Шихов А.Н., Подопригорова Н.С., Сафонов Ф.А. Распознавание вырубок и ветровалов по спутниковым снимкам Sentinel-2 с применением свёрточной нейронной сети U-net и факторы, влияющие на его точность // Современные проблемы дистанционного зондирования Земли из космоса. 2023. Т. 20. № 3. С. 136–151. doi: 10.21046/2070-7401-2023-20-3-136-151.
  4. Лупян Е.А., Барталев С.А., Балашов И.В., Барталев С.С., Бурцев М.А., Егоров В.А., Ефремов В.Ю., Жарко В.О., Кашницкий А.В., Колбудаев П.А., Крамарева Л.С., Мазуров А.А., Оксюкевич А.Ю., Плотников Д.Е., Прошин А.А., Сенько К.С., Уваров И.А., Хвостиков С.А., Ховратович Т.С. Информационная система комплексного дистанционного мониторинга лесов “ВЕГА-Приморье” // Современные проблемы дистанционного зондирования Земли из космоса. 2016. Т. 13. № 5. С. 11–28. doi: 10.21046/2070-7401-2016-13-5-11-28.
  5. Тарасов А.В., Шихов А.Н., Шабалина Т.В. Распознавание нарушений лесного покрова по спутниковым снимкам Sentinel-2 с помощью свёрточных нейронных сетей // Современные проблемы дистанционного зондирования Земли из космоса. 2021. Т. 18. № 3. С. 51–64. doi: 10.21046/2070-7401-2021-18-3-51-64.
  6. Шихов А.Н., Герасимов А.П., Пономарчук А.И., Перминова Е.С. Тематическое дешифрирование и интерпретация космических снимков среднего и высокого пространственного разрешения: учебное пособие / Перм. гос. нац. иссл. ун-т. – Электронные данные. – Пермь, 2020. – 49,6 Мб; 191 с. Режим доступа: http://www.psu.ru/files/docs/science/books/uchebnie-posobiya/shikhov-gerasimov-ponomarchuk-perminova-tematicheskoe-deshifrovanie-i-interpretaciya-kosmicheskih-snimkov.pdf
  7. Al-Dabbagh A.M., Ilyas M. Uni-temporal Sentinel-2 imagery for wildfire detection using deep learning semantic segmentation models // Geomatics, Nat. Hazards and Risk. 2023. V. 14(1). Art. No. 2196370. doi: 10.1080/19475705.2023.2196370.
  8. Hansen M.C., Potapov P.V., Moore R., Hancher M., Turubanova S.A., Tyukavina A., Thau D., Stehman S.V., Goetz S.J., Loveland T.R., Kommareddy A., Egorov A., Chini L., Justice C.O., Townshend J.R.G. High-Resolution Global Maps of 21st-Century Forest Cover Change // Science. 2013. V. 342(6160). P. 850–853. doi: 10.1126/science.1244693.
  9. Hawker L., Uhe P., Paulo L., Sosa J., Savage J., Sampson C., Neal J. A 30 m global map of elevation with forests and buildings removed // Environ. Res. Letters, 2022. V. 17. Art. No. 024016. doi: 10.1088/1748-9326/ac4d4f.
  10. He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 27–30 June 2016; Institute of Electrical and Electronics Engineers (IEEE): Piscataway, NJ, USA, 2016. P. 770–778.
  11. John D., Zhang C. An attention-based U-Net for detecting deforestation within satellite sensor imagery // Int. J. Applied Earth Observations Geoinf. 2022. V. 107. Art. No. 102685. doi: 10.1016/j.jag.2022.102685.
  12. Ibtehaz N., Rahman M.S. MultiResUNet: Rethinking the U-Net architecture for multimodal biomedical image segmentation. Neural networks. 2020. V. 121. P. 74–87. doi: 10.1016/j.neunet.2019.08.025.
  13. Isaienkov K., Yushchuk M., Khramtsov V., Seliverstov O. Deep Learning for Regular Change Detection in Ukrainian Forest Ecosystem with Sentinel-2 // IEEE J. Selected Topics in Applied Earth Observations and Rem. Sens. 2021. V. 14. P. 364–376. doi: 10.1109/JSTARS.2020.3034186.
  14. Kislov D.E., Korznikov K.A. Automatic windthrow detection using very-high-resolution satellite imagery and deep learning // Rem. Sens. 2020. V. 12(7). Art. No. 1145. doi: 10.3390/rs12071145.
  15. Kislov D.E., Korznikov K.A., Altman J., Vozmishcheva A.S., Krestov P.V. Extending deep learning approaches for forest disturbance segmentation on very high-resolution satellite images // Rem. Sens. Ecol. Conservation. 2021. V. 7(3). P. 355–368. doi: 10.1002/rse2.194.
  16. Knopp L., Wieland M., Rättich M., Martinis S. A Deep Learning Approach for Burned Area Segmentation with Sentinel-2 Data // Rem. Sens. 2020. V. 12. Art. No. 2422. doi: 10.3390/rs12152422.
  17. Larabi M., Liu Q., Wang Y. Convolutional neural network features based change detection in satellite images // Proc. 1 st Intern. Workshop Pattern Recognition, RRPR 2016. Dec. 4, 2016, Cancún, Mexico. 2016. Art. No. 100110W.
  18. Lee C., Park S., Kim T., Liu S., Md Reba M.N., Oh J., Han Y. Machine Learning-Based Forest Burned Area Detection with Various Input Variables: A Case Study of South Korea // Applied Sci. 2022. V. 12. Art. No. 10077. doi: 10.3390/app121910077.
  19. Mou L., Bruzzone L., Zhu X.X. Learning spectral-spatialoral features via a recurrent convolutional neural network for change detection in multispectral imagery // IEEE Trans. Geosci. Rem. Sens. 2019. V. 57(2). P. 924–935. doi: 10.1109/TGRS.2018.2863224.
  20. Mountrakis G., Im J. Ogole C. Support vector machines in remote sensing: A review // ISPRS J. of Photogram. Rem. Sens. 2011. V. 66(3). P. 247–259. doi: 10.1016/j.isprsjprs.2010.11.001.
  21. Potapov P., Li X., Hernandez-Serna A., Tyukavina A., Hansen M.C., Kommareddy A., Pickens A., Turubanova S., Tang H., Silva C.E., Armston J., Dubayah R., Blair J. B., Hofton M. Mapping global forest canopy height through integration of GEDI and Landsat data // Rem. Sens. Environ. 2021. V. 253. Art. No. 112165. doi: 10.1016/j.rse.2020.112165.
  22. Pyo J., Han K.-j., Cho Y., Kim D., Jin D. Generalization of U-Net Semantic Segmentation for Forest Change Detection in South Korea Using Airborne Imagery // Forests. 2022. V. 13. Art. No. 2170. doi: 10.3390/f13122170.
  23. Rodriguez-Galiano V.F., Ghimire B., Rogan J., Chica-Olmo M., Rigol-Sanchez J.P. An assessment of the effectiveness of a random forest classifier for land-cover classification // ISPRS J. Photogram. Rem. Sens. 2012. V. 67(1). P. 93–104. doi: 10.1016/j.isprsjprs.2011.11.002.
  24. Ronneberger O., Fischer P., Brox T. U-Net: Convolutional networks for biomedical image segmentation // arXiv: e-print service. arXiv:1505.04597. 2015. 8 p. https://arxiv.org/pdf/1505.04597.pdf.
  25. Sandler M., Howard A.G., Zhu M., Zhmoginov A., Chen L-C. MobileNetV2: Inverted residuals and linear bottlenecks // IEEE Conf. Computer Vis. Pattern Recognition (CVPR), 2018. P. 4510−4520.
  26. Shirvani Z., Abdi O., Goodman R.C. High-Resolution Semantic Segmentation of Woodland Fires Using Residual Attention UNet and Time Series of Sentinel-2 // Rem. Sens. 2023. V. 15. Art. No. 1342. doi: 10.3390/rs15051342.
  27. Scharvogel D., Brandmeier M., Weis M. A Deep Learning Approach for Calamity Assessment Using Sentinel-2 Data // Forests. 2020. V. 11(2). Art. No. 1239. 21 p. doi: 10.3390/f11121239.
  28. Trier O., Salberg A., Larsen R., Nyvoll O.T. Detection of forest roads in Sentinel-2 images using U-Net // Proc. Northern Lights Deep Learning Workshop, 2022. V. 3. doi: 10.7557/18.6246.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. Примеры размеченных данных о нарушениях лесного покрова для обучения СНС.

Скачать (687KB)
Метаданные
3. Рис. 2. Ячейки глобальной разграфки Sentinel-2, выбранные для валидации результатов распознавания нарушений лесного покрова (а), снимок Sentinel-2 на ячейку T39VWH за 13.07.2021 г. (б) и результаты классификации типов растительного покрова по данному снимку (в).

Скачать (1MB)
Метаданные
4. Рис. 3. Функции потерь (а) и коэффициент Дайса (б) на проверочном наборе данных (по оси X показано число эпох при обучении).

Скачать (168KB)
Метаданные
5. Рис. 4. Сегментация лесных гарей по снимкам Sentinel-2 с помощью моделей машинного обучения Attention U-Net и MobilNetv2 U-Net.

Скачать (818KB)
Метаданные

© Российская академия наук, 2024

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».