Верификация разливов нефти на водных поверхностях по аэрофотоснимкам на основе методов глубокого обучения

Обложка

Цитировать

Полный текст

Аннотация

В статье решается задача верификации разливов нефти на водных поверхностях рек, морей и океанов по оптическим аэрофотоснимкам с использованием методов глубокого обучения. Особенностью данной задачи является наличие визуально похожих на разливы нефти областей на водных поверхностях, вызванных цветением водорослей, веществ, не приносящих экологический ущерб (например, пальмовое масло), бликов при съемке или природных явлений (так называемые «двойники»). Многие исследования в данной области основаны на анализе изображений, полученных от радаров с синтезированной апертурой (Synthetic Aperture Radar (SAR) images), которые не обеспечивают точной классификации и сегментации. Последующая верификация способствует сокращению экологического и материального ущерба, а мониторинг размеров площади нефтяного пятна используется для принятия дальнейших решений по устранению последствий. Предлагается новый подход к верификации оптических снимков как задачи бинарной классификации на основе сиамской сети, когда фрагмент исходного изображения многократно сравнивается с репрезентативными примерами из класса нефтяных пятен на водных поверхностях. Основой сиамской сети служит облегченная сеть VGG16. При превышении порогового значения выходной функции принимается решение о наличии разлива нефти. Для обучения сети был собран и размечен собственный набор данных из открытых интернет-ресурсов. Существенной проблемой является несбалансированность выборки данных по классам, что потребовало применения методов аугментации, основанных не только на геометрических и цветовых манипуляциях, но и на основе генеративной состязательной сети (Generative Adversarial Network, GAN). Эксперименты показали, что точность классификации разливов нефти и «двойников» на тестовой выборке достигает значений 0,91 и 0,834 соответственно. Далее решается дополнительная задача семантической сегментации нефтяного пятна с применением сверточных нейронных сетей (СНС) типа кодировщик-декодировщик. Для сегментации исследовались три архитектуры глубоких сетей, а именно U-Net, SegNet и Poly-YOLOv3. Лучшие результаты показала сеть Poly-YOLOv3, достигнув точности 0,97 при среднем времени обработки снимка 385 с веб-сервисом Google Colab. Также была спроектирована база данных для хранения исходных и верифицированных изображений с проблемными областями.

Об авторах

М. Н Фаворская

Сибирский государственный университет науки и технологий имени М.Ф. Решетнева

Email: favorskaya@gmail.com
проспект им. газеты Красноярский рабочий 31

Н. Нишчхал

Сибирский государственный университет науки и технологий имени М.Ф. Решетнева

Email: nik.321g@yandex.ru
проспект им. газеты "Красноярский рабочий" 31

Список литературы

  1. Ivshina I.B., Kuyukina M.S., Krivoruchko A.V., Elkin A.A., Makarov S.O., Cunningham C.J., Peshkur T.A., Atlas R.M., Philp J.C. Oil spill problems and sustainable response strategies through new technologies // Environmental Science: Processes & Impacts journal. 2015. vol. 17. no. 7. pp. 1201-1219.
  2. Hackett B., Comerma E., Daniel P., Ichikawa H. Marine oil pollution prediction // Oceanography. 2009. vol. 22. pp. 168-175.
  3. Wang R.; Zhu Z.; Zhu W.; Fu X., Xing S. A dynamic marine oil spill prediction model based on deep learning // Journal of Coastal Research. 2021. vol. 37. no. 4. pp. 716-725.
  4. Lubchenco J., McNutt M.K., Dreyfus G., Murawski S.A., Kennedy D.M., Anastas P.T., Chu S., Hunter T. Science in support of the deepwater horizon response // PNAS. 2012. vol. 109. no. 50. pp. 20212-20221.
  5. Mera D., Bolon-Canedo V., Cotos J.M., Alonso-Betanzos A. On the use of feature selection to improve the detection of sea oil spills in SAR images // Computers & Geosciences. 2017. vol. 100. pp. 166-178.
  6. Zeng K., Wang Y. A deep convolutional neural network for oil spill detection from spaceborne SAR images // Remote Sensing. 2020. vol. 12. no. 6. pp. 1015.1-1015.23.
  7. Chen G., Li Y., Sun G., Zhang Y. Application of deep networks to oil spill detection using polarimetric synthetic aperture radar images // Applied Sciences. 2017. vol. 7. no. 10. pp. 968.1-968.15.
  8. Bianchi F.M., Espeseth M.M., Borch N. Large-scale detection and categorization of oil spills from SAR images with deep learning // Remote Sensing. 2020. vol. 12. pp. 2260.1-2260.27.
  9. Angelliaume S., Ceamanos X., Viallefont-Robinet F., Baque R., Deliot P., Miegebielle V. Hyperspectral and radar airborne imagery over controlled release of oil at sea // Sensors. 2017. vol. 17. no. 8. pp. 1772.1-1772.21.
  10. Huang H., Wang C., Liu S., Sun Z., Zhang D., Liu C., Jiang Y., Zhan S., Zhang H., Xu R. Single spectral imagery and Faster R-CNN to identify hazardous and noxious substances spills // Environmental Pollution. 2020. vol. 258. pp. 113688.1-113688.11.
  11. Wang D., Wan J., Liu S., Chen Y., Yasir M., Xu M., Ren P. BO-DRNet: An improved deep learning model for oil spill detection by polarimetric features from SAR images // Remote Sensing. 2022. vol. 14. pp. 264.1-264.18.
  12. Aghaei N., Akbarizadeh G., Kosarian A. GreyWolfLSM: An accurate oil spill detection method based on level set method from synthetic aperture radar imagery // European Journal of Remote Sensing. 2022. vol. 55. no. 1. pp. 181-198.
  13. Chen Y., Sun Y., Yu W., Liu Y, Hu H. A novel lightweight bilateral segmentation network for detecting oil spills on the sea surface // Marine Pollution Bulletin. 2022. vol. 175. pp. 113343.1-113343.12.
  14. Paoletti M.E., Haut J.M., Pereira N.S. Ghostnet for hyperspectral image classification // IEEE Transactions on Geoscience and Remote Sensing. 2021. vol. 59. no. 12. pp. 10378-10393.
  15. Bulgarelli B., Djavidnia S. On MODIS Retrieval of oil spill spectral properties in the marine environment // IEEE Geoscience and Remote Sensing Letters. 2012. vol. 9. no. 3. pp. 398-402.
  16. Lu Y., Shi J., Wen Y., Hu C., Zhou Y., Sun S., Zhang M., Mao Z., Liu Y. Optical interpretation of oil emulsions in the ocean – Part I: Laboratory measurements and proof-of-concept with AVIRIS observations // Remote Sensing of Environment. 2019. vol. 230. pp. 111183.1-111183.14.
  17. Lu Y., Shi J., Hu C., Zhang M., Sun S., Liu Y. Optical interpretation of oil emulsions in the ocean – Part II: Applications to multi-band coarse-resolution imagery // Remote Sensing of Environment. 2020. vol. 242. pp. 111778.1-111778.14.
  18. Yang Z., Chen Z., Lee K., Owens E., Boufadel M.C., C., Taylor E. Decision support tools for oil spill response (OSR-DSTs): Approaches, challenges, and future research perspectives // Marine Pollution Bulletin. 2021. vol. 167. pp. 112313.1-112313.16.
  19. Mohammadiun S., Hu G., Gharahbagh A.A., Jianbing Li c, Hewage K., Sadiq R. Evaluation of machine learning techniques to select marine oil spill response methods under small-sized dataset conditions // Journal of Hazardous Materials. 2022. vol. 436. pp. 129282.1-129282.11.
  20. Guo Y., Zhang H.Z. Oil spill detection using synthetic aperture radar images and feature selection in shape space // International Journal of Applied Earth Observation and Geoinformation. 2014. vol. 30, pp. 146-157.
  21. Bromley J., Bentz J.W., Bottou L., Guyon I., Lecun Y., Moore C., Säckinger E., Shah R. Signature verification using a "siamese" time delay neural network // International Journal of Pattern Recognition and Artificial Intelligence. 1993. vol. 7. no. 4. pp. 669-688.
  22. Yelchuri R., Dash J.K., Singh P., Mahapatro A., Sibarama S. Exploiting deep and hand-crafted features for texture image retrieval using class membership // Pattern Recognition Letters. 2022. vol. 160. pp. 163-171.
  23. Chen L.C., Papandreou G., Kokkinos I., Murphy K., Yuille A.L. Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs // IEEE Transactions on Pattern Analysis & Machine Intelligence. 2018. vol. 40. no. 4. pp. 834-848.
  24. Ye M., Ruiwen N., Chang Z., He G., Tianli H., Shijun L., Yu S., Tong Z., Ying G. A lightweight model of VGG-16 for remote sensing image classification // IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. 2021. vol. 14. pp. 6916-6922.
  25. Caron M., Misra I., Mairal J., Goyal P., Bojanowski P., Joulin A. Unsupervised learning of visual features by contrasting cluster assignments // Proceeding of the 34th International Conference on Neural Information Processing Systems (NIPS'20). 2020. Article no. 831. pp. 9912-9924.
  26. de Moura N.V.A., de Carvalho O.L.F., Gomes R.A.T., Guimaraes R.F., de Carvalho Júnior O.A. Deep-water oil-spill monitoring and recurrence analysis in the brazilian territory using Sentinel-1 time series and deep learning // International Journal of Applied Earth Observations and Geoinformation. 2022. vol. 107. pp. 102695.1-102695.11.
  27. Long J., Shelhamer E., Darrell T. Fully convolutional networks for semantic segmentation // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015. pp. 3431-3440.
  28. Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for biomedical image segmentation // Proceedings of the International Conference on Medical Image Computing and Computer-Assisted Intervention. 2015. pp. 234-241.
  29. Badrinarayanan V.; Kendall A.; Cipolla R. SegNet: A deep convolutional encoder-decoder architecture for image segmentation // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2017. vol. 39. pp. 2481-2495.
  30. Dayananda C., Choi J.-Y., Lee B. Multi-scale squeeze U-SegNet with multi global attention for brain MRI segmentation // Sensors. 2021. vol. 21. pp. 3363.1-3363.22.
  31. Hurtik P., Molek V., Hula J., Vajgl M., Vlasanek P., Nejezchleba T. Poly-YOLO: Higher speed, more precise detection and instance segmentation for YOLOv3 // CoRR arXiv preprint, arXiv:2005.13243v2. 2020. pp. 1-18.
  32. Alamy [Official web site Alamy Stock photography]. Available at: www.almy.com. (accessed 26.07.2022).
  33. Getty Images [Official web site of Getty Images]. Available at: www.gettyimages.nl. (accessed 26.07.2022).
  34. Xu M., Yoon S., Fuentes A., Park D.S. A comprehensive survey of image augmentation techniques for deep learning // CoRR arXiv preprint, arXiv:2205.01491v1. 2022. pp. 1-41.
  35. Radford A., Metz L., Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks // The 4th International Conference on Learning Representations (ICLR 2016). 2016. pp. 1–16.
  36. Goodfellow I., Bengio Y., Courville A. Deep learning / Dietterich T. (ed.) // Cambridge, Massachusetts, London: The MIT Press. 2016. 800 p.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».