Модели и методы глубокого обучения для решения задач дистанционного мониторинга лесных ресурсов

Полный текст

Введение

В настоящее время специалисты лесной отрасли во всем мире периодически осуществляют мониторинг лесов, причем не только наземный, но и с использованием различных систем дистанционного зондирования Земли (ДЗЗ). При этом мониторинг выполняется с разными целями, начиная с обнаружения заболеваний деревьев (лесопатологические наблюдения) и заканчивая выявлением участков незаконных рубок деревьев. Сегодня все чаще выполняют мониторинг лесов с помощью систем ДЗЗ и используют данные такого дистанционного мониторинга при решении самых различных задач в лесной отрасли.

Известно, что вспышки массового размножения насекомых-вредителей наносят непоправимый вред лесам во многих странах мира [1]. Увеличивающиеся масштабы разрушительных последствий в результате проникновения в леса чужеродных насекомых ставят под серьезную угрозу биологическую безопасность ряда регионов мира [1, 2]. Не является исключением и Россия, например, в Западной Сибири самым известным и опасным вредителем является сибирский шелкопряд Dendrolimus sibiricus (Tschetv), очаги его массового размножения в кедровниках ежегодно занимают площадь от десятков тысяч до нескольких миллионов гектаров [3]. В последнее десятилетие по наносимому ущербу лесопользованию в один ряд с ним можно поставить дальневосточного вредителя – уссурийского полиграфа Polygraphus proximus (Blandford). Этот короед стал наиболее агрессивным из всех известных видов короедов в сибирских пихтовых лесах [4]. Такие леса содержат большие массивы деревьев пихты сибирской Abies sibirica (Ledeb) (далее для краткости – пихты). Многочисленные очаги массового размножения уссурийского полиграфа различной интенсивности обнаружены, начиная с 2007 г., далеко за пределами Сибири в ряде центральных регионов России, например, в Московской области, а в последнее время – в пихтовых лесах Удмуртии и Прибайкалья [5, 6]. Другим примером агрессивного лесного вредителя стал обнаруженный в 2019 г. в кедровниках нескольких областей Сибири союзный короед Ips amitinus (Eichhoff) [7, 8]. В связи с проникновением союзного короеда в Сибирь и массовой гибелью деревьев в припоселковых кедровниках возникает риск деградации ценных лесных насаждений сосны сибирской кедровой Pinus sibirica (Du Tour) (далее для краткости – кедра). Опираясь на эти примеры вспышек массового размножения таких насекомых-вредителей и на большое число подобных случаев в мировой практике, известные ученые и специалисты лесной отрасли сегодня делают выводы о наличии необратимых экономических и экологических последствий от массового размножения насекомых-вредителей лесов, если не принимать соответствующие меры [1, 2, 6, 8]. Сегодня вспышки массового размножения лесных вредителей во многих странах мира ежегодно приводят к многомиллиардным экономическим потерям в связи с утратой деловой древесины [1, 2]. Все это указывает на необходимость организации оперативного мониторинга лесов с целью раннего выявления очагов размножения таких вредителей.

Другой крупной и практически важной задачей мониторинга лесов является выявление (идентификация) сухостоя и анализ его пространственного распределения (занимаемая площадь, одиночные или группы деревьев и т. п.) [1, 2]. Сухостой является результатом болезни деревьев или следствием изменений климата. Обычно после проведения мониторинга лесных ресурсов необходимо с учетом его результатов решить ряд различных лесоустроительных задач, включая фитосанитарные задачи. Под лесоустроительными задачами понимается комплекс работ (мероприятий), направленных на получение актуальных и точных сведений о лесных ресурсах с целью дальнейшего их использования при решении различных лесохозяйственных задач. При этом для решения лесоустроительных задач используются не только результаты анализа данных мониторинга, но и координатная привязка пораженных деревьев. Наконец, мониторинг лесов также должен позволять решать ряд крупных задач техногенного характера: оперативно выявлять техногенные и ветровые повреждения древостоя, возгорания лесов и т. п.

Однако специалисты лесной отрасли постоянно сталкиваются с отсутствием современного инструментария – аппаратных средств, моделей, методов и информационных систем и технологий для оперативного проведения мониторинга и анализа полученных данных. В данной статье дается аналитический обзор инструментов, используемых сегодня при мониторинге лесов, и формулируются направления их перспективного развития. Предлагаются и исследуются новые модели глубокого обучения для анализа снимков высокого и сверхвысокого разрешения лесов.

Проблема оперативного мониторинга лесных ресурсов

Кратко рассмотрим основные аспекты проблемы мониторинга лесов. В первую очередь, они определяются как особенностями физиологических процессов, протекающих у деревьев различных пород, так и особенностями экосистемы, в которую включены подлежащие мониторингу лесные массивы. Так, одной из важных особенностей поражения хвойных лесов насекомыми-вредителями являются резкие колебания их численности, обусловленные тем, что в системе взаимодействия чужеродного вида с сообществом не сразу устанавливается баланс. После латентной фазы в период акклиматизации на новой территории, когда этот вид имеет низкую численность, следует вспышка, а за ней резкий спад численности, за которой может вновь последовать резкий подъем [4, 6, 8]. Все это указывает на важность не только оперативного выявления очагов размножения вредителей, но и проведения постоянного и оперативного мониторинга выявленных очагов с помощью новейших инструментальных средств для оценки состояния здоровья (степени поражения) заселенных вредителями деревьев. Выявление деревьев на ранней стадии поражения вредителями имеет большое практическое значение для сохранения хвойных лесов, поскольку для таких деревьев своевременно могут быть проведены эффективные фитосанитарные мероприятия вплоть до уничтожения пораженных деревьев. Итак, в связи с высокой динамичностью популяций стволовых вредителей существует необходимость их оперативного выявления на ранних стадиях и важность отслеживания здоровья пораженных деревьев. При этом сложность выявления очагов вредителей и получение достоверных оценок состояния здоровья деревьев обусловлены не только большой площадью подлежащих мониторингу лесов, но и разнообразием пород деревьев и их лесопатологических состояний. Все это подчеркивает актуальность научной проблемы создания современных методологии и инструментария для оперативного проведения мониторинга пораженных вредителями лесов.

Практически важной целью мониторинга деревьев любых пород является выявление, иногда говорят обнаружение или идентификация, среди них сухостоя и анализ его пространственного распределения (занимаемая площадь, одиночные или группы деревьев и т. п.) [1, 2]. Сухостой появляется в результате болезни деревьев или является следствием изменений климата. Например, усыхание ельников имеет место из-за резких изменений температуры и недостаточности влаги в определенные периоды года. Необходимо оперативно осуществлять мониторинг лесов и выявлять сухостой, что в итоге позволит определять запасы древесной фитомассы и углерода в ней на обследуемых участках леса. Более того, после нескольких десятилетий исследований продолжает оставаться актуальной сложная и важная для практиков задача определения породного состава лесов по данным их дистанционного мониторинга [3, 9].

Как показывает анализ многих публикаций по автоматической классификации деревьев по породам и по степени поражения их вредителями, распознать деревья на снимках, полученных при дистанционном мониторинге, с требуемой точностью не всегда удается [9–12]. Более того, практически все известные методы интеллектуального анализа изображений, включая методы машинного обучения, дают невысокие результаты по точности распознавания состояния пораженных вредителями деревьев, особенно на начальных этапах их поражения. Это означает, что необходимо дальнейшее развитие новых моделей, методов и алгоритмов классификации деревьев на снимках, удовлетворяющих весьма жестким требованиям к точности распознавания повреждений (состояния здоровья) деревьев. Более того, проблема создания современного инструментария не будет решена, если разрабатываемая информационно-аналитическая система, в которой реализуются такие модели и методы, не будет поддерживать оперативный режим обработки и анализа получаемых при мониторинге снимков лесов. Отсутствие таких систем для оперативной работы ведет к тому, что даже при организации оперативного мониторинга лесов только в ряде лесничеств России, и тем более в масштабе отрасли, огромный пласт данных этого мониторинга останется незадействованным или потребуется их ежедневная полуручная обработка и экспертный анализ (дешифрирование снимков) большим числом специалистов. Требования к точности и скорости вычислений при обработке и анализе снимков должны формулироваться и прописываться в методологии мониторинга хвойных лесов. Более того, ученые и специалисты сходятся во мнении, что необходимо комплексно решать важную научную проблему создания современной методологии и инновационного инструментария для оперативного дистанционного мониторинга лесов. Это касается и большого этапа обработки и анализа данных такого мониторинга.

Применение систем ДЗЗ

Сегодня все чаще в мире начинают выполнять мониторинг лесов с помощью систем ДЗЗ и использовать полученные данные такого дистанционного мониторинга при проведении различных лесоустроительных работ, включая лесотаксационные работы. Как показали результаты работ, проведенных рядом исследователей, проблему оперативного мониторинга лесов можно решить, используя высокоточную съемку деревьев с космических аппаратов (КА), самолетов (вертолетов) или с беспилотных летательных аппаратов (БПЛА) и квалифицированно проводя дешифрирование данных ДЗЗ, полученных в виде снимков [2–4, 8]. Например, в работах [4, 9–12] показано, что на снимках высокого (0,1–1,0 м/пиксель) и сверхвысокого (0,02–0,1 м/пиксель) пространственного разрешения, полученных с помощью дистанционной съемки лесов, экспертами обнаружены и идентифицированы даже сравнительно небольшие повреждения крон деревьев сосны, кедра и пихты насекомыми-вредителями.

Дистанционные наблюдения лесов, проводимые с помощью КА и БПЛА, оснащенных специальным оборудованием для многоспектральной фото- и (или) киносъемки, в несколько раз дешевле мониторинга лесов с помощью самолетов и вертолетов, поэтому сегодня чаще всего предпочтение отдается этим аппаратам. Преимуществом использования БПЛА перед КА при мониторинге лесов является возможность оперативного получения снимков с помощью БПЛА при слабой зависимости от состояния атмосферы (прозрачность, облачность). Более того, установленные на БПЛА современные цифровые фото- или видеокамеры сегодня позволяют получать снимки сверхвысокого пространственного разрешения, на которых специалисты могут дешифрировать особенности деревьев на уровне ветвей, а иногда и листьев. Такие снимки позволяют выделять не только спектральные признаки деревьев, но и пространственные (текстуры и геометрия крон) признаки, что особенно важно при решении задачи распознавания пород деревьев. Все эти аргументы, изложенные с разной степенью детальности в работах [9–12], позволяют специалистам считать, что сегодня созданы основы требуемой методологии оперативного мониторинга лесов. Главное положение этой методологии – набор требований и рекомендаций при использовании КА и (или) БПЛА различных классов со специальной аппаратурой для получения многоспектральных снимков лесов высокого и сверхвысокого разрешения.

С начала 2000-х гг. во всем мире на самолетах, а в последние годы и на БПЛА, при мониторинге лесов наряду с аппаратурой для многоспектральной съемки стали устанавливать компактные LiDAR-сканеры (лидары) [2, 3, 13]. Суть LiDAR-технологии показывает ее название: LiDAR (от английского Light Identification Detection and Ranging) – обнаружение с помощью лазерного луча объектов мониторинга и определение дальности до них. Технология реализуется в два этапа. На первом этапе БПЛА с установленным на нем лидаром пролетает над исследуемым лесным участком и сканирует массив деревьев. Проникая сквозь полог леса до самой земли, лазерный луч встречает на своем пути множество объектов и отражается от них. Отраженные сигналы фиксируются приемником лидара. В результате сканирования формируется «облако точек» – плотное поле точек, расположенных в трехмерной системе координат. На втором этапе с помощью специального программного обеспечения ведется интерпретация точек этого облака. Каждой точке в облаке задается свой класс, например, низкорослая растительность, растительность средней высоты и т. п. В результате строятся 3D-модели рельефа, высотные модели растительности и т. д., используемые в последующем для решения самых разных лесоустроительных и лесохозяйственных задач.

Отметим, что сегодня во всем мире LiDAR-технологии все чаще используют вместо традиционных методов таксации лесов [2, 12]. Они позволяют с высокой точностью определять высоту деревьев, размер их крон, вертикальную и горизонтальную пространственную структуру древесного полога и диаметр стволов деревьев. Оперативное и точное получение лесотакционных показателей, в первую очередь таких, как высота дерева, диаметр ствола, позволяет своевременно решать различные лесохозяйственные задачи (построение карт отводов для лесозаготовительных работ, актов плановых рубок и т. д.). Проведены первые исследования по комплексированию данных многоспектральной съемки лесов и лидарных данных при решении задачи обнаружения очагов вредителей и пораженных ими деревьев и задачи выявления породного состава лесов, показавшие перспективность этого направления работ [12, 14, 15]. Обсуждаются возможности использования LiDAR-технологии для решения задач устойчивого лесоводства: мониторинг лесов с помощью лидаров в принципе позволяет отслеживать динамику роста стволов деревьев, их крон и подлеска. Перспективным направлением, на наш взгляд, является использование LiDAR-технологии для замеров биомассы и оценки объема углерода, который способны поглотить леса на конкретной территории, а также оценки объема углерода, который могут выделить выявленные сухостои на заданной территории (проведение оценки вклада сухостоев в так называемую «карбоновую проблему» того или иного региона).

Методы, модели и технологии анализа снимков лесов

Проанализируем существующие на сегодняшний день решения проблемы оперативного дистанционного мониторинга лесов в части имеющегося у специалистов лесной отрасли инструментария (моделей, методов и технологий на их основе) для анализа результатов такого мониторинга. Как показано выше, сегодня приоритетным направлением дистанционного мониторинга лесов является использование БПЛА и (или) КА, оснащенных прецизионными фото- или видеокамерами и иными датчиками для получения многоспектральных снимков деревьев высокого и сверхвысокого разрешения. Анализ (интерпретацию) этих снимков ведут с целью решения той или иной описанной выше прикладной задачи полуручным способом (эксперт ведет дешифрирование снимков с использованием вспомогательных программ) или автоматически, решая задачу классификации снимков с помощью программно- или аппаратно-реализованных методов и алгоритмов классификации. При автоматической классификации снимков решается как задача бинарной классификации, например, распознавание деревьев – сухостоев, так и задача мультиклассификации, когда по ряду признаков на снимке дерево надо отнести к одному из нескольких классов. Обычно задача мультиклассификации решается при выявлении породного состава участка леса, при оценке состояния здоровья пораженных вредителем деревьев, когда на снимках необходимо распознавать несколько классов (состояний) таких деревьев, и т. д. Например, в случае поражения деревьев пихты Abies sibirica уссурийским полиграфом Polygraphus proximus Blandford (далее – P. рroximus) надо распознать пять классов: четыре состояния деревьев пихты разной степени поражения вредителем и фон.

В настоящее время для решения задач автоматической классификации деревьев на снимках с КА и с БПЛА продолжают применять традиционные классификаторы, уже довольно давно используемые при решении других прикладных задач анализа данных ДЗЗ [13, 14]. Среди них хорошо известные методы параметрической и непараметрической статистической классификации и традиционные методы машинного обучения, включая неконтролируемые нейросетевые классификаторы [16]. При этом для определения породного состава лесов путем решения задачи мультиклассификации чаще всего исходными данными являются многоспектральные снимки [13], а для выявления сухостойных деревьев путем решения задачи бинарной классификации –снимки в оптическом диапазоне (RGB-снимки) [2]. Среди используемых традиционных методов машинного обучения иногда встречаются комбинированные методы. Например, в работе [17] для классификации деревьев пихты, пораженных P. proximus, на снимках применяется метод градиентного бустинга в комбинации с методом деревьев принятия решений, причем учитываются как спектральные признаки, так и текстурные признаки Харалика. К сожалению, известные методы классификации и традиционные методы машинного обучения при решении различных задач классификации деревьев на снимках дают невысокую точность их распознавания [13, 14, 17]. В частности, в работах [13, 15] приведены результаты решения задачи изучения породного состава лесов, не востребованные на практике в лесной отрасли.

Поэтому в последние годы наряду с традиционными методами классификации деревьев на снимках лесов с БПЛА и с КА начали разрабатывать и применять более эффективные модели и методы глубокого обучения. Так, в работе [15], видимо, впервые предложено классифицировать деревья различных пород с использованием методов глубокого обучения, а в статье [9] при решении задачи классификации пораженных вредителями деревьев пихты A. sibirica на RGB-снимках с БПЛА исследуются различные модели сверточных нейронных сетей (СНС). Авторы [9] для классификации пораженных деревьев A. sibirica, находящихся в четырех состояниях, применили двухэтапный подход: сначала на снимке с помощью разработанного ими алгоритма ведется поиск регионов-кандидатов, содержащих кроны деревьев, а затем проводится их классификация с помощью предложенной новой модели СНС. Показано, что на датасете с аугментацией исходных снимков эта модель дает более высокую точность классификации пораженных деревьев, чем известные весьма мощные модели СНС Xception, VGG-16, VGG-19, ResNet-50, Inception-V3, Inception ResNet-V2, DenseNet-121, DenseNet-169 и DenseNet-201 на этом же датасете. Однако реализация предложенного двухэтапного подхода весьма сложна, и поэтому предлагаемая модель СНС применения на практике, по-видимому, не найдет.

Некоторые исследователи для распознавания деревьев на снимках используют модели СНС класса YOLO, предназначенные для решения задач объектного детектирования (англ. Object Detection) изображений. Так, в [18] применялась модель YOLOv5 для обнаружения повреждений деревьев пальмы на оптических снимках с БПЛА, а в [19] использовалась эта же модель для анализа многоспектральных снимков пораженных деревьев сосны c БПЛА. Точность классификации деревьев в каждой из этих работ оказалась невысокой, но скорость вычисления модели очень высока. Высокие результаты по скорости вычислений еще раз подтверждают неоспоримое преимущество моделей класса YOLO, являющихся однопроходными. В статье [20] изложены результаты исследований по классификации многоспектральных изображений c БПЛА пораженных вредителями деревьев сосны. Деревья на снимках были разделены на четыре класса: три класса жизненного состояния сосны (начально зараженные деревья, средне зараженные деревья и погибшие деревья) и класс деревьев других пород (широколиственные деревья). Анализ снимков проводился с использованием моделей СНС Faster R-CNN и YOLOv4, а также двух методов традиционного машинного обучения: опорных векторов (англ. Support Vector Machine, SVM) и случайного леса (англ. Random Forest, RF). По точности классификации лучшие результаты показали модель СНС Faster R-CNN, осуществляющая семантическую сегментацию (попиксельную классификацию) изображений, и методы SVM и RF, а самая низкая точность у модели YOLOv4. В [21] приведены результаты решения задачи обнаружения на снимках с БПЛА раннего увядания деревьев сосны из-за болезни, называемой древесная нематода сосны. Для исследования использовались различные модели СНС из класса YOLO: YOLOv3, YOLOv4, YOLOv5n, YOLOv5s, YOLOv5m, YOLOv5l и YOLOv5x. Даже лучшие результаты по точности классификации увядающих деревьев сосны, полученные с помощью модели YOLOv5m, не являются практически приемлемыми. Поэтому авторы статьи предложили метод комбинации исходного снимка с его отображением в частотной области и модифицировали модели семейства YOLOv5. Проведенные ими дополнительные исследования дали более высокие результаты по точности классификации деревьев сосны на ранней стадии увядания, но и они пока не устроили специалистов лесной отрасли. Поэтому авторы [21] наметили провести еще ряд исследований, в том числе по дальнейшей модификации моделей семейства YOLOv5. Подводя итоги анализа эффективности моделей класса YOLO по результатам исследований [18–21], следует считать, что эти модели СНС не показывают высокую точность классификации и поэтому в условиях высоких требований по точности классификации деревьев на снимках с БПЛА и КА не могут применяться на практике.

В последние годы для классификации деревьев на снимках с помощью моделей СНС все чаще применяют полносверточные нейронные сети U-Net [22] и подобные им модели, позволяющие решать задачи семантической сегментации (попиксельной классификации) изображений. В работе [23] при исследовании точности классификации деревьев разных пород на снимках с КА Sentinel-2 использовались полносверточные нейронные сети U-Net и SegNet, а также принадлежащие к этому классу модели PSPNet и FCN-8. При этом показано, что наиболее высокую точность дает модель U-Net. При бинарной классификации деревьев на хвойные и лиственные на RGB-снимках с КА с помощью U-Net-подобной модели также получена высокая точность классификации по метрике Accuracy, равная 0,96 [24]. В работе [25] при распознавании состояний пораженных вредителями деревьев сосны на RGB-снимках, полученных с БПЛА, решалась задача семантической классификации с помощью улучшенной модели СНС Mask R-CNN с большим числом сверточных слоев. Однако в [20, 25] показано, что модели Faster R-CNN и Mask R-CNN, осуществляющие семантическую сегментацию снимков, обеспечивают довольно высокую точность классификации деревьев, но скорость их вычисления весьма низка, что делает эти модели СНС не конкурентными с полносверточными нейронными сетями при практическом применении моделей. С помощью классической модели U-Net [22] получены обнадеживающие результаты мультиклассификации пораженных уссурийским полиграфом P. proximus деревьев пихты A. sibirica и пораженных союзным короедом Ips amitinus (далее – I. amitinus) деревьев кедра P. sibirica, описанные в [10, 26]. Точность классификации на тестовых выборках по усредненной по всем классам деревьев метрике mIoU для деревьев A. sibirica составила 0,66, а для деревьев P. Sibirica – 0,61 (значения этой метрики, превышающие 0,5, соответствуют высокой точности классификации). Однако наряду с высокими результатами по точности классификации для большинства классов пораженных вредителями хвойных деревьев наблюдается невысокая точность классификациии одного (случай деревьев A. sibirica) или двух (случай деревьев P. sibirica) промежуточных классов (состояний) деревьев. Распознавание деревьев в промежуточных состояниях (состояния между здоровым деревом и старым сухостоем), особенно на ранней стадии их поражения вредителями, имеет большое практическое значение для их сохранения, поскольку выявленные деревья своевременно могут быть подвергнуты эффективным фитосанитарным мероприятиям. Невысокая точность распознавания деревьев в промежуточных состояниях не устраивает специалистов лесной отрасли. Результаты классификации пораженных деревьев A. Sibirica, полученные в [10] с помощью классической модели U-Net на датасете, который также использовался в работе [17], значительно лучше, чем при использовании метода градиентного бустинга в комбинации с методом деревьев принятия решений (значение метрики mIoU для модели U-Net равно 0,66 против 0,49 для метода градиентного бустинга в комбинации с методом деревьев принятия решений). Это позволяет считать, что полносверточные нейронные сети при мультиклассификации пораженных деревьев на снимках с БПЛА показывают более высокие результаты, чем традиционные методы машинного обучения.

Проанализируем работы, связанные с созданием информационных или информационно-аналитических систем и технологий на их основе для анализа снимков лесов. В отличие от довольно большого числа работ, посвященных методам исследования проблемы дистанционного мониторинга лесных ресурсов, имеется только несколько статей, в которых описываются реализуемые в виде информационных систем и технологий предлагаемые методы и модели анализа снимков лесов с БПЛА и КА. Так, в [21, 24, 26], наряду с результатами исследования моделей и методов классификации деревьев на снимках, рассматриваются особенности их программной реализации в составе информационных систем, автоматизирующих основные процессы обработки и анализа таких снимков. Однако из известных нам работ только в [4] описана полноценная технология, охватывающая этапы получения снимков пораженных пихтовых лесов с помощью БПЛА, обработки этих снимков и их анализа с помощью современных методов. Эта технология позволяет решать задачу выявления очагов размножения уссурийского полиграфа P. Proximus в таких лесах.

В последние годы при решении задач семантической сегментации снимков земной поверхности наряду с программно-реализованными моделями СНС все чаще используют их аппаратную реализацию в современных системах на кристалле (СнК) с программируемыми логическими интегральными схемами (ПЛИС). Многие из используемых при этом моделей СНС являются сложными и поэтому требуют параллельных вычислений для ускорения процессов анализа получаемых в больших объемах при ДЗЗ снимков. Сегодня это направление развивается весьма интенсивно, причем значительное число исследований проведено для наиболее перспективных при решении задач сегментации полносверточных моделей U-Net и SegNet. При создании ускорителей (в англоязычной литературе – акселераторов) для вычисления таких моделей используются в основном ПЛИС современных СнК, например, Intel Arria-10 GX1150 в работе [27] и Xilinx Zynq ZC706 в [28]. Отметим, что основным направлением работ являются масштабные исследования производительности и энергопотребления предлагаемых акселераторов. Однако только в [29] исследована точность (качество) сегментации снимков с помощью реализованной в акселераторе оптимизированной модели SegNet. Из известных акселераторов на ПЛИС только рассмотренные в [30, 31] ускорители созданы с учетом особенностей решения задач сегментации снимков лесов, полученных с КА и БПЛА. При этом в [30] рассматривается весьма несложная задача бинарной сегментации снимков с КА, решаемая с помощью упрощенной модели U-Net на ПЛИС при обнаружении лесных пожаров и распознавании деревьев после пожара. В работе [31] приводятся результаты комплексных исследований реализованных на ПЛИС, входящей в СнК Zinq 7000 (Kintex FPGA) компании Xilinx, классической модели U-Net и модели U-Net с дилатационными свертками. Выявлено, что для этих аппаратно-реализованных на ПЛИС полносверточных моделей наблюдается по сравнению с их программной реализацией небольшое уменьшение точности классификации на снимках с БПЛА пораженных деревьев пихты (уменьшение на 0,02–0,04 по метрике mIоU). При этом скорость вычисления этих моделей на ПЛИС выше, чем при вычислениях их программных реализаций на персональном компьютере с процессором Intel Core i7-8700, 32Гб ОЗУ, но значительно ниже, если этот компьютер имеет дополнительно графический ускоритель NVIDIA GeForce GTX 1080 Ti. Однако энергопотребление этой СнК с ПЛИС немногим более 5 Вт, что в десятки раз меньше, чем у того же графического ускорителя NVIDIA GeForce GTX 1080 Ti с энергопотреблением 250 Вт.

Можно считать, что результаты исследований в [30, 31] показывают перспективность использования аппаратно-реализованных на ПЛИС полносверточных моделей для классификации снимков лесов с КА и БПЛА и создания на их основе новых технологий. На наш взгляд, эти модели на ПЛИС и технологии будут востребованы, в первую очередь, при значительных объемах снимков, получаемых при дистанционном мониторинге лесов, и при проведении их анализа в условиях малых вычислительных ресурсов.

Проведенный аналитический обзор современных моделей, методов и технологий классификации деревьев на снимках, полученных с КА и БПЛА, позволяет сделать ряд выводов. Во-первых, сегодня продолжает интенсивно формироваться новое научное направление по решению задач автоматической классификации деревьев на снимках с КА и БПЛА с помощью различных моделей СНС. При этом довольно большое число исследований посвящено классификации пораженных вредителями деревьев, а работ по изучению с помощью моделей СНС породного состава лесов пока немного. Более того, получаемые результаты по точности классификации деревьев на снимках сопоставить иногда сложно из-за использования разных метрик и датасетов. Во-вторых, следует согласиться с мнением авторов работ [9, 15, 17, 20] о том, что модели и методы глубокого обучения при решении задач мультиклассификации деревьев на снимках позволяют получать более точные результаты, чем при использовании традиционных методов классификации, включая известные методы классического машинного обучения. Это касается, в первую очередь, решения сложных задач мультиклассификации пораженных вредителями деревьев. В-третьих, в рамках обозначенного научного направления среди моделей СНС для решения задач мультиклассификации деревьев на снимках по критериям точность–скорость предпочтение следует отдать полносверточным нейронным сетям, хотя они тоже не всегда позволяют распознавать с требуемой точностью пораженные деревья в промежуточных состояниях. Иными словами, перспективно создавать новые модели полносверточных сетей, лишенные такого недостатка. В-четвертых, результаты ряда исследований в [30, 31] показывают перспективность использования аппаратно-реализованных на ПЛИС моделей полносверточных сетей для классификации снимков лесов с КА и БПЛА и создания на их основе новых технологий. Наконец отметим, что только в малом числе работ наряду с исследованиями моделей и методов классификации деревьев на снимках с КА и БПЛА рассматриваются особенности их программной и аппаратной реализации и создания соответствующих технологий анализа таких снимков.

Модели полносверточных сетей для мультиклассификации хвойных деревьев

В рамках указанного выше научного направления нами создаются и исследуются новые модели полносверточных нейронных сетей на основе классической модели U-Net. Ниже приводятся результаты исследований таких моделей при решении крайне актуальных сегодня задач мультиклассификации пораженных вредителями хвойных деревьев пород пихта A. sibirica и кедр P. sibirica.

Исходные снимки лесов, полученные с БПЛА

Рассмотрим исходные данные, получаемые при мониторинге хвойных лесов с очагами размножения вредителей путем съемки лесных массивов с БПЛА. Эти снимки далее используются нами при подготовке датасетов для решения двух задач мультиклассификации хвойных деревьев, пораженных вредителями. Мониторинг пораженных вредителями лесов проводился на территории Томской области.

Для анализа состояния деревьев пихты A. sibirica, пораженных P. proximus, использовались пять панорам, сформированных из снимков с пространственным разрешением около 0,1 м. Снимки были получены с помощью БПЛА DJI Phantom 3 Standart с установленной на нем фотокамерой, ведущей съемку в видимом диапазоне электромагнитного спектра (RGB) с высоты 365 и 388 м в период с 7 по 28 августа 2017 г. Проведение съемки сопровождалось наземными обследованиями и подтверждением очага размножения насекомого-вредителя. Размеры полученных панорам (в пикселях): A – 1046×1912, B – 1536×1048, C – 1536×768, D – 768×1792, E – 1046×1912.

Для проведения оперативного мониторинга поврежденных вредителем P. proximus деревьев пихты A. sibirica в Институте мониторинга климатических и экологических систем СО РАН разработана оценочная шкала их жизненного состояния и методика применения этой шкалы [4]. В силу того, что при разметке панорам визуально экспертам часто не удавалось отделить некоторые категории деревьев друг от друга, методика была модифицирована путем объединения близких категорий деревьев в один класс. В результате в методике описаны следующие четыре класса деревьев A. sibirica: 1 – «Живые», 2 – «Отмирающие» (сильно ослабленные, усыхающие), 3 – «Свежий сухостой» и 4 – «Старый сухостой» (сухостой прошлых лет). На рис. 1 приведен пример фрагмента снимка с деревьями перечисленных классов.

 

Рис. 1. Примеры деревьев A. sibirica: а) живые; б) отмирающие; в) свежий сухостой; г) старый сухостой

Fig. 1. Examples of A. sibirica trees: a) healthy; б) dying; в) fresh dead wood; г) old dead wood

 

Остановимся на особенностях исходных данных для решения второй задачи мультиклассификации пораженных I. amitinus деревьев кедра P. sibirica. RGB-снимки крон деревьев кедра были получены с помощью фотокамеры, установленной на БПЛА DJI Phantom 4 Pro. Далее снимки были собраны в панорамы, а затем из них получены четыре ортофотоплана. Снимки для первого из них были сделаны с БПЛА 11 июля 2019 г., а для второго, третьего и четвертого ортофотопланов – 23 июля 2019 г. с высоты 350 м, что обеспечило их пространственное разрешение около 0,1 м. Ортофотопланы обозначены, соответственно, А, В, С и D. Их размеры (в пикселях): A – 5849×4515, B – 2454×4249, C – 1863×3500, D – 1684×2951.

При визуальном анализе крон пораженных деревьев кедра на ортофотопланах экспертами по методике из статьи [8] выделяется пять классов их жизненного состояния:

Класс I – «Жизнеспособное (условно здоровое) дерево»: имеет темно-зеленую крону без признаков дехромации или пожелтения;

Класс II – «Свежезаселенное»: крона зеленая, но вершинные ветви начинают приобретать бледный зелено-желтый оттенок. На этом этапе летом жуки под корой завершают свое развитие; в весенний период и позднеосенний период жуки находятся в подстилке и частично в ветвях;

Класс III – «С усохшей вершиной»: верхушка имеет выраженный желто-бурый оттенок, нижняя часть кроны темно- или бледно-зеленая. Ствол этих деревьев может осваиваться сопутствующими видами вредителей, в позднеосенний-ранневесенний периоды в подстилке под проекцией кроны, зимующие имаго;

Класс IV – «Свежий сухостой»: вся крона буро-рыжего цвета, а макушка дерева может нести ветви без хвои; дерево покинуто I. amitinus;

Класс V – «Старый сухостой»: крона не несет хвои или имеются остатки неосыпавшейся серой или рыже-бурой хвои на самых нижних ветках, I. amitinus покинул дерево в предыдущем вегетационном сезоне.

 Шестым классом на снимках является «Фон» – деревья других пород и иные объекты земной поверхности. Отметим, что число состояний (классов) пораженных вредителями деревьев A. sibirica и P. sibirica различно, поскольку обе породы деревьев значительно отличаются по форме крон и физиологии. Это в совокупности со специфической специализацией двух вредителей P. proximus и I. amitinus приводит к различному протеканию в деревьях патофизиологических изменений, дающих разные характерные визуальные признаки крон деревьев. На рис. 2 представлены кроны деревьев кедра P. sibirica перечисленных классов.

 

Рис. 2. Примеры крон деревьев P. sibirica: а) условно здоровое; б) свежезаселенное; в) с усохшей вершиной; г) свежий сухостой; д) старый сухостой

Fig. 2. Examples of P. sibirica trees: а) healthy; б) recently colonized; в) dry treetop; г) fresh dead wood; д) old dead wood

 

Создание датасетов

Рассмотрим формирование датасета для обучения, валидации и тестирования моделей полносверточных сетей, применяемых для решения первой задачи мультиклассификации деревьев пихты. Кроны деревьев пихты на панорамах были размечены экспертами с учетом класса деревьев (различных стадий их повреждения вредителями). Пример такой разметки крон деревьев пихты, в соответствии с методикой [4] деления их по классам на фрагменте одной из панорам, приведен на рис. 3, а, классы отмечены цифрами. Далее, в соответствии с первичной разметкой эксперта, на панорамах другой эксперт проводил оконтуривание крон деревьев. В итоге были выделены эталонные сегменты (полигоны), представляющие кроны деревьев A. sibirica четырех классов и «Фон» – деревья других пород и иные объекты земной поверхности. Пример эталонной карты сегментации, соответствующей размеченному по классам деревьев фрагменту на рис. 3, а, приведен на рис. 3, б.

 

Рис. 3. Фрагмент панорамы деревьев A. sibirica, размеченных по классам (а) и соответствующей ему маске сегментации (б)

Fig. 3. Panorama fragment of A. sibirica trees labeled by classes (а) and its corresponding segmentation mask (б)

 

На одной из панорам был выбран тестовый участок. Он не участвовал в обучении и валидации моделей полносверточных сетей, а использовался в исследованиях для оценки их эффективности. По размеченным экспертами панорамам и соответствующим им эталонным картам сегментации были сформированы обучающая, валидационная и тестовая выборки, составляющие первый датасет для решения первой задачи мультиклассификации. При формировании обучающей и валидационной выборок панорамы были нарезаны на фрагменты размером 256×256 пикселей со сдвигом в 128 пикселей при получении последующего фрагмента. Утечка данных из валидационной выборки устранялась путем наложения булевых масок (двумерных массивов, элементы которых принимают значения «ложь» или «истина») на исходные панорамы и блокирования возможности попадания соответствующих пикселей в обучающую выборку. Именно так гарантировалось, что признаки крон валидационных фрагментов не дублировались среди признаков обучающих фрагментов. Всего было получено 2004 обучающих и 672 валидационных фрагмента. Тестовая выборка, созданная по тестовому участку, составила 96 фрагментов размером 256×256 пикселей.

Был проведен разведочный анализ этого датасета: определено количество деревьев каждого класса для каждой выборки датасета. В табл. 1 приведены результаты анализа. Из нее следует, что наблюдается значительная несбалансированность количества деревьев по классам: наименее представленными в выборках оказались деревья промежуточных классов «Отмирающее» и «Свежий сухостой». Такой дисбаланс в количестве деревьев по классам может отрицательно сказаться на точности классификации пораженных деревьев пихты.

 

Таблица 1. Количество деревьев пихты A. sibirica по классам в выборках первого датасета

Table 1. Number of Siberian fir trees A. sibirica by class in the sets of the first dataset

Выборка Set	Живое Healthy	Отмирающее Dying	Свежий сухостой Fresh dead wood	Старый сухостой Old dead wood
Обучающая Training	319	44	147	290
Валидационная Validation	107	14	63	110
Тестовая/Testing	148	22	64	91
Итого/Total	574	80	274	491

 

Рассмотрим создание второго датасета, применяемого при решении задачи мультиклассификации пораженных деревьев кедра. Сначала перед экспертами, ведущими дешифрование ортофотопланов, ставилась задача оценки по ним состояния деревьев P. sibirica, имеющих разную степень повреждения союзным короедом I. amitinus, соответствующую одному из пяти вышеперечисленных классов. Шестым классом являлся «Фон». Каждое из деревьев на ортофотоплане путем визуального дешифрирования относилось к одному из классов экспертом (рис. 4, а), участвовавшим также в наземном обследовании этих участков леса. Затем второй эксперт производил проверку результатов разметки снимков первым экспертом и осуществлял оконтуривание крон деревьев на размеченных ортофотопланах. Итоговым результатом такого дешифрирования стали эталонные карты сегментации (рис. 4, б).

 

Рис. 4. Фрагмент панорамы деревьев P. sibirica, размеченных по классам (а) и соответствующей ему маске сегментации (б)

Fig. 4. Panorama fragment of P. sibirica trees labeled by classes (а) and its corresponding segmentation mask (б)

 

Затем четыре ортофотоплана и соответствующие им эталонные карты сегментации использовались для формирования второго датасета. Нарезка ортофотопланов и карт сегментации, как и в случае панорам деревьев A. sibirica, осуществлялась на фрагменты размером 256×256 пикселей со сдвигом в 128 пикселей при получении последующего фрагмента. Для формирования обучающей и валидационной выборок использовались ортофотопланы А, В и С и соответствующие им эталонные карты сегментации. Четвертый ортофотоплан D и его эталонная карта сегментации применялись для подготовки тестовой выборки датасета путем нарезки их на фрагменты размером 256×256 пикселей. Утечка данных из валидационной выборки устранялась, как и в случае подготовки первого датасета, использованием булевых масок. Всего было получено 10455 обучающих и 2880 валидационных фрагментов. Объем тестовой выборки составил 84 фрагмента.

Также был проведен разведочный анализ второго датасета. В табл. 2 приведены его результаты, показывающие количество деревьев различных классов в каждой выборке датасета. Из табл. 2 следует, что имеет место, как и в случае первого датасета, следующая проблема: слабая представленность промежуточных классов деревьев кедра, в данном случае классов «Свежезаселенное» и «Свежий сухостой». Такой дисбаланс может отрицательно сказаться на точности классификации деревьев кедра этих классов.

 

Таблица 2. Количество деревьев кедра P. Sibirica по классам в выборках второго датасета

Table 2. Number of Siberian pine trees P. sibirica by class in the sets of the second dataset

Выборка Set	Условно здоровое Healthy	Свежезаселенное Recently colonized	С усохшей вершиной Dry treetop	Свежий сухостой Fresh dead wood	Старый сухостой Old dead wood
Обучающая Training	659	320	424	197	641
Валидационная Validation	283	120	100	60	181
Тестовая Testing	205	48	63	74	123
Итого Total	1147	488	587	331	945

 

Предложенные полносверточные модели

Как показано выше на основании анализа результатов ряда исследований, сегодня перспективными среди моделей и методов глубокого обучения для классификации деревьев являются модели полносверточных нейронных сетей, позволяющие решать задачи попиксельной классификации пораженных деревьев на снимках с КА и БПЛА. Поэтому в развитие этих работ здесь рассматриваются результаты разработки и исследования двух моделей на основе классической полносверточной модели U-Net.

Модификация модели U-Net. Первая предложенная модель, названная Мо-U-Net, является модификацией известной классической полносверточной сети U-Net для решения задачи семантической сегментации изображений [22]. Отличительной чертой классической модели U-Net является наличие соединений пропуска (англ. skip-connections), объединяющих наборы карт признаков кодера с наборами карт признаков декодера с целью повышения детальности результирующей карты сегментации [22]. На рис. 5 приведена архитектура модели Мо-U-Net, предложенной нами на основе классической U-Net. Прямоугольники соответствуют тензорам, или многомерным массивам, представляющим наборы карт признаков, числами указаны размеры соответствующих тензоров, стрелками обозначены следующие операции:

свертка (Conv3x3, Conv1x1);

вычисление функции активации exponential linear unit (ELU) [32];

пакетная нормализация (BN) [33];

субдискретизация путем выбора максимального значения в окрестности 2 на 2 пикселей (MaxPooling);

увеличение масштаба методом ближайшего соседа (UpSampling);

копирование тензора и его конкатенация с другим тензором (Copying+Concatenation);

метод исключения (англ. dropping out) случайным образом выбранных нейронов в сверточных слоях [34] (используется для решения проблемы переобучения модели); здесь метод реализован в виде процедуры Dropout, в которой такие нейроны при исключении приравниваются к нулю и не вносят вклад в процесс обучения модели ни на одном из последующих этапов алгоритма обратного распространения ошибки.

Категориальное распределение на выходе декодера моделируется для каждого пикселя путем применения обобщения логистической функции для многомерного случая Softmax.

По сравнению с классической моделью U-Net в архитектуру предложенной модели были добавлены следующие изменения:

входное изображение сети представлено тензором 256×256×3, соответствующим фрагменту RGB снимка;

свертки не уменьшают размер карт признаков;

обрезка карт признаков не используется для соединений пропуска;

пакетная нормализация BN применяется после каждой нелинейности;

функция активации ReLU из-за отсутствия корректировки весов нейронов на ее горизонтальной части заменена на хорошо себя зарекомендовавшую нелинейную функцию ELU;

выходной тензор вычисляется C свертками с фильтрами размером 1 на 1, позволяя классифицировать пиксели сразу C классов (четыре класса деревьев A. sibirica и «Фон» или пять классов деревьев P. sibirica и «Фон»). Отметим, что архитектура другой предложенной модели включает аналогичные С сверток с фильтрами.

Модель Mo-Res-U-Net. Вторая из предложенных моделей полносверточных сетей – modification-residual-U-Net, сокращенно Mo-Res-U-Net. Она основана на модели Мо-U-Net (рис. 5), но имеет следующие изменения по сравнению с ее архитектурой: процедура Dropout заменена на пространственную процедуру Dropout и дополнительно включены остаточные блоки [35]. Архитектура модели Mo-Res-U-Net приведена на рис. 6. Важно отметить, что операции проецирования (Conv1x1) в главных ветвях остаточных блоков модели Mo-Res-U-Net не включают нелинейностей и смещений. Поэтому можно ожидать, что такие остаточные блоки могут привести к более стабильному процессу обучения модели и позволят упростить обратное распространение градиента.

 

Рис. 5. Архитектура модели Мо-U-Net

Fig. 5. Mo-U-Net model architecture

 

Рис. 6. Архитектура модели Mo-Res-U-Net

Fig. 6. Mo-Res-U-Net model architecture

 

Предложенные модели полносверточных сетей реализованы на языке Python 3 с использованием фреймворка PyTorch.

 

Метрики точности классификации деревьев на снимках и обучение разработанных моделей

Для оценки эффективности (качества) предложенных моделей полносверточных сетей, иными словами, для оценки точности классификации деревьев на снимках с БПЛА с помощью таких моделей, использовалась метрика Intersection over Union (IoU). Она считается общепринятой метрикой эффективности при решении задачи семантической сегментации цифровых изображений [36]. Метрика IoUс для каждого класса c деревьев может быть вычислена по формуле [36, 37]:

$IoUс =\frac{TPc}{TPc+FPc+FNc}$ ,                       (1)

где TPc, FPc и FNc – количество, соответственно, истинно-положительных, ложно-положительных и ложно-отрицательных решений для деревьев класса c. Использовалась также метрика mean Intersection over Union (mIoU), рассчитываемая как среднее значение IoUс по всем С классам. Значения IoUс и mIoU, превышающие 0,5, соответствуют высокому качеству сегментации (высокой точности классификации деревьев на снимках) и указывают на то, что модели СНС, обеспечивающие такую точность классификации, найдут практическое применение в лесной отрасли. Для оценки эффективности разработанных моделей также использовались общеизвестные метрики Precision, Recall и F-score, что позволит сравнить результаты наших исследований с результатами других исследователей. Эти метрики определяются для каждого класса c деревьев следующим образом [38]:

$Precisio{n}_c=\frac{TPc}{TPc+FPc}$,                  (2)

$Recal{l}_c=\frac{TPc}{TPc+FNc}$,                        (3)

$F-scor{e}_c=\frac{2*{Precision}_c*Recal{l}_c}{Precisio{n}_c+Recal{l}_c}$.         (4)

Обучение каждой разработанной модели полносверточных сетей проводилось дважды. Первый раз эти модели обучались с использованием обучающей и валидационной выборок первого датасета с целью последующего решения первой задачи мультиклассификации на снимках пораженных деревьев пихты A. Sibirica. Второй раз они обучались с использованием обучающей и валидационной выборок второго датасета для решения задачи мультиклассификации пораженных деревьев кедра P. Sibirica. В целях улучшения обобщающей способности каждой из обучаемых моделей использовалась техника аугментации «на лету» (англ. online augmentation), позволяющая расширить обучающую выборку синтезированными примерами непосредственно во время обучения. Аугментация «на лету» включала выполняемые случайным образом следующие преобразования фрагментов: изменения масштаба изображений, их яркости и изменения их контраста, а также отражения по вертикальной оси и эластические преобразования.

Поиск оптимальных весовых коэффициентов каждой из предложенных моделей сетей осуществлялся для известной функции потерь Focal Loss [39]. Минимизация функции потерь проводилась с использованием алгоритма оптимизации Adam [40]. Для определения оптимальных гиперпараметров моделей использовался метод случайного поиска. В итоге для каждой из предложенных моделей были определены такие значения весовых коэффициентов, при которых метрики качества модели получили наибольшие значения, рассчитанные с использованием валидационной выборки каждого датасета.

Результаты исследования моделей полносверточных сетей

Эффективность обученных для решения задачи мультиклассификации деревьев пихты A. sibirica предложенных моделей полносверточных сетей исследовалась с использованием тестовой выборки (снимка тестового участка) из первого датасета. На рис. 7 приведены результаты исследования этих моделей. Совместный визуальный анализ снимка тестового участка (рис. 7, а), его эталонной карты сегментации (рис. 7, б) и результирующих выходных карт сегментации при использовании каждой из моделей (рис. 7, в, г) показал, что эти модели способны воспроизводить границы крон деревьев пихты и правильно классифицировать значительную долю крон деревьев.

 

Рис. 7. Результаты сегментации деревьев A. sibirica на тестовом участке: а) изображение тестового участка; б) эталонная карта сегментации; в) результат сегментации с применением модели Mo-U-Net; г) результат сегментации с применением модели Mo-Res-U-Net

Fig. 7. Semantic segmentation results for the A. sibirica test area: а) test area; б) ground truth; в) Mo-U-Net segmentation result; г) Mo-Res-U-Net segmentation result

 

В табл. 3, 4 приведены результаты исследований разработанных моделей по всем метрикам, вычисленным по формулам (1)–(4). В табл. 4 приведены значения метрики mIoU для валидационной (Val.) и тестовой (Test) выборок. В таблицы дополнительными строками внесены также значения этих же метрик, полученные в работе [10] для классической модели U-Net на этом же датасете.

 

Таблица 3. Точность классификации деревьев A. sibirica по метрикам Precisionc, Recallc, F-scorec

Table 3. Accuracy of classification of A. sibirica trees in terms of Precisionc, Recallc, F-scorec

Модель Model	Метрика Metric	Фон Back-ground	Живые Healthy	Отмирающие Dying	Свежий сухостой Fresh dead wood	Старый сухостой Old dead wood
Mo-U-Net	Recallс	0.91	0,88	0,71	0,84	0,86
U-Net [10]		0,91	0,84	0,48	0,78	0,81
Mo-Res-U-Net		0,91	0,86	0,77	0,85	0,83
Mo-U-Net	Precisionс	0,94	0,83	0,62	0,87	0,72
U-Net [10]		0,91	0,81	0,50	0,91	0,76
Mо-Res-U-Net		0,94	0,81	0,58	0,90	0,77
Mo-U-Net	F-score c	0,92	0,85	0,66	0,86	0,78
U-Net [10]		0,91	0,84	0,55	0,84	0,79
Mo-Res-U-Net		0,92	0,84	0,67	0,87	0,80

 

Таблица 4. Точность классификации деревьев A. sibirica по метрикам IoUс и mIoU

Table 4. Accuracy of classification of A. sibirica trees in terms of IoUс and mIoU

Модель Model	IoUс					mIoU
	Фон Back-ground	Живые Healthy	Отмирающие Dying	Свежий сухостой Fresh dead wood	Старый сухостой Old dead wood	Val.	Test
Mo-U-Net	0,86	0,74	0,51	0,75	0,65	0,78	0,70
U-Net [10]	0,84	0,72	0,38	0,72	0,65	–	0,66
Mo-Res-U-Net	0,86	0,72	0,53	0,76	0,67	0,86	0,71

 

Обучение и валидация предложенных моделей полносверточных сетей проведены на обучающей и валидационной выборках второго датасета, сформированного для случая деревьев кедра P. Sibirica. Исследования этих обученных моделей проводились на тестовой выборке второго датасета, разработанной на основе четвертого (тестового) ортофотоплана. Результаты исследований для различных метрик приведены в табл. 5, 6.

 

Таблица 5. Точность классификации деревьев P. sibirica по метрикам Precisionc, Recallc, F-score c

Table 5. Accuracy of classification of P. sibirica trees in terms of Precisionc, Recallc, F-scorec

Модель Model	Метрика Metric	Фон Back-ground	Условно здоровое Healthy	Свежеза-селенное Recently colonized	С усохшей вершиной Dry treetop	Свежий сухостой Fresh dead wood	Старый сухостой Old dead wood
Mo-U-Net	Recallс	0,89	0,85	0,73	0,73	0,72	0,87
Mo-Res-U-Net		0,88	0,87	0,75	0,74	0,71	0,90
Mo-U-Net	Precisionс	0,95	0,83	0,59	0,59	0,79	0,82
Mo-Res-U-Net		0,96	0,84	0,60	0,60	0,78	0,79
Mo-U-Net	F-score c	0,92	0,84	0,65	0,65	0,75	0,84
Mo-Res-U-Net		0,92	0,85	0,67	0,66	0,73	0,82

 

Таблица 6. Точность классификации деревьев P. sibirica по метрикам IoUс и mIoU

Table 6. Accuracy of classification of P. sibirica trees in terms of IoUс and mIoU

Модель Model	IoUс						mIoU
	Фон Back-ground	Условно здоровое Healthy	Свежеза-селенное Recently colonized	С усохшей вершиной Dry treetop	Свежий сухостой Fresh dead wood	Старый сухостой Old dead wood	Val.	Test
Мо-U-Net	0,85	0,74	0,51	0,52	0, 62	0,72	0,82	0,66
Мо-Res-U-Net	0,84	0,75	0,52	0,51	0,61	0,73	0,85	0,66

 

Обсуждение полученных результатов исследований

Анализ результатов исследований, приведенных в табл. 3, 4, показывает, что наибольшую точность классификации деревьев пихты класса «Живые» по всем метрикам, а также по метрике Recall для деревьев класса «Старый сухостой» и по метрике Precision для класса «Отмирающие» показывает модель Mo-U-Net, а модель Mo-Res-U-Net находится на втором месте. Для деревьев классов «Отмирающие», «Свежий сухостой» и «Старый сухостой» по всем метрикам самой точной является модель Mo-Res-U-Net, а модель Mo-U-Net находится на втором месте. Для класса «Фон» обе эти модели дают одинаковую точность. Классическая модель U-Net уступает предложенным моделям по всем метрикам и всем классам деревьев кроме класса «Свежий сухостой», для которого она показывает более высокую точность по метрике Precision_с. Для класса «Фон» по метрике Recall_c все три модели дают одинаковую точность классификации. Отметим, что модель U-Net по всем метрикам для промежуточного класса деревьев «Отмирающие» показывает очень низкую точность, в том числе по метрике IoUс значительно меньшую порогового значения 0,5. В отличие от этого отрицательного результата модели Mo-Res-U-Net и Mo-U-Net дают точность классификации по метрике IoUс, соответственно 0,53 и 0,51, что превышает порог 0,5. Более того, модель Mo-Res-U-Net по метрике mIoU дает наилучшее значение 0,71, а модель Mo-U-Net с результатом 0,70 находится на втором месте.

Анализ результатов исследований, приведенных в табл. 5, 6, позволяет считать, что модель Mo-Res-U-Net показывает более высокие результаты, чем модель Mo-U-Net, по большинству метрик и классов деревьев кедра. Исключением являются случаи, когда модель Mo-U-Net дает более высокие результаты, чем модель Mo-Res-U-Net, по всем метрикам для класса «Свежий сухостой» и по метрикам Recall_c и IoUс для класса «Фон», а также по метрике IoUс для класса «Свежий сухостой». По метрике mIoU обе модели дают одинаковый результат 0,66. Отметим, что для промежуточных классов деревьев кедра «Свежезаселенное», «С усохшей вершиной» и «Свежий сухостой» значения метрики IoUс небольшие, но превышают порог 0,5, что имеет практическое значение. Кроме того, эти результаты по точности классификации деревьев значительно лучше результатов из [26], где показано, что классическая модель U-Net дает точность классификации двух промежуточных классов (состояний) деревьев кедра, меньшую порога 0,5.

На основе анализа результатов исследований сформулируем ряд выводов. Во-первых, как было отмечено на этапе разведочного анализа датасетов (табл. 1, 2), основную сложность для сегментации снимков крон хвойных деревьев A. sibirica и P. sibirica будут представлять классы деревьев в промежуточных состояниях (состояния между здоровым деревом и старым сухостоем). Это подтверждается, в первую очередь, результатами исследований (табл. 3, 4) моделей полносверточных сетей по точности классификации деревьев пихты A. sibirica для промежуточного класса «Отмирающие». Такие результаты объясняются небольшим количеством деревьев этого класса в обучающей выборке и наличием пространственных признаков, например, расположение ветвей, подобных признакам крон деревьев класса «Живые» и деревьев ели сибирской Picea obovata (Turcz) из класса «Фон». Поэтому малое число отличительных признаков у крон деревьев класса «Отмирающие» не позволяет моделям сформировать детальные карты признаков и в итоге показать высокую точность классификации деревьев этого класса. Из табл. 5, 6 следует, что для промежуточных классов деревьев кедра «Свежезаселенное», «С усохшей вершиной» и «Свежий сухостой» значения метрик также небольшие. Такие результаты классификации объясняются небольшим количеством деревьев этих классов в обучающей выборке. Более того, модели полносверточных сетей должны извлекать на снимках кроме спектральных признаков большое число пространственных (текстурных и геометрических) признаков крон деревьев кедра, однако кроны деревьев этих трех классов имеют, по-видимому, по причине непрерывности процесса ухудшения состояния деревьев при поражении вредителями ряд близких пространственных признаков, например, расположение ветвей. Кроме того, деревья класса «Свежезаселенное» имеют пространственные признаки, подобные признакам крон деревьев класса «Условно здоровое» и деревьев сосны обыкновенной Pinus sylvestris L. из класса «Фон». Поэтому малое число отличительных признаков у крон деревьев этих классов не позволяет моделям сформировать детальные карты признаков и в итоге показать высокую точность классификации деревьев.

Во-вторых, в отличие от классической модели U-Net, для всех классов хвойных деревьев A. sibirica и P. sibirica, включая промежуточные классы, модели Mo-U-Net и Mo-Res-U-Net показывают точность мультиклассификации по метрикам IoUс и mIoU выше порогового значения 0,5. Это указывает на то, что такие модели имеют практическое значение для специалистов лесной отрасли, поскольку позволяют выявлять деревья этих хвойных пород на ранней стадии поражения вредителями.

В-третьих, из табл. 4, 6 следует, что значения метрики mIoU для каждой из предложенных моделей на валидационных выборках значительно превышают значения этой метрики, полученные на тестовых выборках сформированных датасетов. Как в случае с пораженными деревьями пихты A. sibirica, так и для деревьев кедра P. sibirica эти результаты объясняются небольшим размером используемых нами тестовых выборок. Эту проблему можно частично решить путем подготовки тестовых выборок большего объема. При этом, по-видимому, удастся добиться повышения точности классификации пораженных хвойных деревьев.

Наконец, при анализе результатов исследований показана возможность практического применения предложенных моделей полносверточных сетей, причем предпочтение в большинстве случаев следует отдать модели Mo-Res-U-Net. Однако ввиду большей алгоритмической сложности этой модели по сравнению с моделью Мо-U-Net при анализе снимков хвойных деревьев A. sibirica или P. sibirica в производственных объемах или в отсутствии больших вычислительных ресурсов у специалистов лесной отрасли следует применять модель Мо-U-Net. Это необходимо также учитывать при создании на основе этих моделей Mo-U-Net и Mo-Res-U-Net новых и практически важных для лесного хозяйства технологий распознавания состояния пораженных вредителями хвойных деревьев на снимках с КА и БП

Заключение

Рассмотрена проблема оперативного мониторинга лесных ресурсов. Показано, что при решении лесоустроительных задач необходимы современная методология и инновационный инструментарий для оперативного проведения мониторинга лесов и анализа полученных данных. Сегодня заложены основы такой методологии в виде набора требований и рекомендаций при использовании КА и (или) БПЛА различных классов со специальной аппаратурой для получения многоспектральных снимков лесов высокого и сверхвысокого разрешения. Проведен аналитический обзор инструментов, используемых сегодня при автоматическом анализе снимков, получаемых при мониторинге лесов с помощью КА и (или) БПЛА. Выявлено, что постепенно осуществляется переход от традиционных классификаторов к методам машинного обучения, а в последние годы исследователи указывают на перспективность методов и моделей глубокого обучения. Появилось довольно много работ по применению моделей СНС к анализу снимков деревьев при решении ряда прикладных задач, однако пока такие модели не обеспечивают требуемую точность при решении задач мультиклассификации деревьев на снимках. Тем не менее показано, что среди моделей СНС наиболее перспективным по критериям точность–скорость является класс полносверточных нейронных сетей.

Рассмотрены актуальные задачи мультиклассификации хвойных деревьев пихты А. sibirica и кедра P. sibirica, пораженных насекомыми-вредителями на снимках с БПЛА. Для их решения созданы два датасета по снимкам с БПЛА и на основе классической модели полносверточной сети U-Net разработаны модели Mo-U-Net и Mo-Res-U-Net. Эти модели были обучены с использованием обучающих и валидационных выборок из датасетов и исследованы с применением тестовых выборок. По результатам исследований показано, что, в отличие от классической модели U-Net, для всех классов деревьев A. sibirica и P. sibirica, включая промежуточные классы, эти модели дают точность мультиклассификации по метрикам IoUс и mIoU выше порогового значения 0,5. Это указывает на практическое значение таких моделей для лесной отрасли, поскольку позволяет выявлять деревья этих хвойных пород на ранней стадии поражения вредителями.

Близость полученных результатов исследований по точности классификации пораженных вредителями хвойных деревьев двух разных пород A. sibirica и P. sibirica, различающихся, в первую очередь, разным числом промежуточных состояний, и идентичность сделанных по этим результатам выводов позволяют нам рекомендовать модели Mo-Res-U-Net и Mo-U-Net для решения задач мультиклассификации на снимках пораженных вредителями деревьев других хвойных пород. В первую очередь эти модели могут быть применены для мультиклассификации на снимках пораженных деревьев сосны и ели.

Об авторах

Николай Григорьевич Марков

Национальный исследовательский Томский политехнический университет

Автор, ответственный за переписку.
Email: markovng@tpu.ru
ORCID iD: 0000-0002-4586-2662

доктор технических наук, профессор отделения информационных технологий Инженерной школы информационных технологий и робототехники

Россия, 634050, Томск, пр. Ленина, 30

Кристиан Родриго Мачука

Национальный исследовательский Томский политехнический университет

Email: kristianrodrigo1@tpu.ru
ORCID iD: 0000-0002-7953-7294

аспирант отделения информационных технологий Инженерной школы информационных технологий и робототехники

Россия, 634050, Томск, пр. Ленина, 30

Список литературы

Дополнительные файлы