Joint Super-Resolution and Tissue Patch Classification for Wholeslide Histological Images

全文:

1. ВВЕДЕНИЕ

Пример полнослайдового гистологического изображения из набора PATH-DT-MSU WSS2v2 с выполненной полигональной разметкой на 5 классов ткани, включая фон.

Современная цифровая патология позволяет получать большие объемы гистологических изображений в очень высоком разрешении при оптическом увеличении ×40. Такие изображения называются полнослайдовыми и позволяют полностью визуализировать исследуемыей препарат. Пример полнослайдового изображения с разметкой приведен на рис. 1. На эффективную обработку таких объемных и сложных по структуре изображений на данный момент способны только методы глубокого обучения [1, 2]. Подобные методы могут упростить и автоматизировать многие процессы, важные для специалистов-гистологов, например, позволяют проводить грубую сегментацию образца с разделением на несколько типов ткани путем классификации отдельных небольших фрагментов (патчей) [3, 4]. Также большой объем полнослайдовых гистологических изображений, полученных с увеличением ×40, делает актуальной и задачу повышения разрешения (например, с ×20 до ×40), позволяя хранить в 4 раза меньше информации и повышать разрешение изображений при необходимости [5, 6].

 

Рис. 1. Пример полнослайдового гистологического изображения из набора PATH-DT-MSU WSS2v2 с выполненной полигональной разметкой на 5 классов ткани, включая фон

 

Большинство существующих методов автоматической обработки и анализа гистологических изображений ориентированы только на решение одной фиксированной задачи цифровой патологии, например, повышения разрешения [7] или классификации фрагментов ткани [4]. Однако гораздо более эффективным представляется построение моделей, решающих сразу несколько задач, максимально эффективно использующих имеющиеся данные. Данное направление только развивается и пока не получило широкого освещения. Однако существуют подходы, объединяющие в себе несколько моделей. Так, в работе [8] предложена нейросетевая модель, выполняющая повышение разрешения фрагментов изображений с последующей классификацией результатов. При этом подход является избыточным, так как информация, используемая нейросетью для классификации, сгенерирована этой же нейросетью по изображению более низкого разрешения. Данная работа вдохновлена подходами [9] и [10], которые показывают хорошие результаты на задачах повышения разрешения и сегментации.

Основной вклад данной работы заключается в следующем:

• предложен нейросетевой метод одновременного решения задачи повышения разрешения (с увеличения ×20 на ×40) и классификации фрагментов (на ×20 увеличении) полнослайдовых гистологических изображений, демонстрирующий лучший результат на используемом наборе изображений по сравнению с существующими методами;
• предложена двухэтапная схема обучения, включающая в себя обучение вспомогательной и основной нейросетевых моделей;
• представлена обновленная версия полигональной разметки коллекции полнослайдовых изображений PATH-DT-MSU WSS2v2;
• программно реализованы (в виде библиотеки) pytorch-совместимые загрузчики данных, позволяющие извлекать патчи из полигональной разметки с соблюдением баланса классов;
• предложенный метод одновременного решения двух задач из области цифровой патологии более эффективен с точки зрения обучения и позволяет провести обучение быстрее по сравнению с обучением двух отдельных моделей.

2. ПОСТАНОВКА ЗАДАЧИ

Необходимо построить и обучить нейросетевую модель, работающую с фрагментами полнослайдовых гистологических изображений, имеющую один вход (патч 224 × 224 × 3 на увеличении ×20) и два выхода (изображение 448 ×448 ×3 на увеличении ×40 и вектор вероятностей длины N, соответствующий N типам ткани). Первый выход соответствует увеличенному в 2 раза входному патчу, второй выход – предсказанию типа ткани входного патча. Таким образом, эта нейросетевая модель должна одновременно решать задачи повышения разрешения и классификации фрагментов полнослайдовых изображений.

3. ИСПОЛЬЗУЕМЫЙ НАБОР ДАННЫХ

В данной работе используется набор полнослайдовых гистологических изображений PATH-DT-MSU WSS2v2¹ с полигональной разметкой участков по типу ткани. Данный набор изображений был собран и подготовлен лабораторией математических методов обработки изображений факультета вычислительной математики и кибернетики МГУ имени М.В. Ломоносова и кафедрой патологии Медицинского научно-образовательного центра МГУ имени М.В. Ломоносова.

Набор данных PATH-DT-MSU постоянно обновляется и расширяется. В текущей работе впервые представлен поднабор WSS2v2, который предоставляет более подробную и уточненную разметку поднабора WSS1v1, представленного ранее [11]. Используемый набор данных состоит из 10 полнослайдовых изображений препаратов при раке желудка, полученных с оптическим увеличением × 40, разрешение изображений составляет около 110000 × 90000 пикселов. Полигональная разметка имеет 5 классов, включающих в себя классы 4 типов ткани (AT, LP, MM, TUM) и фона (BG). Площадь размеченных областей обучающей выборки составляет 1560, 7098, 533, 895, 1303 млн пикселов для классов AT, BG, LP, MM, TUM соответственно на увеличении ×40. Площадь размеченных областей тестовой выборки составляет 1086, 8032, 318, 743, 1199 млн пикселов для классов AT, BG, LP, MM, TUM соответственно на увеличении ×40. Пример полнослайдового изображения с визуализацией разметки из набора PATH-DT-MSU WSS2v2 приведен на рис. 1.

4. ПРЕДЛАГАЕМЫЙ МЕТОД

Предлагаемый в данной работе метод, одновременно решающий задачи повышения разрешения и классификации фрагментов полнослайдовых гистологических изображений, включает в себя этапы подготовки данных, построения и обучения вспомогательной и основной нейросетевой модели. Данные этапы описаны ниже.

Предлагаемый подход одновременного решения двух задач можно рассматривать как метод с частичным привлечением учителя (англ. semi-supervised learning), так как вспомогательная нейросетевая модель обучается на большом количестве неразмеченных данных для задачи повышения разрешения, затем из нее формируется основная модель, которая обучается на относительно небольшом количестве размеченных данных для задачи классификации.

Подготовка данных

Особенностью используемого в работе набора данных PATH-DT-MSU WSS2v1 является полигональная разметка частей изображения, соответствующих разным типам ткани. Такая разметка хорошо интерпретируема с медицинской точки зрения, удобна для самого процесса разметки, но не подходит для обучения сверточный нейронных сетей, которые обычно работают с небольшими прямоугольными или квадратными фрагментами (патчами). Для решения этой проблемы написана библиотека psimage² для извлечения патчей из полнослайдовых изображений. Извлечение может проходить как полностью случайно (для задачи повышения разрешения разметка не требуется), так и в соответствии с размеченными полигонами. Во втором случае патчи могут извлекаться как по равномерной сетке (на этапе тестирования), так и случайно (на этапе обучения).

При обучении модели в задаче повышения разрешения патчи из полнослайдового изображения извлекаются случайно, без привязки к разметке, поэтому в обучающую выборку могут попадать фоновые однородные патчи, обучение на которых может привести к ухудшению качества работы. Для предотвращения этого недостатка в данной работе используется энтропия Шеннона [12] для фильтрации фоновых патчей:

$H\left(X\right)=-\sum _{i=1}^n{p}_i{\log }_2\left(p_i\right)$, (1)

где p_i – яркость i-го пиксела патча. Значения с низкой энтропией (< 0.2) не попадают в обучающую выборку при решении задачи повышения разрешения.

Архитектура нейронных сетей

В данной работе используются две нейронных сети: вспомогательная (рис. 2) и основная (рис. 3). Обучение происходит последовательно.

 

Рис. 2. Архитектура вспомогательной нейронной сети для повышения разрешения

 

Рис. 3. Архитектура основной нейронной сети для повышения разрешения и классификации

 

Вспомогательная модель представляет собой генеративно-состязательную сеть [13] с UNet-подобным дискриминатором [14]. Данная модель обучается для задачи повышения разрешения на фрагментах изображений без разметки.

Основная модель имеет один вход и два выхода (повышение разрешения, классификация) и обучается и для задачи классификации, и для задачи повышения разрешения, но уже на размеченных фрагментах.

Обе эти модели имеют общий кодировщик, играющий роль экстрактора признаков. Данный кодировщик состоит из двух сверточных слоев и 15 RRDB блоков [15], каждый из которых состоит из трех RDB (Residual-Dense-Block) [16] блоков. Каждый RDB блок состоит из пяти сверточных слоев с активационной функцией Leaky-RELU.

Ветка увеличения размерности основной модели состоит из декодировщика, включающего в себя 4 сверточных слоя. Данный декодировщик совпадает с декодировщиком, используемым в вспомогательной модели, и реализует операцию пиксельного перемешивания (англ. pix shuffle) [17].

Классифицирующая ветка основной модели состоит из двух остаточных блоков [18] и полносвязного слоя.

Обучение вспомогательной модели

Полная функция потерь на первом этапе может быть выражена как взвешенная сумма трех функций потерь:

$L={\lambda }_1{L}_{L1}+{\lambda }_2{L}_{per}+{\lambda }_3{L}_{gan}$, (2)

где L_L1 – попиксельная функция потерь; L_per – функция потерь восприятия [19]; L_gan – генеративно-состязательная функция потерь [20], позволяющая сохранять большее число деталей на изображении. В данной работе значения весов были выбраны как λ₁ = 0.2, λ₂ = 1.0 и λ₃ = 1.0.

Обучение основной модели

Кодировщик вспомогательной сети, обученный на предыдущем этапе, используется в качестве экстрактора признаков и в основной предлагаемой нейросетевой модели (рис. 3). На этом этапе обучения происходит тонкая настройка данного экстрактора признаков и его адаптация для решения задачи классификации, при этом сохраняя его эффективность для решения задачи повышения разрешения. В качестве функции потерь используется сумма функции L1, используемой для выхода с повышением разрешения, и кросс-энтропии, используемой для выхода с предсказанием вектора вероятности классов:

$L=L_{L1}+L_{CE}$. (3)

Стоит отметить, что в работе используется дополнительная регуляризация со сглаживанием меток (англ. label smoothing) [21], повышающая устойчивость модели в задаче классификации.

Детали реализации

Во всех экспериментах нейросетевые модели обучались на обучающей выборке набора изображений PATH-DT-MSU WSS2v2 и тестировались на соответствующей тестовой выборке набора. В качестве аугментаций использовались вертикальные и горизонтальные отражения, Гауссово размытие, поворот. Более сложные аугментации, такие как изменения цвета, яркости, тона и т. д., не использовались, так как они негативно влияют на результаты повышения разрешения [22]. Размер пакета был выбран равным 32. Обучение проводилось с помощью оптимизатора ADAM с разогревом. Начальная скорость обучения выбиралась 1 × 10^–3 и убывала по косинусному правилу. При обучении основной модели в полносвязном слое классификатора использовался Dropout с отключением 25% нейронов. Каждая из моделей (вспомогательная и основная) обучались по 50 эпох.

Предлагаемый в работе метод программно реализован на языке Python 3. При этом использовались фреймворк pytorch и разработанная авторами библиотека psimage³. Также были реализованы загрузчики данных, совместимые с pytorch, позволяющие извлекать патчи из полигональных разметок, проводя при этом балансировку данных по классам.

5. РЕЗУЛЬТАТЫ

В табл. 1 приведены результаты предложенного метода для задачи классификации фрагментов гистологических изображений на 5 классов по типам ткани. Модели, с которыми проводилось сравнение, были предобучены на наборе изображений ImageNet, после чего дообучены на патчах, полученных из набора PATH-DT-MSU WSS2v2. Видно, что признаки, полученные общим кодировщиком во время обучения вспомогательной модели, информативны и для задачи классификации и позволяют в итоге получить лучшие результаты как по общей, так и по сбалансированной точности.

 

Таблица 1. Результаты различных нейросетевых моделей, предварительно обученных на ImageNet, для задачи классификации патчей на 5 классов для тестовой выборки набора изображений PATH-DT-MSU WSS2v2 при ×20 увеличении

Точность Метод	AT	BG	LP	MM	TUM	Общая	Сбалансированная
ResNet50 [18]	0.947	1.000	0.871	0.929	0.810	0.969	0.911
DenseNet121 [23]	0.942	1.000	0.833	0.941	0.810	0.968	0.905
Efficient Net [24]	0.930	1.000	0.913	0.942	0.738	0.963	0.904
Mobile Net [25]	0.961	1.000	0.807	0.907	0.789	0.966	0.893
SR+CLS (предложенный)	0.947	1.000	0.873	0.911	0.849	0.971	0.916
ResNet50 (на патчах ×40)	0.962	1.000	0.846	0.949	0.827	0.973	0.917

 

В табл. 2 приведены результаты предложенного метода для задачи повышения разрешения фрагментов гистологических изображений для метрик отношения пикового сигнала к шуму (PSNR) и индекса структурного сходства (SSIM)[26]. Видно, что дообучение кодировщика в основной модели позволяет улучшить эффективность в задаче повышения разрешения за счет использования дополнительной информации о классах, которой не было у вспомогательной модели.

 

Таблица 2. Сравнение моделей повышения разрешения в задаче увеличения с ×20 до ×40 для тестовой выборки набора изображений PATH-DT-MSU WSS2v2 (аннотации не использовались)

Метрика Метод	3em]PSNR	3em]SSIM
SRGAN [13]	27.2	0.78
ESRGAN [27]	31.82	0.86
SR+CLS (предложенный)	32.66	0.89

 

Матрица ошибок для тестовой выборки PATH-DT-MSU WSS2v2 представлена в табл. 3.

 

Таблица 3. Матрица ошибок классификации патчей предлагаемого метода (на тестовой выборке набора изображений PATH-DT-MSU WSS2v2). GT – истинные значения, Pred – предсказанные

Pred GT	AT	BG	LP	MM	TUM
AT	4631	110	10	91	48
BG	7	38571	0	1	2
LP	0	0	1210	1	175
MM	91	0	6	2763	173
TUM	320	6	342	102	4334

 

6. ЗАКЛЮЧЕНИЕ

В данной работе предложен новый нейросетевой метод одновременного решения задач классификации и повышения разрешения фрагментов полнослайдовых гистологических изображений. Метод включает в себя последовательное обучение вспомогательной и основной нейросетевых моделей. Благодаря общему кодировщику, участвующего при решении обеих задач и использующего при обучении максимально возможное количество информации, продемонстрированы лучшие результаты предложенного метода как для задачи классификации, так и для задачи повышения разрешения. Достигнутые значения сбалансированной точности классификации 0.916 и PSNR = 32.36, SSIM = 0.89 для задачи повышения разрешения на тестовой выборке набора изображений PATH-DT-MSU WSS2v2 позволяют говорить о применимости предложенного метода на практике и использовании в реальных системах обработки и анализа гистологических изображений.

7. ИСТОЧНИК ФИНАНСИРОВАНИЯ

Исследования выполнены при финансовой поддержке Российского научного фонда в рамках научного проекта № 22-41-02002.

¹ https://imaging.cs.msu.ru/en/research/histology/path-dt-msu

² https://github.com/xubiker/psimage

³ https://github.com/xubiker/psimage

作者简介

Zh. Sun

Lomonosov Moscow State University

编辑信件的主要联系方式.
Email: sbitb0009@gse.cs.msu.ru
俄罗斯联邦, Moscow

A. Khvostikov

Lomonosov Moscow State University

Email: khvostikov@cs.msu.ru
俄罗斯联邦, Moscow

A. Krylov

Lomonosov Moscow State University

Email: kryl@cs.msu.ru
俄罗斯联邦, Moscow

A. Sethi

Indian Institute of Technology Bombay

Email: asethi@ee.iitb.ac.in
印度, Mumbai

I. Mikhailov

Lomonosov Moscow State University

Email: imihailov@mc.msu.ru
俄罗斯联邦, Moscow

P. Malkov

Lomonosov Moscow State University

Email: pmalkov@mc.msu.ru
俄罗斯联邦, Moscow

参考

补充文件