Моделирование индивидуального стиля разметки врача-рентгенолога для улучшения точности нейронных сетей

Обоснование: одна из часто встречающихся проблем при разметке медицинских изображений — расхождения между разными врачами-разметчиками (inter-observer variability). Одно и то же изображение может быть размечено врачами по-разному. Основные причины — человеческий фактор, разница в опыте и квалификации, разные «радиологические школы», плохое качество изображения, нечёткие инструкции. Влияние некоторых факторов можно уменьшить за счёт правильной организации процесса разметки, но мнение врачей всё равно нередко различается.

Цель: проверить, может ли нейронная сеть с помощью дополнительного модуля обучиться стилю и особенностям разметки разных врачей-рентгенологов и может ли такое моделирование улучшить итоговые метрики детекции объектов на радиологических изображениях.

Методы: для обучения систем искусственного интеллекта в радиологии часто используется перекрёстная разметка, т.е. разметка одного и того же исследования несколькими врачами. Существуют разные методы работы с такой разметкой. Самый простой способ — использовать разметку от каждого врача как независимый пример при обучении модели. Есть методы, которые с помощью различных правил или алгоритмов объединяют разметку перед обучением. Наконец, M.Y. Guan и соавт. используют отдельные классификационные головы для моделирования стиля разметки разных врачей. К сожалению, этот метод не подходит для более сложных задач, например детекции объектов на изображении. Для данного анализа использовалась модель машинного обучения, предназначенная для детекции объектов различных классов на маммографических исследованиях. Эта модель является нейронной сетью, основанной на архитектуре Deformable DETR. Для обучения нейронной сети использовался набор данных, состоящий из 7756 маммографических исследований молочных желёз и 12 543 уникальных аннотации от 19 врачей; для валидации — набор данных, состоящий из 700 исследований, размеченных по шкале Bi-Rads; для тестирования — набор данных, состоящий из 300 исследований, размеченных по шкале Bi-Rads. Во всех наборах данных доля исследований с патологией находилась в диапазоне 15–20%. Каждому из 19 врачей был присвоен уникальный индекс, по которому специальный модуль на каждой итерации обучения нейронной сети находит соответствующий этому индексу вектор. Этот вектор расширялся до размера карты признаков каждого уровня пирамиды признаков, а затем присоединялся отдельными каналами к этим картам. Таким образом, энкодер и декодер детектора получали доступ к информации о том, какой врач разметил данное исследование. Векторы обновлялись с помощью метода обратного распространения ошибки. Для сравнения были выбраны три метода.

1. Базовая модель — объединение разметки методом разных врачей с помощью метода "голосования".
2. Использование нового стилистического модуля. Для предсказаний на тестовом наборе данных был использован индекс одного врача, который показал лучшие метрики на валидационном наборе данных.
3. Использование нового стилистического модуля. Для предсказаний на тестовом наборе данных были использованы индексы пяти врачей с лучшими метриками на валидационном наборе данных. Для объединения предсказаний применялся метод Weighted Boxes Fusion.

В качестве основной метрики был использован ROC-AUC на тестовом наборе данных (к патологии относились категории Bi-Rads 3, 4, и 5). В качестве вероятности злокачественности для каждого метода использовалась сумма максимальных вероятностей обнаруженных злокачественных объектов (злокачественные образования и кальцинаты) по проекциям CC и MLO.

Результаты: по результатам обучения были получены следующие метрики ROC-AUC для трёх приведённых методов — 0,82; 0,87 и 0,89.

Заключение: использование информации о враче-разметчике позволяет нейронной сети эффективнее обучаться и моделировать стиль разметки разных врачей. Данный метод может также применяться для получения оценки неуверенности сети в своём предсказании. Использование эмбеддингов разных врачей, приводящее к разным предсказаниям, может означать сложность данного исследования для обработки системой искусственного интеллекта.