Сравнение уровня экспертного согласия в оценке объема поражения при COVID-19-ассоциированной пневмонии на компьютерной томографии грудной клетки

Обложка

Цитировать

Полный текст

Аннотация

Обоснование. Пандемия SARS-CoV-2 поставила перед специалистами по лучевой диагностике новые задачи — ранней диагностики интерстициальной пневмонии, оценки ее тяжести и динамики при контрольных исследованиях. Компьютерная томография (КТ) стала методом выбора для оценки легочной ткани у больных COVID-19, что связано с низкой чувствительностью рентгенографии в детекции снижения воздушности по типу «матового стекла». Критерии оценки визуальных признаков поражения легочной ткани зачастую обладают долей субъективности, при этом заключение, основанное на них, может влиять на тактику ведения пациента. Цель исследования — определить меж- и внутриэкспертную сходимость в оценке процента поражения и КТ-степень COVID-19-ассоциированной пневмонии при КТ-исследовании среди экспертов с разным опытом, проанализировать уровень сходимости в зависимости от распространенности поражения и иных факторов. Методы. В исследовании проанализированы КТ 221 пациента с подтвержденным ПЦР к SARS-CoV-2. Исключены пациенты с фоновой патологией легких и часть пациентов с поражением до 50% для создания равномерной по степеням выборке из 100 пациентов. Четыре эксперта-рентгенолога определяли процент поражения легких и КТ-степень. Произведен анализ результатов экспертной оценки методами классической описательной статистики и анализ внутри- и межэкспертной сходимости. Результаты. При оценке внутриэкспертной сходимости (через 6 мес) корреляция уровня поражения легких в процентах между первым и вторым чтением составила у эксперта 1 (высокий уровень подготовки) R = 0,86 (p < 0,05), у эксперта 2 (высокий уровень подготовки) — R = 0,84 (p < 0,05). Внутриэкспертное согласие Каппа (для КТ-степени) составило 0,54 для эксперта 1 и 0,46 для эксперта 2, что соответствует умеренному уровню согласованности. При оценке межэкспертной сходимости взаимосвязь между уровнем поражения легких в процентах между экспертами 1 и 2 (высокий уровень подготовки) составила R = 0,87 (p < 0,05), между экспертами 3 и 4 (низкий уровень подготовки) — R = 0,78 (p < 0,05). Мера межэкспертного согласия Каппа составила 0,51 для экспертов 1 и 2 и 0,56 — для экспертов 3 и 4. Средняя оценка экспертов по выборке различалась до 4,5%, а при анализе расхождений мнений экспертов разница варьировалась равномерно, в степень и как увеличения, так и уменьшения объема поражения, тем самым представляя собой случайную ошибку. Заключение. Несмотря на высокий уровень корреляции в оценке процента поражения, сходимость Каппа по КТ-степени оказалась умеренной, существенно не различаясь от степени подготовки эксперта. Чаще различия в уровне поражения наблюдаются при «неклассических» паттернах: «обратном гало», криволинейных уплотнениях и т.д. Разница в мнениях не представляет собой систематическую ошибку. Таким образом, экспертная оценка объема поражения легких «эмпирически» обладает умеренным, недостаточным уровнем надежности, что, в свою очередь, создает благоприятные условия для использования инструментов по объективизации оценки.

Об авторах

Сергей Сергеевич Первушкин

Самарский государственный медицинский университет

Email: sergey.pervushkin@gmail.com
ORCID iD: 0000-0002-7574-283X
SPIN-код: 3089-5082

ассистент

Россия, 443099, Самара, ул. Чапаевская, д. 89

Павел Михайлович Зельтер

Самарский государственный медицинский университет

Email: pzelter@mail.ru
ORCID iD: 0000-0003-1346-5942
SPIN-код: 3678-3932

к.м.н., доцент

Россия, 443099, Самара, ул. Чапаевская, д. 89

Евгения Константиновна Крамм

Самарский государственный медицинский университет

Email: Evgeniyakramm@gmail.com
ORCID iD: 0000-0003-3029-8787
SPIN-код: 4826-5241

ассистент

Россия, 443099, Самара, ул. Чапаевская, д. 89

Елизавета Андреевна Сартакова

Самарский государственный медицинский университет

Автор, ответственный за переписку.
Email: Sartakova163@mail.ru
ORCID iD: 0000-0002-2439-197X
SPIN-код: 6825-5077

клинический ординатор

Россия, 443099, Самара, ул. Чапаевская, д. 89

Список литературы

  1. Kim H. Outbreak of novel coronavirus (COVID-19): What is the role of radiologists? Eur Radiol. 2020;30(6):3266–3267. doi: https://doi.org/10.1007/s00330-020-06748-2
  2. Fang Y, Zhang H, Xie J, et al. Sensitivity of Chest CT for COVID-19: Comparison to RT-PCR. Radiology. 2020;296(2):E115–E117. doi: https://doi.org/10.1148/radiol.2020200432
  3. Salehi S, Abedi A, Balakrishnan S, et al. Coronavirus Disease 2019 (COVID-19): A Systematic Review of Imaging Findings in 919 Patients. AJR Am J Roentgenol. 2020;215(1):87–93. doi: https://doi.org/10.2214/AJR.20.23034
  4. Prokop M, van Everdingen W, van Rees Vellinga T, et al. CO-RADS: A Categorical CT Assessment Scheme for Patients Suspected of Having COVID-19-Definition and Evaluation. Radiology. 2020;296(2):E97–E104. doi: https://doi.org/10.1148/radiol.2020201473
  5. Salehi S, Abedi A, Balakrishnan S, et al. Coronavirus disease 2019 (COVID-19) imaging reporting and data system (COVID-RADS) and common lexicon: a proposal based on the imaging data of 37 studies. Eur Radiol. 2020;30(9):4930–4942. doi: https://doi.org/10.1007/s00330-020-06863-0
  6. Авдеев С.Н., Адамян Л.В., Алексеева Е.И.,и др. Профилактика, диагностика и лечение новой коронавирусной инфекции (COVID-19): Временные методические рекомендации/ Министерство здравоохранения РФ; утверждено зам. министра здравоохранения РФ Е.Г. Камкин. — M., 2020. — 236 с. [AvdeevNS, AdamjanLV, AlekseevaEI, i dr. Profilaktika, diagnostika I lechenie novoj koronavirusnoj infekcii (COVID-19): Vremennye metodicheskie rekomendacii / Ministerstvo zdravoohranenija RF; utverzhdeno zam. Ministra zdravoohranenija RF E.G. Kamkin. Moscow; 2020. 236 s. (In Russ.)]
  7. Hadied MO, Patel PY, Cormier P, et al. Interobserver and Intraobserver Variability in the CT Assessment of COVID-19 Based on RSNA Consensus Classification Categories. Acad Radiol. 2020;27(11):1499–1506. doi: https://doi.org/10.1016/j.acra.2020.08.038
  8. De Jaegere TMH, Krdzalic J, Fasen BACM, et al. Radiological Society of North America Chest CT Classification System for Reporting COVID-19 Pneumonia: Interobserver Variability and Correlation with Reverse-Transcription Polymerase Chain Reaction. Radiol Cardiothorac Imaging. 2020;2(3):e200213. doi: https://doi.org/10.1148/ryct.2020200213
  9. Sushentsev N, Bura V, Kotnik M, et al. A head-to-head comparison of the intra- and interobserver agreement of COVID-RADS and CO-RADS grading systems in a population with high estimated prevalence of COVID-19. BJR Open. 2020;2(1):20200053. doi: https://doi.org/10.1259/bjro.20200053
  10. Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977:159–174.
  11. Harmon SA, Sanford TH, Xu S, et al. Artificial intelligence for the detection of COVID-19 pneumonia on chest CT using multinational datasets. Nat Commun. 2020;11(1):4080. doi: https://doi.org/10.1038/s41467-020-17971-2
  12. Adly AS, Adly AS, Adly MS. Approaches Based on Artificial Intelligence and the Internet of Intelligent Things to Prevent the Spread of COVID-19: Scoping Review. J Med Internet Res. 2020;22(8):e19104. doi: https://doi.org/10.2196/19104
  13. Zhao W, Zhong Z, Xie X, et al. Relation between Chest CT Findings and Clinical Conditions of Coronavirus Disease (COVID-19) Pneumonia: A Multicenter Study. AJR Am J Roentgenol. 2020;214(5):1072–1077. doi: https://doi.org/10.2214/ajr.20.22976
  14. Kumar V, Abbas AK, Fausto N, etal. Robbins and Cotran Pathologic Basis of Disease (Robbins Pathology). Saunders. ISBN:B005WV2Q86.
  15. Зайратьянц О.В., Cамсонова М.В., Михалева Л.М., и др. Патологическая анатомия COVID-19: Атлас / под общ. ред. О.В. Зайратьянца. — М.: НИИОЗММ, 2020. — 140 с. [Zajrat’yanc OV, Camsonova MV, Mihaleva LM, i dr. Patologicheskaya anatomiya COVID-19: Atlas / pod obshch. red. O.V. Zajrat’yanca. Moscow: NIIOZMM; 2020. 140 s. (In Russ.)]
  16. McHugh ML. Interrater reliability: the kappa statistic. Biochem Med (Zagreb). 2012;22(3):276–282.
  17. Порядок госпитализации в медицинские организации пациентов с установленным диагнозом новой коронавирусной инфекции COVID-19 в зависимости от степени тяжести заболевания: Приложение № 12 к приказу Минздрава России от 19.03.2020 № 198н. Available from: http://www.consultant.ru/document/cons_doc_LAW_348101/113f06199319dbb50e28daaaac80e34214450766/
  18. Эволюция пандемии COVID-19 / под ред. Н.А. Белякова, С.Ф. Багненко. — СПб.: Балтийский медицинский образовательный центр, 2021. — 411 с. [Evolyuciya pandemii COVID-19 / pod red. N.A. Belyakova, S.F. Bagnenko. Saint Petersburg: Baltijskij medicinskij obrazovatel’nyj centr; 2021. 411 s. (In Russ.)]
  19. Морозов С.П., Чернина В.Ю., Блохин И.А., и др. Прогнозирование исходов при лабораторно верифицированном COVID-19 по данным компьютерной томографии органов грудной клетки: ретроспективный анализ 38 051 пациента // Digital Diagnostics. — 2020. — Т. 1. — № 1. — C. 27–36. [Morozov SP, Chernina VYu, Blokhin IA, Gombolevskiy VA. Chest computed tomography for outcome prediction in laboratory-confirmed COVID-19: Aretrospective analysis of 38,051 cases. Digital Diagnostics. 2020;1(1):27−36. (In Russ.)] doi: https://doi.org/10.17816/DD46791

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
2. Рис. 1. Схема исследования

Скачать (296KB)
3. Рис. 2. Диаграмма значений процента поражения экспертов 1 (А) и 2 (Б)

Скачать (165KB)
4. Рис. 3. Частотные гистограммы внутриэкспертной разницы экспертов 1 (А) и 2 (Б), %

Скачать (111KB)
5. Рис. 4. Диаграмма значений процента поражения между экспертами: А — 1 и 2 (высокий уровень подготовки); Б — 3 и 4 (низкий уровень подготовки)

Скачать (167KB)
6. Рис. 5. Частотные гистограммы межэкспертной разницы в процентах: А — высокий уровень подготовки; Б — низкий уровень подготовки

Скачать (110KB)
7. Рис. 6. Диаграмма значений среднего процента поражения между экспертами разного уровня подготовки

Скачать (99KB)
8. Рис. 7. Компьютерная томография органов грудной клетки пациентки Т.

Скачать (303KB)
9. Рис. 8. Компьютерная томография органов грудной клетки пациента Б.

Скачать (278KB)

© Издательство "Педиатръ", 2022

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».