Оценка производительности программного обеспечения на основе технологии искусственного интеллекта при описании цифровых маммографических исследований

Обложка

Цитировать

Полный текст

Аннотация

Обоснование. Цифровая скрининговая маммография — это основной инструмент для раннего выявления злокачественных новообразований молочной железы, позволяющий снизить смертность на 20–40%. На сегодняшний день разработано множество сервисов на основе искусственного интеллекта (ИИ), позволяющих автоматизировать анализ таких исследований.

Цель — сравнить результаты оценки цифровых маммографических исследований, выполненной тремя типами ИИ-сервисов в нескольких версиях, с заключениями врачей-рентгенологов.

Материалы и методы. Проведено сравнение бинарных шкал оценки маммографических исследований и нескольких типов и версий ИИ-сервисов по показателям диагностической точности, коэффициенту Мэтьюса и максимальному индексу Юдена.

Результаты. Сравнительный анализ показал, что выбор бинарной шкалы для оценки цифрового маммографического исследования влияет на количество выявляемых случаев патологии и точность результатов ИИ-сервисов. Кроме того, обнаружена зависимость показателей диагностической точности от порогового значения. Наилучшей производительностью обладает ИИ-сервис 1 в версии 3, что подтверждается большинством показателей диагностической точности.

Заключение. Полученные нами результаты могут быть полезны при выборе ИИ-сервисов для интерпретации данных скрининговой маммографии. Настройка ИИ-сервиса методом максимизации индекса Юдена позволяет получать сбалансированные значения чувствительности и специфичности, что не всегда целесообразно с клинической точки зрения.

Об авторах

Юрий Александрович Васильев

Научно-практический клинический центр диагностики и телемедицинских технологий; Национальный медико-хирургический Центр имени Н.И. Пирогова

Автор, ответственный за переписку.
Email: VasilevYA1@zdrav.mos.ru
ORCID iD: 0000-0002-5283-5961
SPIN-код: 4458-5608

канд. мед. наук

Россия, Москва; Москва

Александр Владимирович Колсанов

Самарский государственный медицинский университет

Email: a.v.kolsanov@samsmu.ru
ORCID iD: 0000-0002-4144-7090
SPIN-код: 2028-6609

 д-р мед. наук, профессор

Россия, Самара

Кирилл Михайлович Арзамасов

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: ArzamasovKM@zdrav.mos.ru
ORCID iD: 0000-0001-7786-0349
SPIN-код: 3160-8062

канд. мед. наук, руководитель отдела медицинской информатики, радиомики и радиогеномики

Россия, Москва

Антон Вячеславович Владзимирский

Научно-практический клинический центр диагностики и телемедицинских технологий; Первый Московский государственный медицинский университет имени И.М. Сеченова

Email: VladzimirskijAV@zdrav.mos.ru
ORCID iD: 0000-0002-2990-7736
SPIN-код: 3602-7120

д-р мед. наук, профессор

Россия, Москва; Москва

Ольга Васильевна Омелянская

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: OmelyanskayaOV@zdrav.mos.ru
ORCID iD: 0000-0002-0245-4431
SPIN-код: 8948-6152
Россия, Москва

Серафим Сергеевич Семенов

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: SemenovSS3@zdrav.mos.ru
ORCID iD: 0000-0003-2585-0864
SPIN-код: 4790-0416
Россия, Москва

Любовь Евгеньевна Аксенова

Научно-практический клинический центр диагностики и телемедицинских технологий

Email: AksenovaLE@zdrav.mos.ru
ORCID iD: 0000-0003-0885-1355
SPIN-код: 7705-6293
Россия, Москва

Список литературы

  1. Seely J.M., Alhassan T. Screening for breast cancer in 2018-what should we be doing today? // Curr Oncol. 2018. Vol. 25, Suppl. 1. P. S115–S124. doi: 10.3747/co.25.3770
  2. Кандоба В.И. Искусственный интеллект в скрининговой маммографии. Клиническое использование, проблемы и направления развития [интернет]. Режим доступа: https://www.itmportal.ru/upload/iblock/69e/7q981uhfaxjhcntal0exngxtq43xeth2/2.2.3. Kandoba ITM_AI-2022.pdf Дата обращения: 20.08.2023
  3. Цельс. Система поддержки принятия врачебных решений на базе технологий искусственного интеллекта для анализа цифровых медицинских изображений. Маммография [интернет]. Режим доступа: https://celsus.ai/products mammography/ Дата обращения: 20.08.2023
  4. Kim H.E., Kim H.H., Han B.K., et al. Changes in cancer detection and false positive recall in mammography using artificial intelligence: a retrospective, multireader study // Lancet Digit Health. 2020. Vol. 2, N 3. P. e138–e148. doi: 10.1016/S2589-7500(20)30003-0
  5. Yoon J.H., Strand F., Baltzer P.A.T., et al. Standalone AI for Breast Cancer Detection at Screening Digital Mammography and Digital Breast Tomosynthesis: A Systematic Review and Meta Analysis // Radiology. 2023. Vol. 307, N 5. ID: e222639. doi: 10.1148/radiol.222639
  6. Zhou X. H., Obuchowski N.A., McClish D.K. Statistical Methods in Diagnostic Medicine. NJ: John Wiley & Sons, Inc.; 2011. doi: 10.1002/9780470906514
  7. Habibzadeh F., Habibzadeh P,, Yadollahie M. On determining the most appropriate test cut off value: the case of tests with continuous results // Biochem Med (Zagreb). 2016. Vol. 26, N 3. P. 297–307. doi: 10.11613/BM.2016.034
  8. Schaffter T., Buist D.S.M., Lee C.I., et al. Evaluation of Combined Artificial Intelligence and Radiologist Assessment to Interpret Screening Mammograms // JAMA Netw Open. 2020. Vol. 3, N 3. ID: e200265. doi: 10.1001/jamanetworkopen.2020.0265
  9. McKinney S.M., Sieniek M., Godbole V., et al. International evaluation of an AI system for breast cancer screening // Nature. 2020. Vol. 577, N 7788. P. 89–94. doi: 10.1038/s41586-019-1799-6
  10. Nam J.G., Kim M., Park J., et al. Development and validation of a deep learning algorithm detecting 10 common abnormalities on chest radiographs // Eur Respir J. 2021. Vol. 57, N 5. ID: 2003061. doi: 10.1183/13993003.03061-2020
  11. Сахнов С.Н., Аксенов К.Д., Аксенова Л.Е., и др. Разработка модели скрининга катаракты с использованием открытого набора данных и алгоритмов глубокого машинного обучения. Офтальмохирургия. 2022. № S4. С. 13–20. EDN: VEGPAW doi: 10.25276/0235-4160-2022-4S-13-20
  12. King G., Zeng L. Logistic Regression in Rare Events Data // Political Analysis. 2001. Vol. 9, N 2. P. 137–163. doi: 10.1093/oxfordjournals.pan.a004868
  13. Chen F., Xue Y., Tan M.T., Chen P. Efficient statistical tests to compare Youden index: accounting for contingency correlation // Stat Med. 2015. Vol. 34, N 9. P. 1560–1576. doi: 10.1002/sim.6432
  14. Васильев Ю.А., Владзимирский А.В., Шарова Д.Е., и др. Клинические испытания систем искусственного интеллекта (лучевая диагностика). Москва: Государственное бюджетное учреждение здравоохранения города Москвы «Научно-практический клинический центр диагностики и телемедицинских технологий Департамента здравоохранения города Москвы», 2023. 40 с. EDN: PUIJLD
  15. Арзамасов К.М., Васильев Ю.А., Владзимирский А.В., и др. Применение компьютерного зрения для профилактических исследований на примере маммографии // Профилактическая медицина. 2023. Т. 26, № 6. С. 117–123. EDN: YBKHPS doi: 10.17116/profmed202326061117
  16. Васильев Ю.А., Тыров И.А., Владзимирский А.В., и др. Двойной просмотр результатов маммографии с применением технологий искусственного интеллекта: новая модель организации массовых профилактических исследований // Digital Diagnostics. 2023. Т. 4, № 2. С. 93–104. EDN: VRIEOH doi: 10.17816/DD321423
  17. Васильев Ю.А., Тыров И.А., Владзимирский А.В., и др. Новая модель организации массовых профилактических исследований, основанная на автономном искусственном интеллекте для сортировки результатов флюорографии // Здоровье населения и среда обитания — ЗНиСО. 2023. Т. 31, № 11. С. 23–32. EDN: SYIQBX doi: 10.35627/2219-5238/2023-31-11-23-32
  18. Владзимирский А.В., Васильев Ю.А., Арзамасов К.М., и др. Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента. Москва: Издательские решения, 2022. EDN: FOYLXK

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. Дизайн исследования и формирование наборов данных для анализа: ИИ-сервис — сервис искусственного интеллекта.

Скачать (268KB)
Метаданные
3. Рис. 2. Распределение категорий 1–6 по шкале BI-RADS, выставленных врачом в ходе описания цифровой маммографии для исследуемых наборов данных: по оси X — категория по шкале BI-RADS 1–6; по оси Y — количество исследований.

Скачать (63KB)
Метаданные
4. Рис. 3. Сравнение распределения категорий 0–1, выставленных врачами и сервисом искусственного интеллекта для трёх бинарных шкал: по оси X — бинарная шкала I–III; по оси Y — количество исследований; ИИ — искусственный интеллект.

Скачать (126KB)
Метаданные
5. Рис. 4. Распределение результатов работы трёх сервисов искусственного интеллекта при проведении анализа трёх наборов данных: по оси X — варианты сервиса искусственного интеллекта; по оси Y —вероятность; данные представлены в виде: центральная линия — медиана; края «ящика» — первый (Q1) и третий (Q3) квартиль; «усы» — минимальное и максимальное значение данных; ИИ-сервис — сервис на основе искусственного интеллекта.

Скачать (152KB)
Метаданные

© Эко-вектор, 2024

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Согласие на обработку персональных данных

 

Используя сайт https://journals.rcsi.science, я (далее – «Пользователь» или «Субъект персональных данных») даю согласие на обработку персональных данных на этом сайте (текст Согласия) и на обработку персональных данных с помощью сервиса «Яндекс.Метрика» (текст Согласия).