基于人工智能技术的医疗诊断软件测试和监测方法学

封面图片

如何引用文章

全文:

详细

论证。2016年，全球对基于人工智能技术开发医疗诊断软件的公司的投资额为8000万美元，2017年为1.52亿美元，并预料还将继续增长。软件公司的积极活动必须符合现有的临床、生物伦理、法律和方法学原理和标准。在国家和国际范围，基于人工智能技术的软件还没有统一的测试和监测标准和协议。

该研究的目的是开发一种通用方法，用于测试和监测基于人工智能技术的医疗诊断软件，以提高其质量和在实际医疗中的应用。

材料和方法。在分析阶段，对PubMed和eLIBRARY数据库进行了文献综述。实用阶段包括 在《使用创新计算机视觉技术进行医学图像分析并进一步应用于莫斯科市医疗系统的实验》框架内批准所开发的方法学，并将其进一步应用于莫斯科的医疗保健系统。

结果。我们开发了一套基于人工智能技术的医疗诊断软件测试和监测方法学，旨在提高该软件的质量，并将其应用于实际医疗保健中。该方法学包括7个阶段：自我测试、功能测试、校准测试、技术监测、临床监测、反馈和改进。

结论。该方法学的显著特点是对软件进行周期性的监测和改进，从而不断提高其质量；对软件性能结果并医生参与软件评估提出详细要求。该方法学可使软件开发人员在各个领域取得优异成绩并展示成就，也可使用户在通过独立、全面质量控制的程序中做出明智、自信的选择。

作者简介

Yuri A. Vasiliev

Moscow Center for Diagnostics and Telemedicine

Email: VasilevYA1@zdrav.mos.ru
ORCID iD: 0000-0002-0208-5218
SPIN 代码: 4458-5608

MD, Cand. Sci. (Med.)

俄罗斯联邦, Moscow

Anton V. Vlazimirsky

Moscow Center for Diagnostics and Telemedicine

Email: VladzimirskijAV@zdrav.mos.ru
ORCID iD: 0000-0002-2990-7736
SPIN 代码: 3602-7120

MD, Dr. Sci. (Med.)

俄罗斯联邦, Moscow

Olga V. Omelyanskaya

Moscow Center for Diagnostics and Telemedicine

Email: OmelyanskayaOV@zdrav.mos.ru
ORCID iD: 0000-0002-0245-4431
SPIN 代码: 8948-6152
俄罗斯联邦, Moscow

Kirill M. Arzamasov

Moscow Center for Diagnostics and Telemedicine

Email: ArzamasovKM@zdrav.mos.ru
ORCID iD: 0000-0001-7786-0349
SPIN 代码: 3160-8062

MD, Cand. Sci. (Med.)

俄罗斯联邦, Moscow

Sergey F. Chetverikov

Moscow Center for Diagnostics and Telemedicine

Email: ChetverikovSF@zdrav.mos.ru
ORCID iD: 0000-0002-3097-8881
SPIN 代码: 3815-8870

Cand. Sci. (Engin.)

俄罗斯联邦, Moscow

Denis A. Rumyantsev

Moscow Center for Diagnostics and Telemedicine

编辑信件的主要联系方式.
Email: x.radiology@mail.ru
ORCID iD: 0000-0001-7670-7385
SPIN 代码: 8734-2085
俄罗斯联邦, Moscow

Maria A. Zelenova

Moscow Center for Diagnostics and Telemedicine

Email: ZelenovaMA@zdrav.mos.ru
ORCID iD: 0000-0001-7458-5396
SPIN 代码: 3823-6872
俄罗斯联邦, Moscow

参考

  1. Oakden-Rayner L, Palme LJ. Artificial intelligence in medicine: Validation and study design. In: Ranschart E, Morozov S, Algra P, eds. Artificial intelligence in medical imaging. Cham: Springer; 2019. Р. 83–104.
  2. Morozov SP, Zinchenko VV, Khoruzhaya AN, et al. Standardization of artificial intelligence in healthcare: Russia is becoming a leader. Doctor Inform Technol. 2021;(2):12–19. (In Russ). doi: 10.25881/18110193_2021_2_12
  3. Mello AA, Utkin LV, Trofimova TN. Artificial intelligence in medicine: The current state and main directions of development of intellectual diagnostics. Radiation Diagnost Therapy. 2020;(1):9–17. (In Russ). doi: 10.22328/2079-5343-2020-11-1-9-17
  4. Zinchenko VV, Arzamasov KM, Chetverikov SF, et al. Methodology of post-registration clinical monitoring for software using artificial intelligence technologies. Modern Technol Med. 2022;14(5):15–25. (In Russ). doi: 10.17691/stm2022.14.5.02
  5. Tanguay W, Acar P, Fine B, et al. Assessment of radiology artificial intelligence software: A validation and evaluation framework. Can Assoc Radiol J. 2023;74(2):326–333. doi: 10.1177/08465371221135760
  6. Kohli A, Jha S. Why CAD failed in mammography. J Am Coll Radiol. 2018;15(3 Pt B):535–537. doi: 10.1016/j.jacr.2017.12.029
  7. Recht MP, Dewey M, Dreyer K, et al. Integrating artificial intelligence into the clinical practice of radiology: Challenges and recommendations. Eur Radiol. 2020;30(6):3576–3584. doi: 10.1007/s00330-020-06672-5
  8. Higgins DC, Johner C. Validation of artificial intelligence containing products across the regulated healthcare industries. Ther Innov Regul Sci. 2023;57(4):797–809. doi: 10.1007/s43441-023-00530-4
  9. Rudolph J, Schachtner B, Fink N, et al. Clinically focused multi-cohort benchmarking as a tool for external validation of artificial intelligence algorithm performance in basic chest radiography analysis. Sci Rep. 2022;12(1):12764. doi: 10.1038/s41598-022-16514-7
  10. Allen B, Dreyer K, Stibolt R, et al. Evaluation and real-world performance monitoring of artificial intelligence models in clinical practice: Try it, buy it, check it. J Am Coll Radiol. 2021;18(11):1489–1496. doi: 10.1016/j.jacr.2021.08.022
  11. Strohm L, Hehakaya C, Ranschaert ER, et al. Implementation of artificial intelligence (AI) applications in radiology: Hindering and facilitating factors. Eur Radiol. 2020;30(10):5525–5532. doi: 10.1007/s00330-020-06946-y
  12. Sohn JH, Chillakuru YR, Lee S, et al. An open-source, vender agnostic hardware and software pipeline for integration of artificial intelligence in radiology workflow. J Digit Imaging. 2020;33(4):1041–1046. doi: 10.1007/s10278-020-00348-8
  13. Wichmann JL, Willemink MJ, De Cecco CN. Artificial intelligence and machine learning in radiology: Current state and considerations for routine clinical implementation. Invest Radiol. 2020;55(9):619–627. doi: 10.1097/RLI.0000000000000673
  14. Larson DB, Harvey H, Rubin DL, et al. Regulatory frameworks for development and evaluation of artificial intelligence-based diagnostic imaging algorithms: Summary and recommendations. J Am Coll Radiol. 2021;18(3 Pt A):413–424. doi: 10.1016/j.jacr.2020.09.060
  15. Milam ME, Koo CW. The current status and future of FDA-approved artificial intelligence tools in chest radiology in the United States. Clin Radiol. 2023;78(2):115–122. doi: 10.1016/j.crad.2022.08.135
  16. De Silva D, Alahakoon D. An artificial intelligence life cycle: From conception to production. Patterns (NY). 2022;3(6):100489. doi: 10.1016/j.patter.2022.100489
  17. Cerdá-Alberich L, Solana J, Mallol P, et al. MAIC-10 brief quality checklist for publications using artificial intelligence and medical images. Insights Imaging. 2023;14(1):11. doi: 10.1186/s13244-022-01355-9
  18. Vasey B, Novak A, Ather S, et al. DECIDE-AI: A new reporting guideline and its relevance to artificial intelligence studies in radiology. Clin Radiol. 2023;78(2):130–136. doi: 10.1016/j.crad.2022.09.131
  19. Regulations for the preparation of data sets with a description of approaches to the formation of a representative sample of data. Moscow: Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Department of Health of the City of Moscow; 2022. 40 p. (Best practices in radiological and instrumental diagnostics; Part 1). (In Russ).
  20. Chetverikov S, Arzamasov KM, Andreichenko AE, et al. Approaches to sampling for quality control of artificial intelligence systems in biomedical research. Modern Technol Med. 2023;15(2):19–27. (In Russ). doi: 10.17691/stm2023.15.2.02
  21. Morozov SP, Vladzimirsky AV, Klyashtorny VG, et al. Clinical trials of software based on intelligent technologies (radiation diagnostics). Moscow: Scientific and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Department of Health of the City of Moscow; 2019. 33 р. (In Russ).
  22. Kim DW, Jang HY, Kim KW, et al. Design characteristics of studies reporting the performance of artificial intelligence algorithms for diagnostic analysis of medical images: Results from recently published papers. Korean J Radiol. 2019;20(3):405–410. doi: 10.3348/kjr.2019.0025

补充文件

附件文件
动作
1. JATS XML
下载
2. 图1。关于测试和监测基于人工智能技术的医疗诊断软件的方法。

下载 (128KB)
索引源数据
3. 图2。有图像的基于人工智能技术软件成果的主要组成部分：基准作品示例。

下载 (184KB)
索引源数据
4. 图3。有DICOM SR的基于人工智能技术软件成果的主要组成部分：基准作品示例。

下载 (211KB)
索引源数据
5. 图4。基于人工智能技术的软件另一系列的截图：不符合基本功能要求的严重不符合项。

下载 (88KB)
索引源数据
6. 图5。图片说明叠置：不符合基本功能要求的严重不符合项。

下载 (146KB)
索引源数据
7. 图6。校准测试协议书的示例。

下载 (262KB)
索引源数据
8. 图7。基于人工智能技术的软件运行监测内部报告表格。

下载 (302KB)
索引源数据
9. 图8。“胸部X射线照相术”模式软件的技术缺陷动态变化。

下载 (96KB)
索引源数据
10. 图9。技术监测报告的示例。

下载 (162KB)
索引源数据
11. 图10。假阴性（没有右肺下叶亚段膨胀不全的 定位）：不符合基本诊断要求的非严重不符合项。

下载 (122KB)
索引源数据
12. 图11。用户界面反馈窗口的内容。

下载 (103KB)
索引源数据

版权所有 © Eco-Vector, 2023

Creative Commons License
此作品已接受知识共享署名-非商业性使用-禁止演绎 4.0国际许可协议的许可。

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».