Early diagnosis of skin oncologic diseases using artificial intelligence technologies

Cover Page

Cite item

Full Text

Abstract

The last decade has seen significant progress in computer-aided image analysis and recognition, with modern computer-aided diagnostic algorithms not only catching up with, but in many aspects surpassing human abilities. At the heart of this breakthrough is the development of deep convolutional neural networks, which have given a new impetus to medical diagnosis, particularly of skin cancers. In this paper, we analyzed photo-based skin disease classification systems developed using algorithms based on deep learning convolutional neural networks. Such methods have been variously reported to enable automated diagnosis of skin neoplasms with high sensitivity and specificity. A disease that requires more detailed analysis of graphic images — skin melanoma — was chosen as the main object of study. Early diagnosis of melanoma is of great socio-economic importance, as in this case the prognosis of patients is significantly improved. The aim of this work is to analyze the results of artificial intelligence (AI) applications in dermatology, especially in the context of early detection of skin melanoma. Scientific articles were searched in PubMed, Scopus and eLIBRARY databases using the keywords “convolutional neural networks”, “skin cancer” and “artificial intelligence”. The depth of the search was 10 years. The final analysis included 38 sources where the results of our own research were presented. The advantages of artificial intelligence methods for dermatologists were analyzed. Artificial intelligence can significantly assist dermatologists in developing visual neoplasm diagnosis skills and improve diagnostic accuracy. The use of AI to process dermatoscopic data in conjunction with the analysis of anamnestic and clinical information from medical records will reduce the burden on the healthcare system through correctly diagnosed benign skin tumors. All of this promises to have a significant impact on the future development of dermatovenerology.

 

About the authors

Simon О. Samokhin

S.M. Kirov Military Medical Academy

Author for correspondence.
Email: dr.dokip@gmail.com
ORCID iD: 0009-0009-2964-3281
Russian Federation, Saint Petersburg

Alexander V. Patrushev

S.M. Kirov Military Medical Academy

Email: alexpat2@yandex.ru
ORCID iD: 0000-0002-6989-9363

MD, Dr. Sci. (Med.), Assistant Professor

Russian Federation, Saint Petersburg

Yulia I. Akaeva

S.M. Kirov Military Medical Academy

Email: Juliaakaeva@gmail.com
ORCID iD: 0009-0004-8727-0624
Russian Federation, Saint Petersburg

Sergei A. Parfenov

S.M. Kirov Military Medical Academy

Email: sa.parfenov1988@yandex.ru
ORCID iD: 0000-0002-1649-9796

MD, Cand. Sci. (Med.)

Russian Federation, Saint Petersburg

Gennadii G. Kutelev

S.M. Kirov Military Medical Academy

Email: gena08@yandex.ru
ORCID iD: 0000-0002-6489-9938

MD, Cand. Sci. (Med.)

Russian Federation, Saint Petersburg

References

  1. Гаврилов Д.А., Закиров Э.И., Гамеева Е.В., Семенов В.Ю., Александрова О.Ю. Автоматизированная диагностика меланомы кожи на основе математической модели искусственной сверточной нейронной сети. Исследования и практика в медицине. 2018;5(3):110–116. [Gavrilov DA, Zakirov EI, Ganeeva EV, Semenov VYu, Alexandrova OYu. Automated skin melanoma diagnostics based on mathematical model of artificial convolutional neural network. Research’n Practical Medicine Journal. 2018;5(3):110–116. (In Russ.)] doi: 10.17709/2409-2231-2018-5-3-11
  2. Fujisawa Y, Otomo Y, Ogata Y, Nakamura Y, Fujita R, Ishitsuka Y, et al. Deep-learning-based, computer-aided classifier developed with a small dataset of clinical images surpasses board-certified dermatologists in skin tumour diagnosis. Br J Dermatol. 2019;180(2):373–381. doi: 10.1111/bjd.16924
  3. Мелерзанов А., Гаврилов Д. Диагностика меланомы кожи с помощью сверточных нейронных сетей глубокого обучения. Врач. 2018;29(6):31–33. [Melerzanov A, Gavrilov D. Melanoma diagnosis using convolutional neural networks of deep learning. Vrach. 2018;29(6):31–33. (In Russ.)] doi: 10.29296/25877305-2018-06-06
  4. Brinker TJ, Hekler A, Enk AH, Berking C, Haferkamp S, Hauschild A, et al. Deep neural networks are superior to dermatologists in melanoma image classification. Eur J Cancer. 2019;119:11–17. doi: 10.1016/j.ejca.2019.05.023
  5. Краюшкин П.В. Возможности искусственного интеллекта в диагностике онкологических заболеваний кожи. Косметика и медицина. 2018;3:90–99. [Krayushkin PV. Possibilities of artificial intelligence in diagnostics of oncologic skin diseases. Journal of Cosmetics & Medicine. 2018;3:90–99.] URL: www.cmjournal.ru
  6. Никитаев В.Г., Проничев А.Н., Тамразова О.Б., Сергеев В.Ю., Гуров Д.В., Зайцев С.М., и др. Сверточные нейронные сети в диагностике новообразований кожи. Безопасность информационных технологий. 2021;28(4):118–126. [Nikitaev VG, Pronichev AN, Tamrazova OB, Sergeev VYu, Gurov DV, Zaitsev SM, et al. Сonvolutional neural networks in the diagnosis of skin neoplasms. IT Security (Russia). 2021;28(4):118–126. (In Russ.)] doi: 10.26583/bit.2021.4.09
  7. Хабарова Р.И., Кулева С.А. Искусственный интеллект в диагностике доброкачественных новообразований кожи у пациентов детского возраста. Интеграция нейронной сети в мобильное приложение. Вопросы онкологии. 2022;68(6):820–826. [Khabarova RI, Kuleva SA. Artificial intelligence in the diagnosis of benign skin neoplasms in pediatric patients. Integration of neural network into mobile application. Voprosy onkologii. 2022;68(6):820–826. (In Russ.)] doi: 10.37469/0507-3758-2022-68-6-820-826
  8. Liu Y, Jain A, Eng C, Way DH, Lee K, Bui P, et al. A deep learning system for differential diagnosis of skin diseases. Nat Med. 2020;26(6):900–908. doi: 10.1038/s41591-020-0842-3
  9. Jones OT, Matin RN, van der Schaar M, Prathivadi Bhayankaram K, Ranmuthu CKI, Islam MS, et al. Artificial intelligence and machine learning algorithms for early detection of skin cancer in community and primary care settings: a systematic review. Lancet Digit Health. 2022;4(6):е466–е476. doi: 10.1016/S2589-7500(22)00023-1
  10. Wen D, Khan SM, Xu AJ, Ibrahim H, Smith L, Caballero J, et al. Characteristics of publicly available skin cancer image datasets: a systematic review. Lancet Digit Health. 2022;4(1):е64–е74. doi: 10.1016/s2589-7500(21)00252-1
  11. Stiff KM, Franklin MJ, Zhou Y, Madabhushi A, Knackstedt TJ. Artificial intelligence and melanoma: A comprehensive review of clinical, dermoscopic, and histologic applications. Pigment Cell Melanoma Res. 2022;35(2):203–211. doi: 10.1111/pcmr.13027
  12. Muñoz-López C, Ramírez-Cornejo C, Marchetti MA, Han SS, Del Barrio-Díaz P, Jaque A, et al. Performance of a deep neural network in teledermatology: a singlecentre prospective diagnostic study. J Eur Acad Dermatol Venereol. 2021;35(2):546–553. doi: 10.1111/jdv.16979
  13. Tschandl P, Rosendahl C, Akay BN, Argenziano G, Blum A, Braun RP, et al. Expert-level diagnosis of nonpigmented skin cancer by combined convolutional neural networks. JAMA Dermatol. 2019;155(1):58–65. doi: 10.1001/jamadermatol.2018.4378
  14. Dildar M, Akram S, Irfan M, Khan HU, Ramzan M, Mahmood AR, et al. Skin Cancer Detection: A Review Using Deep Learning Techniques. Int J Environ Res Public Health. 2021;18(10):5479. doi: 10.3390/ijerph18105479
  15. Du-Harpur X, Watt FM, Luscombe NM, Lynch MD. What is AI? Applications of artificial intelligence to dermatology. Br J Dermatol. 2020;183(3):423–430. doi: 10.1111/bjd.18880
  16. Haenssle HA, Fink C, Schneiderbauer R, Toberer F, Buhl T, Blum A, et al. Man against machine: diagnostic performance of a deep learning convolutional neural network for dermoscopic melanoma recognition in comparison to 58 dermatologists. Ann Oncol. 2018;29(8):1836–1842. doi: 10.1093/annonc/mdy166
  17. Lucius M, De All J, De All JA, Belvisi M, Radizza L, Lanfranconi M, et al. Deep neural frameworks improve the accuracy of general practitioners in the classification of pigmented skin lesions. Diagnostics (Basel). 2020;10(11):969. doi: .3390/diagnostics10110969
  18. Rivera SC, Liu X, Chan AW, Denniston AK, Calvert MJ. Guidelines for clinical trial protocols for interventions involving artificial intelligence: the SPIRIT-AI Extension. BMJ. 2020;370:m3210. doi: 10.1136/bmj.m3210
  19. Aggarwal P, Papay FA. Artificial intelligence image recognition of melanoma and basal cell carcinoma in racially diverse populations. J Dermatolog Treat. 2022;33(4):2257–2262. doi: 10.1080/09546634.2021.1944970
  20. Milton MAA. Automated Skin Lesion Classification Using Ensemble of Deep Neural Networks in ISIC 2018: Skin Lesion Analysis Towards Melanoma Detection Challenge. arXiv. 2019. arXiv:1901.10802. doi: 10.48550/arXiv.1901.10802
  21. Curiel-Lewandrowski С, Novoa RA, Berry E, et al. Artificial Intelligence Approach in Melanoma. In: Fisher D, Bastian B. (eds). Melanoma. New York, NY: Springer; 2019. doi: 10.1007/978-1-4614-7147-9_43
  22. Jojoa Acosta MF, Caballero Tovar LY, Garcia-Zapirain MB, Percybrooks WS. Melanoma Diagnosis Using Deep Learning Techniques on Dermatoscopic Images. BMC Med. Imaging. 2021;21(1):6. doi: 10.1186/s12880-020-00534-8
  23. Phillips M, Marsden H, Jaffe W, Matin RN, Wali GN, Greenhalgh J, et al. Assessment of Accuracy of an Artificial Intelligence Algorithm to Detect Melanoma in Images of Skin Lesions. JAMA Netw Open. 2019;2(10):1913436. doi: 10.1001/jamanetworkopen.2019.13436
  24. Mar VJ, Soyer HP. Artificial intelligence for melanoma diagnosis: how can we deliver on the promise? Ann Oncol. 2019;30(12):е1–е3. doi: 10.1093/annonc/mdy191
  25. Berlin SJ, John M. Particle Swarm Optimization with Deep Learning for Human Action Recognition. Multimed. Tools Appl. 2020;79:17349–17371. doi: 10.1007/s11042-020-08704-0
  26. AI Dermatologist. Skin Scanner. URL: https://ai-derm.com/
  27. Wells A, Patel S, Lee JB, Motaparthi K. Artificial intelligence in dermatopathology: Diagnosis, education, and research. J Cutan Pathol. 2021;48(8):1061–1068. doi: 10.1111/cup.13954
  28. Freeman K, Dinnes J, Chuchu N, Takwoingi Y, Bayliss SE, Matin RN, et al. Algorithm based smartphone apps to assess risk of skin cancer in adults: systematic review of diagnostic accuracy studies. BMJ. 2020;368:m127. doi: 10.1136/bmj.m127
  29. Jain A, Way D, Gupta V, Gao Y, de Oliveira Marinho G, Hartford J, et al. Development and assessment of an artificial intelligence-based tool for skin condition diagnosis by primary care physicians and nurse practitioners in teledermatology practices. JAMA Netw Open. 2021;4(4):e217249. doi: 10.1001/jamanetworkopen.2021.7249
  30. Guerrisi A, Falcone I, Valenti F, Rao M, Gallo E, Ungania S, et al. Artificial Intelligence and Advanced Melanoma: Treatment Management Implications. Cells. 2022;11(24):3965. doi: 10.3390/cells11243965
  31. Young AT, Xiong M, Pfau J, Keiser MJ, Wei ML. Artificial Intelligence in Dermatology: A Primer. J Invest Dermatol. 2020;140(8):1504–1512. doi: 10.1016/j.jid.2020.02.026
  32. Jutzi TB, Krieghoff-Henning EI, Holland-Letz T, Utikal JS, Hauschild A, Schadendorf D, et al. Artificial intelligence in skin cancer diagnostics: The patients’ perspective. Front Med (Lausanne). 2020;7:233. doi: 10.3389/fmed.2020.00233
  33. Dick V, Sinz C, Mittlböck M, Kittler H, Tschandl P. Accuracy of computer-aided diagnosis of melanoma: a meta-analysis. JAMA Dermatol. 2019;155(11):1291–1299. doi: 10.1001/jamadermatol.2019.1375
  34. MacLellan AN, Price EL, Publicover-Brouwer P, Matheson K, Ly TY, Pasternak S, et al. The use of noninvasive imaging techniques in the diagnosis of melanoma: a prospective diagnostic accuracy study. J Am Acad Dermatol. 2021;85(2):353–359. doi: 10.1016/j.jaad.2020.04.019
  35. Winkler JK, Sies K, Fink C, Toberer F, Enk A, Deinlein T, et al. Melanoma recognition by a deep learning convolutional neural network — performance in different melanoma subtypes and localizations. Eur J Cancer. 2020;127:21–29. doi: 10.1016/j.ejca.2019.11.020
  36. Phillips M, Greenhalgh J, Marsden H, Palamaras I. Detection of malignant melanoma using artificial intelligence: an observational study of diagnostic accuracy. Dermatol Pract Concept. 2019;10(1):2020011. doi: 10.5826/dpc.1001a11
  37. Ali IS, Mohamed MF, Mahdy YB. Data Augmentation for Skin Lesion Using Self-Attention Based Progressive Generative Adversarial Network. arXiv. 2019. arXiv:1910.11960. doi: 10.48550/arXiv.1910.11960
  38. Sevli O. A deep convolutional neural network-based pigmented skin lesion classification application and experts evaluation. Neural Computing and Applications. 2021;33(18):12039–12050. doi: 10.1007/s00521-021-05929-4

Supplementary files

Supplementary Files
Action
1. JATS XML
Download
2. Fig. 1. Stages and criteria for the selection of studies, systematic reviews and clinical cases

Download (577KB)
Indexing metadata
3. Fig. 2. The general principle of operation of trained artificial intelligence recognition systems according to a given algorithm based on images

Download (466KB)
Indexing metadata

Copyright (c) 2024 Samokhin S.О., Patrushev A.V., Akaeva Y.I., Parfenov S.A., Kutelev G.G.

Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».