AUTOMATED METHOD FOR OPTIMUM SCALE SEARCH WHEN USING TRAINED MODELS FOR HISTOLOGICAL IMAGE ANALYSIS

Cover Page

Cite item

Full Text

Open Access Open Access
Restricted Access Access granted
Restricted Access Subscription Access

Abstract

Preparation of input data for an artificial neural network is a key step to achieve a high accuracy of its predictions. It is well known that convolutional neural models have low invariance to changes in the scale of input data. For instance, processing multiscale whole-slide histological images by convolutional neural networks naturally poses a problem of choosing an optimal processing scale. In this paper, this problem is solved by iterative analysis of distances to a separating hyperplane that are generated by a convolutional classifier at different input scales. The proposed method is tested on the DenseNet121 deep architecture pretrained on PATH-DT-MSU data, which implements patch classification of whole-slide histological images.

About the authors

M. A. PENKIN

Laboratory of Mathematical Methods of Image Processing, Faculty of Computational Mathematics and Cybernetics, Moscow State University

Email: penkin97@gmail.com
Moscow, Russia

A. V. KHVOSTIKOV

Laboratory of Mathematical Methods of Image Processing, Faculty of Computational Mathematics and Cybernetics, Moscow State University

Email: khvostikov@cs.msu.ru
Moscow, Russia

A. S. KRYLOV

Laboratory of Mathematical Methods of Image Processing, Faculty of Computational Mathematics and Cybernetics, Moscow State University

Author for correspondence.
Email: kryl@cs.msu.ru
Moscow, Russia

References

  1. Park S., Pantanowitz L., Parwani A.V. Digital imaging in pathology // Clinics in laboratory medicine. 2012. M. 32. № 4. C. 557–584.
  2. Pantanowitz L., Valenstein P.N., Evans A.J., Kaplan K.J., Pfeifer J.D., Wilbur D.C., Collins L.C., Colgan T.J. Review of the current state of whole slide imaging in pathology // Journal of pathology informatics. 2012. V. 2. № 1. P. 36.
  3. Saco A., Bombi J.A., Garcia A., RamГrez J., Ordi J. Current status of whole-slide imaging in education // Pathobiology. 2016. V. 83. № 2–3. P. 79–88.
  4. Farahani N., Parwani A.V., Pantanowitz L. Whole slide imaging in pathology: advantages, limitations, and emerging perspectives // Pathol Lab Med Int. 2015. V. 7. № 23–33. P. 4321.
  5. Rojo M.G., GarcГa G.B., Mateos C.P., GarcГa J.G., Vicente M.C. Critical comparison of 31 commercially available digital slide systems in pathology // International journal of surgical pathology. 2006. V. 14. № 4. P. 285–305.
  6. Ronneberger O., Fischer P., Brox T. U-net: Convolutional networks for biomedical image segmentation // In International Conference on Medical image computing and computer-assisted intervention. 2015. P. 234–241.
  7. Khvostikov A., Krylov A.S., Mikhailov I., Malkov P. CNN Assisted Hybrid Algorithm for Medical Images Segmentation // In Proceedings of the 2020 5th International Conference on Biomedical Signal and Image Processing. 2020. P. 14–19.
  8. Getmanskaya A.A., Sokolov N.A., Turlapov V.E. Multiclass U-Net Segmentation of Brain Electron Microscopy Data Using Original and Semi-Synthetic Training Datasets // Programming and Computer Software. 2022. V. 48. № 3. P. 164–171.
  9. Gong Y., Wang L., Guo R., Lazebnik S. Multi-scale orderless pooling of deep convolutional activation features // In European conference on computer vision. 2014. P. 392–407.
  10. Khvostikov A.V., Krylov A.S., Mikhailov I.A., Malkov P.G. Visualization of Whole Slide Histological Images with Automatic Tissue Type Recognition // Pattern Recognition and Image Analysis. 2022. V. 32. № 3. P. 483–488.
  11. Huang G., Liu Z., Van Der Maaten L., Weinberger K.Q. Densely connected convolutional networks // In Proceedings of the IEEE conference on computer vision and pattern recognition. 2017. P. 4700–4708.
  12. Kingma D.P., Ba J. Adam: A method for stochastic optimization // arXiv preprint arXiv:1412.6980. 2014.
  13. He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition // Proceedings of the CVPR IEEE Conference. 2016. P. 770–778.
  14. Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition // arXiv preprint arXiv:1409.1556. 2014.
  15. Szegedy C., Liu W., Jia Y., Sermanet P., Reed S., Anguelov D., Erhan D., Vanhoucke V., Rabinovich A. Going deeper with convolutions // In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015. P. 1–9.
  16. Penkin M.A., Khvostikov A.V., Krylov A.S. Optimal Input Scale Transformation Search for Deep Classification Neural Networks // In Graphicon-Conference on Computer Graphics and Vision. 2022. V. 32. P. 668–677.
  17. Krizhevsky A., Sutskever I., Hinton G.E. Imagenet classification with deep convolutional neural networks // Communications of the ACM. 2017. V. 60. № 6. P. 84–90.
  18. Deng J., Dong W., Socher R., Li L.J., Li K., Fei-Fei L. Imagenet: A large-scale hierarchical image database // In 2009 IEEE Conference on Computer Vision and Pattern Recognition. 2009. P. 248–255.
  19. Bolme D.S., Beveridge J.R., Draper B.A., Lui Y.M. Visual object tracking using adaptive correlation filters // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2010. P. 2544–2550.
  20. Mohri M., Rostamizadeh A., Talwalkar A. Foundations of machine learning. MIT Press, 2018. 475 p.

Supplementary files

Supplementary Files
Action
1. JATS XML
2.

Download (646KB)
3.

Download (1MB)
4.

Download (1MB)
5.

Download (1MB)
6.

Download (17KB)

Copyright (c) 2023 М.А. Пенкин, А.В. Хвостиков, А.С. Крылов

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».