Сравнительный анализ модификаций нейросетевых архитектур U-Net в задаче сегментации медицинских изображений

Обложка

Цитировать

Полный текст

Аннотация

Методы обработки данных с использованием нейронных сетей завоёвывают всё большую популярность в области медицинской диагностики. Наиболее часто их применяют при исследовании медицинских изображений органов человека с использованием компьютерной и магнитно-резонансной томографии, ультразвуковых и иных средств неинвазивных исследований. Диагностирование патологии в таком случае сводится к решению задачи сегментации медицинского изображения, то есть поиска групп (областей) пикселов, характеризующих некоторые объекты на снимке. Один из наиболее успешных методов решения данной задачи — разработанная в 2015 году нейросетевая архитектура U-Net. В настоящем обзоре авторы проанализировали разнообразные модификации классической архитектуры U-Net. Рассмотренные работы разделены на несколько ключевых направлений: модификации кодировщика и декодировщика; использование блоков внимания; комбинирование с элементами других архитектур; методы внедрения дополнительных признаков; трансферное обучение и подходы для обработки малых наборов реальных данных. Изучены различные обучающие наборы, для которых приведены лучшие достигнутые в литературе значения метрик (показатель сходства Dice; пересечение над объединением Intersection over Union; общая точность и др.). Также создана сводная таблица с указанием типов анализируемых изображений и выявляемых патологий на них. Обозначены перспективные направления дальнейших модификаций для повышения качества решения задач сегментации. Результаты могут быть полезны в области выявления заболеваний, прежде всего, онкологических. Представленные алгоритмы могут стать частью профессиональных медицинских интеллектуальных ассистентов.

Об авторах

Анастасия Михайловна Достовалова

МИРЭА — Российский технологический университет; Федеральный исследовательский центр «Информатика и управление» Российской академии наук

Автор, ответственный за переписку.
Email: adostovalova@frccsc.ru
ORCID iD: 0009-0004-9420-4182
SPIN-код: 3784-0791
Россия, Москва; Москва

Андрей Константинович Горшенин

МИРЭА — Российский технологический университет; Федеральный исследовательский центр «Информатика и управление» Российской академии наук

Email: agorshenin@frccsc.ru
ORCID iD: 0000-0001-8129-8985
SPIN-код: 1512-3425

д-р. физ.-мат. наук, доцент

Россия, Москва; Москва

Юлия Викторовна Старичкова

МИРЭА — Российский технологический университет

Email: starichkova@mirea.ru
ORCID iD: 0000-0003-1804-9761
SPIN-код: 3001-6791

канд. техн. наук, доцент

Россия, Москва

Кирилл Михайлович Арзамасов

МИРЭА — Российский технологический университет; Научно-практический клинический центр диагностики и телемедицинских технологий

Email: ArzamasovKM@zdrav.mos.ru
ORCID iD: 0000-0001-7786-0349
SPIN-код: 3160-8062

канд. мед. наук, руководитель отдела медицинской информатики, радиомики и радиогеномики

Россия, Москва; Москва

Список литературы

  1. Shen D., Wu G., Suk H.I. Deep Learning in Medical Image Analysis // Annual Review of Biomedical Engineering. 2017. Vol. 19. P. 221–248. doi: 10.1146/annurev-bioeng-071516-044442
  2. Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation // Medical Image Computing and Computer Assisted Intervention (MICCAI) 2015. 2015. Vol. 9351. doi: 10.1007/978-3-319-24574-4_28
  3. Milletari F., Navab N., Ahmadi S.A. V Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation // Fourth International Conference on 3D Vision (3DV). 2016. P. 565–571. doi: 10.48550/arXiv.1606.04797
  4. Chen L.C., Papandreou G., Kokkinos I., Murphy K., Yuille A. DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2017. Vol. 40, N 4. P. 834–848. doi: 10.1109/TPAMI.2017.2699184
  5. Huang G., Liu Z., Van Der Maaten L., Weinberger K.Q. Densely Connected Convolutional Networks // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2017. P. 2261–2269. doi: 10.1109/CVPR.2017.243
  6. He K., Gkioxari G., Dollár P., Girshick R. Mask R-CNN // IEEE International Conference on Computer Vision (ICCV). 2017. P. 2980–2988. doi: 10.1109/ICCV.2017.322
  7. Khalal D.M., Azizi H., Maalej N. Automatic segmentation of kidneys in computed tomography images using U-Net // Cancer/Radiothérapie. 2023. Vol. 27, N 2. P. 109–114. doi: 10.1016/j.canrad.2022.08.004
  8. Bernardo Gois F.N., Lobo Marques J.A. Segmentation of CT-Scan Images Using UNet Network for Patients Diagnosed with COVID-19 // Computerized Systems for Diagnosis and Treatment of COVID-192023. 2023. P. 29–44. doi: 10.1007/978-3-031-30788-1_3
  9. Sarsembayeva T., Shomanov A., Sarsembayev M., et al. UNet Model for Segmentation of COPD Lung Lesions on Computed Tomography Images // Proceedings of the 7th International Conference on Digital Technologies in Education, Science and Industry (DTESI 2022). 2022. Available at: https://ceurws.org/Vol3382/Short5.pdf. Accessed: November 9, 2024.
  10. Çiçek Ö., Abdulkadir A., Lienkamp S., Brox T., Ronneberger O. 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation // Medical Image Computing and Computer Assisted Intervention – MICCAI 2016. 2016. P. 424–432. doi: 10.1007/978-3-319-46723-8_4
  11. Pantovic A., Ollivier I., Essert C. 2D and 3D-UNet for segmentation of SEEG electrode contacts on post operative CT scans // Medical Imaging 2022: Image-Guided Procedures, Robotic Interventions, and Modeling. 2022. doi: 10.1117/12.2606538
  12. Han X., Wu X., Wang S., et al. Automated segmentation of liver segment on portal venous phase MR images using a 3D convolutional neural network // Insights Imaging. 2022. Vol. 13, N 26. doi: 10.1186/s13244-022-01163-1
  13. Zhou Z., Rahman Siddiquee M.M., Tajbakhsh N., Liang J. UNet++: A Nested U-Net Architecture for Medical Image Segmentation // Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. 2018. P. 3–11. doi: 10.1007/978-3-030-00889-5_1
  14. Yu C., Wang Y., Tang C., Feng W., Lv J. EU-Net: Automatic U-Net neural architecture search with differential evolutionary algorithm for medical image segmentation // Computers in Biology and Medicine. 2023. Vol. 167. P. 107579. doi: 10.1016/j.compbiomed.2023.107579
  15. Weng Y., Zhou T., Li Y., Qiu X. NAS-Unet: Neural Architecture Search for Medical Image Segmentation // IEEE Access. 2019. Vol. 7. P. 44247–44257. doi: 10.1109/ACCESS.2019.2908991
  16. Huang H., Lin L., Tong R., et al. UNet 3+: A Full Scale Connected UNet for Medical Image Segmentation // ICASSP 2020–2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). 2020. P. 1055–1059. doi: 10.1109/ICASSP40776.2020.9053405
  17. Li C., Bagher Ebadian H., Sultan R.I., et al. A new architecture combining convolutional and transformer based networks for automatic 3D multi organ segmentation on CT images // Med Phys. 2023. Vol. 50, N 11. P. 6990–7002. doi: 10.1002/mp.16750
  18. Müller D., Soto Rey I., Kramer F. Towards a guideline for evaluation metrics in medical image segmentation // BMC Research Notes. 2022. Vol. 15, N 210. doi: 10.1186/s13104-022-06096-y
  19. Alberg A.J., Park J.W., Hager B.W., Brock M.V., Diener West M. The use of «overall accuracy» to evaluate the validity of screening or diagnostic tests // Journal of General Internal Medicine. 2004. Vol. 19. P. 460–465. doi: 10.1111/j.1525-1497.2004.30091.x
  20. Soler L., Hostettler A., Agnus V., et al. 3D image reconstruction for comparison of algorithm database: A patient specific anatomical and medical image database // IRCAD. 2010. Available at: https://www.sop.inria.fr/geometrica/events/wam/abstractircad.pdf. Accessed: November 9, 2024.
  21. Löffler M., Sekuboyina A., Jakob A., et al. A Vertebral Segmentation Dataset with Fracture Grading // Radiology: Artificial Intelligence. 2020. Vol. 2, N 4. doi: 10.1148/ryai.2020190138
  22. Wang Z., Bovik A.C., Sheikh H.R., Simoncelli E.P. Image quality assessment: from error visibility to structural similarity // IEEE Transactions on Image Processing. 2004. Vol. 13, N 4. P. 600–612. doi: 10.1109/TIP.2003.819861
  23. Kavur A.E., Gezer N.S., Barıs M., et al. CHAOS Challenge – combined (CT-MR) healthy abdominal organ segmentation // Medical Image Analysis. 2021. Vol. 69. P. 101950. doi: 10.1016/j.media.2020.101950
  24. Bilic P., Christ P., Li H.B., et al. The Liver Tumor Segmentation Benchmark (LiTS) // Medical Image Analysis. 2023. Vol. 84. P. 102680. doi: 10.1016/j.media.2022.102680
  25. Petrusca L., Cattin P., De Luca V., et al. Hybrid ultrasound/magnetic resonance simultaneous acquisition and image fusion for motion monitoring in the upper abdomen // Investigative Radiology. 2013. Vol. 48, N 5. P. 333–340. doi: 10.1097/RLI.0b013e31828236c3
  26. Jun M., Cheng G., Yixin W., et al. Covid-19 CT lung and infection segmentation dataset // Zenodo. 2020. Available at: https://zenodo.org/records/3757476#.YLov8vkzaUk. Accessed: November 9, 2024.
  27. Morozov S.P., Andreychenko A.E., Blokhin I.A., et al. MosMedData: data set of 1110 chest CT scans performed during the COVID-19 epidemic // Digital Diagnostics. 2020. Vol. 1, N 1. P. 49–59. doi: 10.17816/DD46826
  28. Roth H.R., Oda H., Hayashi Y., et al. Hierarchical 3D fully convolutional networks for multi organ segmentation // ArXiv. 2017. Available at: https://arxiv.org/abs/1704.06382v1. Accessed: November 9, 2024.
  29. Roth H., Farag A., Turkbey E.B., et al. Data from Pancreas-CT // The Cancer Imaging Archive. 2016. doi: 10.7937/K9/TCIA.2016.tNB1kqBU
  30. Heimann T., Styner M., van Ginneken B. 3D Segmentation in the Clinic: A Grand Challenge // MICCAI 2007, the 10th Intel Conf. on Medical Image Computing and Computer Assisted Intervention. 2007. P. 7–15. Available at: https://www.diagnijmegen.nl/publications/ginn07/. Accessed: November 9, 2024.
  31. Suckling J. The Mammographic Image Analysis Society Digital Mammogram Database // International Congress Series. 1994. P. 375–378. Available at: http://peipa.essex.ac.uk/info/mias.html. Accessed: November 9, 2024.
  32. WHO Director General’s opening remarks at the media briefing on COVID-19 - 11 March 2020 [Internet]. 2020. Доступ по ссылке: https://www.who.int/director-general/speeches/detail/whodirectorgeneralsopeningremarksatthemediabriefingoncovid1911march2020 [Дата обращения: 9.11.2024].
  33. Landman B., Xu Z., Igelsias J., et al. Miccai multi atlas labeling beyond the cranial vault–workshop and challenge // Proceedings of the MICCAI Multi Atlas Labeling Beyond Cranial Vault — Workshop Challenge. 2015. Vol. 5. P. 12.
  34. Simpson A.L., Antonelli M., Bakas S., et al. A large annotated medical image dataset for the development and evaluation of segmentation algorithms // ArXiv. 2019. doi: 10.48550/arXiv.1902.09063
  35. Gutman D., Codella N.C.F., Celebi E., et al. Skin Lesion Analysis toward Melanoma Detection: A Challenge at the International Symposium on Biomedical Imaging (ISBI) 2016, hosted by the International Skin Imaging Collaboration (ISIC) // ArXiv. 2016. doi: 10.48550/arXiv.1605.01397
  36. Jha D., Smedsrud P.H., Riegler M.A., et al. Kvasir-SEG: A Segmented Polyp Dataset // MultiMedia Modeling. 2020. Vol. 11962. P. 451–462. doi: 10.1007/978-3-030-37734-2_37
  37. Bernal J., Sánchez F.J., Fernández-Esparrach G., et al. WM-DOVA maps for accurate polyp highlighting in colonoscopy: Validation vs. saliency maps from physicians // Computerized Medical Imaging and Graphics. 2015. Vol. 43. P. 99–111. doi: 10.1016/j.compmedimag.2015.02.007
  38. Grove O., Berglund A.E., Schabath M.B., et al. Quantitative Computed Tomographic Descriptors Associate Tumor Shape Complexity and Intratumor Heterogeneity with Prognosis in Lung Adenocarcinoma // PLOS ONE. 2015. Vol. 10, N 3. P. e0118261. doi: 10.1371/journal.pone.0118261
  39. Heller N., Sathianathen N., Kalapara A., et al. The KiTS19 Challenge Data: 300 Kidney Tumor Cases with Clinical Context, CT Semantic Segmentations, and Surgical Outcomes // ArXiv. 2019. P. 13. doi: 10.48550/arXiv.1904.00445
  40. Ji Y., Bai H., Yang J., et al. AMOS: A Large Scale Abdominal Multi Organ Benchmark for Versatile Medical Image Segmentation // ArXiv. 2022. doi: 10.48550/arXiv.2206.08023
  41. Lemay A., Gros C., Zhuo Z., et al. Multiclass Spinal Cord Tumor Segmentation on MRI with Deep Learning // ArXiv. 2021. doi: 10.48550/arXiv.2012.12820
  42. Ali M.A.S., Misko O., Salumaa S.O., et al. Evaluating Very Deep Convolutional Neural Networks for Nucleus Segmentation from Brightfield Cell Microscopy Images // SLAS Discovery. 2021. Vol. 26, N 9. P. 1125–1137. doi: 10.1177/24725552211023214
  43. Gibson E., Giganti F., Hu Y., et al. Automatic Multi Organ Segmentation on Abdominal CT With Dense V Networks // IEEE Transactions on Medical Imaging. 2018. Vol. 37, N 8. P. 1822–1834. doi: 10.1109/TMI.2018.2806309
  44. Jimenez del Toro O., Müller H., Krenn M., et al. Cloud Based Evaluation of Anatomical Structure Segmentation and Landmark Detection Algorithms: VISCERAL Anatomy Benchmarks // IEEE Transactions on Medical Imaging. 2016. Vol. 35, N 11. P. 2459–2475. doi: 10.1109/TMI.2016.2578680
  45. Regan E.A., Hokanson J.E., Murphy J.R., et al. Genetic Epidemiology of COPD (COPDGene) Study Design // COPD: Journal of Chronic Obstructive Pulmonary Disease. 2010. Vol. 7, N 1. P. 32–43. doi: 10.3109/15412550903499522
  46. Litjens G., Toth R., van de Ven W., et al. Evaluation of prostate segmentation algorithms for MRI: The PROMISE12 challenge // Medical Image Analysis. 2014. Vol. 18, N 2. P. 359–373. doi: 10.1016/j.media.2013.12.002
  47. Xiong Z., Xia Q., Hu Z., et al. A global benchmark of algorithms for segmenting the left atrium from late gadolinium enhanced cardiac magnetic resonance imaging // Medical Image Analysis. 2021. Vol. 67. P. 101832. doi: 10.1016/j.media.2020.101832
  48. Landman B., Xu Z., Igelsias J., et al. 2015 MICCAI multi atlas labeling beyond the cranial vault–workshop and challenge // MICCAI Multi Atlas Labeling Beyond Cranial Vault — Workshop Challenge. 2015. Vol. 5. P. 12.
  49. Zhuang X., Shen J. Multi scale patch and multi modality atlases for whole heart segmentation of MRI // Medical Image Analysis. 2016. Vol. 31. P. 77–87. doi: 10.1016/j.media.2016.02.006
  50. Campello V.M., Gkontra P., Izquierdo C., et al. Multi Centre, Multi Vendor and Multi Disease Cardiac Segmentation: The M&Ms Challenge // IEEE Transactions on Medical Imaging. 2021. Vol. 40, N 12. P. 3543–3554. doi: 10.1109/TMI.2021.3090082
  51. Silva J., Histace A., Romain O., Dray X., Granado B. Toward embedded detection of polyps in WCE images for early diagnosis of colorectal cancer // International Journal of Computer Assisted Radiology and Surgery. 2014. Vol. 9. P. 283–293. doi: 10.1007/s11548-013-0926-3
  52. Trikha S., Turnbull A., Morris R., Anderson D., Hossain P. The journey to femtosecond laser assisted cataract surgery: New beginnings or a false dawn? // Eye. 2013. Vol. 27, N 4. P. 461–473. doi: 10.1038/eye.2012.293
  53. Xiong Z., Xia Q., Hu Z., et al. A global benchmark of algorithms for segmenting the left atrium from late gadolinium enhanced cardiac magnetic resonance imaging // Medical Image Analisys. 2021. Vol. 67. P. 101832. doi: 10.1016/j.media.2020.101832
  54. Bernard O., Lalande A., Zotti C., et al. Deep Learning Techniques for Automatic MRI Cardiac Multi Structures Segmentation and Diagnosis: Is the Problem Solved? // IEEE Transactions on Medical Imaging. 2018. Vol. 37, N 11. P. 2514–2525. doi: 10.1109/TMI.2018.2837502
  55. Li P., Wang S., Li T., et al. A Large Scale CT and PET/CT Dataset for Lung Cancer Diagnosis (Lung PET-CT-Dx) [Data set] // The Cancer Imaging Archive. 2020. doi: 10.7937/TCIA.2020.NNC2-0461
  56. Clark K., Vendt B., Smith K., et al. The Cancer Imaging Archive (TCIA): Maintaining and Operating a Public Information Repository // Journal of Digital Imaging. 2013. Vol. 26. P. 1045–1057. doi: 10.1007/s10278-013-9622-7
  57. Xu Z., Jia Z., Sun J., Dong W., Li Z. DO-U-Net: Improved U-Net Model for CT Image Segmentation using DBB and Octave Convolution // Proceedings of the 2023 International Conference on Computer, Vision and Intelligent Technology (ICCVIT ‘23). 2023. P. 1–8. doi: 10.1145/3627341.3630403
  58. Ayalew Y., Fante K., Aliy M. Modified U-Net for liver cancer segmentation from computed tomography images with a new class balancing method // BMC Biomedical Engineering. 2021. Vol. 3, N 4. doi: 10.1186/s42490-021-00050-y
  59. Guan S., Khan A.A., Sikdar S., Chitnis P.V. Fully Dense UNet for 2-D Sparse Photoacoustic Tomography Artifact Removal // IEEE Journal of Biomedical and Health Informatics. 2020. Vol. 24, N 2. P. 568–576. doi: 10.1109/JBHI.2019.2912935
  60. Özcan F., Uçan O.N., Karaçam S., Tunçman D. Fully Automatic Liver and Tumor Segmentation from CT Image Using an AIM-UNet // Bioengineering. 2023. Vol. 10, N 2. doi: 10.3390/bioengineering10020215
  61. Ansari M.Y., Yang Y., Meher P.K., Dakua S.P. Dense-PSP-UNet: A neural network for fast inference liver ultrasound segmentation // Computers in Biology and Medicine. 2023. Vol. 153. P. 106478. doi: 10.1016/j.compbiomed.2022.106478
  62. Omarov B., Tursynova A., Postolache O., et al. Modified UNet Model for Brain Stroke Lesion Segmentation on Computed Tomography Images // Computers, Materials and Continua. 2022. Vol. 71, N 3. P. 4701–4717. doi: 10.32604/cmc.2022.020998
  63. Mizusawa S., Sei Y., Orihara R., Ohsuga A. Computed tomography image reconstruction using stacked U-Net // Computerized Medical Imaging and Graphics. 2021. Vol. 90. P. 101920. doi: 10.1016/j.compmedimag.2021.101920
  64. Golts A., Khapun D., Shats D., Shoshan Y., Gilboa Solomon F. An Ensemble of 3D U-Net Based Models for Segmentation of Kidney and Masses in CT Scans // Kidney and Kidney Tumor Segmentation (KiTS 2021). 2022. Vol. 13168. P. 103–115. doi: 10.1007/978-3-030-98385-7_14
  65. Araújo J.D.L., da Cruz L.B., Diniz J.O.B., et al. Liver segmentation from computed tomography images using cascade deep learning // Computers in Biology and Medicine. 2022. Vol. 140. P. 105095. doi: 10.1016/j.compbiomed.2021.105095
  66. Koirala C.P., Mohapatra S., Gosai A., Schlaug G. Automated Ensemble Based Segmentation of Adult Brain Tumors: A Novel Approach Using the BraTS AFRICA Challenge Data // ArXiv. 2023. doi: 10.48550/arXiv.2308.07214
  67. Li Z., Zhu Q., Zhang L., et al. A deep learning based self adapting ensemble method for segmentation in gynecological brachytherapy // Radiation Oncology. 2022. Vol. 17, N 152. doi: 10.1186/s13014-022-02121-3
  68. Woo S., Park J., Lee J.-Y., Kweon I.S. CBAM: Convolutional Block Attention Module // Proceedings of the European conference on computer vision (ECCV). 2018. P. 3–19. doi: 10.48550/arXiv.1807.06521
  69. Nazir S., Zheng R., Zheng Y., Dong Ye C. Improved 3D U-Net for COVID-19 Chest CT Image Segmentation // Scientific Programming. 2021. Vol. 2021, N 9999368. P. 9. doi: 10.1155/2021/9999368
  70. Salehi S.S.M., Erdogmus D., Gholipour A. Tversky Loss Function for Image Segmentation Using 3D Fully Convolutional Deep Networks // Machine Learning in Medical Imaging. 2017. Vol. 10541. P. 379–387. doi: 10.1007/978-3-319-67389-9_44
  71. Oktay O., Schlemper J., Folgoc L.L., et al. Attention U-Net: Learning Where to Look for the Pancreas // ArXiv. 2018. doi: 10.48550/arXiv.1804.03999
  72. Agarap A.F. Deep Learning using Rectified Linear Units (ReLU) // ArXiv. 2018. P. 7. doi: 10.48550/arXiv.1803.08375
  73. Wu J., Zhou S., Zuo S., et al. U-Net combined with multi scale attention mechanism for liver segmentation in CT images // BMC Medical Informatics and Decision Making. 2021. Vol. 21, N 283. doi: 10.1186/s12911-021-01649-w
  74. Zhang L., Liu Y., Li Z., Li D. Epa unet:automatic Segmentation of Liver and Tumor in Ct Images Based on Residual U-net and Efficient Multiscale Attention Methods // Research Square. 2023. doi: 10.21203/rs.3.rs-3273964/v1
  75. Zarbakhsh P. Spatial Attention Mechanism and Cascade Feature Extraction in a U-Net Model for Enhancing Breast Tumor Segmentation // Applied Sciences. 2023. Vol. 13, N 15. P. 8758. doi: 10.3390/app13158758
  76. Subhan Akbar A., Fatichah C., Suciati N. UNet3D with Multiple Atrous Convolutions Attention Block for Brain Tumor Segmentation // Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. 2022. P. 182–193. doi: 10.1007/978-3-031-08999-2_14
  77. Yu Z., Han S., Song Z. 3D Medical Image Segmentation based on multi scale MPU-Net // ArXiv. 2023. doi: 10.48550/arXiv.2307.05799
  78. Xingfei F., Chaobing H. CAE-UNet: An Effective Automatic Segmentation Model for CT Images of COVID-19 // 2022 6th International Conference on Communication and Information Systems (ICCIS). 2022. P. 113–117. doi: 10.1109/ICCIS56375.2022.9998131
  79. He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition // 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2016. P. 770–778. doi: 10.1109/cvpr.2016.90
  80. Hatamizadeh A., Tang Y., Nathet V., et al. U-NETR: Transformers for 3D Medical Image Segmentation // 2022 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). 2022. P. 1748–1758. doi: 10.1109/WACV51458.2022.00181
  81. Eskandari S., Lumpp J. Inter Scale Dependency Modeling for Skin Lesion Segmentation with Transformer based Networks // ArXiv. 2023. doi: 10.48550/arXiv.2310.13727
  82. Shi X., Chen Z., Wang H., et al. Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting // Neural Information Processing Systems. 2015. doi: 10.48550/arXiv.1506.04214
  83. Pham T.H., Li X., Nguyen K.D. SeU-Net-Trans: A Simple yet Effective UNet-Transformer Model for Medical Image Segmentation // ArXiv. 2023. doi: 10.48550/arXiv.2310.09998
  84. Ghofrani F., Behnam H., Motlagh H.D.K. Liver Segmentation in CT Images Using Deep Neural Networks // 2020 28th Iranian Conference on Electrical Engineering (ICEE). 2020. P. 1–6. doi: 10.1109/ICEE50131.2020.9260809
  85. Diakogiannis F.I., Waldner F., Caccetta P., Wuet C., et al. ResUNet-a: A deep learning framework for semantic segmentation of remotely sensed data // ISPRS Journal of Photogrammetry and Remote Sensing. 2020. Vol. 16, N 2. P. 94–114. doi: 10.1016/j.isprsjprs.2020.01.013
  86. Jha D., Riegler M.A., Johansen D., Halvorsen P., Johansen H.D. Doubleu net: DoubleU-Net: A Deep Convolutional Neural Network for Medical Image Segmentation // IEEE 33rd International symposium on computer based medical systems (CBMS). 2020. P. 558–564. doi: 10.1109/CBMS49503.2020.00111
  87. Lee H.H., Bao S., Huo Y., Landman B.A. 3D UX-Net: A Large Kernel Volumetric ConvNet Modernizing Hierarchical Transformer for Medical Image Segmentation // International Conference on Learning Representations. 2023. doi: 10.48550/arXiv.2209.15076
  88. Liang J., Yang C., Zhong J., Ye X. BTSwin-U-Net: 3D U-shaped Symmetrical Swin Transformer based Network for Brain Tumor Segmentation with Self-supervised Pre-training // Neural Processing Letters. 2022. Vol. 55. P. 3695–3713. doi: 10.1007/s11063-022-10919-1
  89. Alalwan N., Abozeid A., ElHabshy A.A., Alzahrani A. Efficient 3D Deep Learning Model for Medical Image Semantic Segmentation // Alexandria Engineering Journal. 2021. Vol. 60, N 1. P. 1231–1239. doi: 10.1016/j.aej.2020.10.046
  90. Lemay A., Gros C., Vincent O., et al. Benefits of Linear Conditioning with Metadata for Image Segmentation // ArXiv. 2021. doi: 10.48550/arXiv.2102.09582
  91. Du R., Vardhanabhuti V. 3D-RADNet: Extracting labels from DICOM metadata for training general medical domain deep 3D convolution neural networks // International Conference on Medical Imaging with Deep Learning. 2020. Vol. 121. P. 174–192. Available at: https://proceedings.mlr.press/v121/du20a/du20a.pdf. Accessed: November 9, 2024.
  92. Plutenko I., Papkov M., Palo K., Parts L., Fishman D. Metadata Improves Segmentation Through Multitasking Elicitation // Domain Adaptation and Representation Transfer. 2023. P. 147–155. doi: 10.1007/978-3-031-45857-6_15
  93. Jiang J., Peng Y., Hou Q., Wang J. MDCF_Net: A Multi dimensional hybrid network for liver and tumor segmentation from CT // Biocybernetics and Biomedical Engineering. 2023. Vol. 43, N 2. P. 494–506. doi: 10.1016/j.bbe.2023.04.004
  94. Fu T., Yu Q., Lao H., Liu P., Wan S. Traffic Safety Oriented Multi Intersection Flow Prediction Based on Transformer and CNN // Security and Communication Networks. 2023. P. 1–13. doi: 10.1155/2023/1363639
  95. Chen X., Wei X., Tang M., et al. Liver segmentation in CT imaging with enhanced mask region based convolutional neural networks // Annals of Translational Medicine. 2021. Vol. 9, N 24. P. 1768. doi: 10.21037/atm-21-5822
  96. Ernst P., Chatterjee S., Rose G., Nürnberger A. Primal Dual U-Net for Sparse View Cone Beam Computed Tomography Volume Reconstruction // ArXiv. 2022. doi: 10.48550/arXiv.2205.07866
  97. Koehler G., Wald T., Ulrichet C., et al. RecycleNet: Latent Feature Recycling Leads to Iterative Decision Refinement // ArXiv. 2023. doi: 10.48550/arXiv.2309.07513
  98. Jafari M., Auer D., Francis S., Garibaldi J., Chen X. DRU-net: An Efficient Deep Convolutional Neural Network for Medical Image Segmentation // 2020 IEEE 17th International Symposium on Biomedical Imaging (ISBI). 2020. P. 1144–1148. doi: 10.48550/arXiv.2004.13453
  99. Heker M., Ben Cohen A., Greenspan H. Hierarchical Fine Tuning for joint Liver Lesion Segmentation and Lesion Classification in CT // 2019 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). 2019. P. 895–898. doi: 10.1109/EMBC.2019.8857127
  100. Matovinovic I.Z., Loncaric S., Lo J., Heisler M., Sarunic M. Transfer Learning with U-Net type model for Automatic Segmentation of Three Retinal Layers In Optical Coherence Tomography Images // 2019 11th International Symposium on Image and Signal Processing and Analysis (ISPA). 2019. P. 49–53. doi: 10.1109/ISPA.2019.8868639
  101. Kora P., Ooi C.P., Faust O., et al. Transfer learning techniques for medical image analysis: A review // Biocybernetics and Biomedical Engineering. 2022. Vol. 42, N 1. P. 79–107. doi: 10.1016/j.bbe.2021.11.004
  102. Humpire Mamani G.E., Jacobs C., Prokop M., van Ginneken B., Lessmann N. Transfer learning from a sparsely annotated dataset of 3D medical images // ArXiv. 2023. doi: 10.48550/arXiv.2311.05032
  103. Messaoudi H., Belaid A., Salem D.B., Conze P.-H. Cross dimensional transfer learning in medical image segmentation with deep learning // Medical Image Analysis. 2023. Vol. 88. P. 102868. doi: 10.1016/j.media.2023.102868
  104. Tan M., Le Q. EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks // International conference on machine learning (PMLR). 2019. P. 6105–6114. doi: 10.48550/arXiv.1905.11946
  105. Hong Y., Mao X., Hui Q. et al. Automatic liver and tumor segmentation based on deep learning and globally optimized refinement // Applied Mathematics-A Journal of Chinese Universities. 2021. Vol. 36. P. 304–316. doi: 10.1007/s11766-021-4376-3
  106. Wang H., Li X. Towards Generic Semi Supervised Framework for Volumetric Medical Image Segmentation // ArXiv. 2023. doi: 10.48550/arXiv.2310.11320
  107. Wang J., Chen C. Unsupervised Adaptation of Polyp Segmentation Models via Coarse to Fine Self Supervision // Information Processing in Medical Imaging. 2023. P. 250–262. doi: 10.1007/978-3-031-34048-2_20
  108. Wang T., Huang Z., Wu J., Cai Y., Li Z. Semi Supervised Medical Image Segmentation with Co-Distribution Alignment // Bioengineering. 2023. Vol. 10, N 7. P. 869. doi: 10.3390/bioengineering10070869
  109. Васильев Ю.А., Бобровская Т.М., Арзамасов К.М., и др. Основополагающие принципы стандартизации и систематизации информации о наборах данных для машинного обучения в медицинской диагностике // Менеджер здравоохранения. 2023. № 4. С. 28–41. doi: 10.21045/1811-0185-2023-4-28-41
  110. Кокина Д.Ю., Гомболевский В.А., Арзамасов К.М., Андрейченко А.Е., Морозов С.П. Возможности и ограничения использования инструментов машинной обработки текстов в лучевой диагностике // Digital Diagnostics. 2022. Т. 3, № 4. C. 374–383. doi: 10.17816/DD101099
  111. Ронжин Л.В., Астанин П.А., Кокина Д.Ю., и др. Система автоматической разметки неструктурированных протоколов рентгенологических исследований грудной клетки с использованием методов семантического анализа // Социальные аспекты здоровья населения. 2023. Т. 69, № 1. С. 12. doi: 10.21045/2071-5021-2023-69-1-12
  112. Томашевская В.С., Яковлев Д.А. Способы обработки неструктурированных данных // Российский технологический журнал. 2021. Т. 9, № 1. С. 7–17. doi: 10.32362/2500-316X-2021-9-1-7-17
  113. Protonotarios N., Katsamenis I., Sykiotis S., et al. A few shot U-Net deep learning model for lung cancer lesion segmentation via PET/CT imaging // Biomedical Physics and Engineering Express. 2022. Vol. 8. P. 025019. doi: 10.1088/2057-1976/ac53bd
  114. Voulodimos A., Protopapadakis E., Katsamenis I., Doulamis A., Doulamis N. A Few Shot U Net Deep Learning Model for COVID-19 Infected Area Segmentation in CT Images // Sensors. 2021. Vol. 21, N 6. P. 2215. doi: 10.3390/s21062215
  115. Zhao G., Zhao H. One Shot Image Segmentation with U-Net // Journal of Physics: Conference Series. 2021. Vol. 1848, N 1. P. 012113. doi: 10.1088/1742-6596/1848/1/012113

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Приложение 1. Способы модифицирования архитектуры U-Net
Скачать (28KB)
Метаданные
3. Рис. 1. Классическая архитектура U-Net, предложенная в 2015 г., и основные способы её модифицирования.

Скачать (324KB)
Метаданные
4. Рис. 2. Задачи сегментации в зависимости от специфики обучающих данных.

Скачать (146KB)
Метаданные
5. Рис. 3. Схема блока пространственного внимания между элементами кодировщика [75].

Скачать (178KB)
Метаданные
6. Рис. 4. Архитектура, сочетающая блоки трансформера с U-образной архитектурой [81].

Скачать (288KB)
Метаданные
7. Рис. 5. Композиция U-Net и Transformer [83].

Скачать (325KB)
Метаданные
8. Рис. 6. Схема разделения архитектуры U-Net на блоки [97].

Скачать (104KB)
Метаданные
9. Рис. 7. Типы соотношений между размеченными и неразмеченными данными при обучении и тестировании сетей: a — SSL; b — UDA; c — SemiDG [106].

Скачать (196KB)
Метаданные
10. Рис. 8. Схема A&D фреймворка [106].

Скачать (389KB)
Метаданные
11. Рис. 9. Архитектура из двух сетей для обучения на наборах, в которых классы представлены неравномерно [108].

Скачать (404KB)
Метаданные

© Эко-вектор, 2024

Creative Commons License
Эта статья доступна по лицензии Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Согласие на обработку персональных данных

 

Используя сайт https://journals.rcsi.science, я (далее – «Пользователь» или «Субъект персональных данных») даю согласие на обработку персональных данных на этом сайте (текст Согласия) и на обработку персональных данных с помощью сервиса «Яндекс.Метрика» (текст Согласия).