Программное обеспечение для автоматизированного распознавания и оцифровки архивных данных оптических наблюдений полярных сияний

Обложка

Цитировать

Полный текст

Аннотация

Одним из основных инструментов регистрации полярных сияний является оптическое наблюдение небосвода в автоматическом режиме с помощью камер всего неба. Результаты наблюдений фиксируются в специальных мнемонических таблицах, аскаплотах. Аскаплоты предоставляют суточную информацию о наличии или отсутствии облачного покрова и полярных сияний в различных частях небосвода и традиционно используются для исследования суточного распределения полярных сияний в заданном регионе, а также для расчета вероятности их наблюдения в других регионах в соответствии с уровнем геомагнитной активности. Обработка аскаплотов в настоящее время осуществляется вручную, что сопряжено с существенными временными затратами и высокой долей ошибок, возникающих по причине человеческого фактора. Для повышения эффективности обработки аскаплотов авторами предложен подход, обеспечивающий автоматизацию распознавания и оцифровки данных оптических наблюдений полярных сияний. Предложена формализация структуры аскаплота, применяемая для обработки его изображения, а также извлечение соответствующих результатов наблюдений и формирование результирующего набора данных. Подход предусматривает использование алгоритмов машинного зрения (в частности, в данном случае имеет место применение алгоритма классификации по правилам) и применение специализированной маски – отладочного изображения для оцифровки, представляющего собой цветное изображение, в котором задано общее положения ячеек аскаплотов. Предложенный подход и соответствующие алгоритмы реализованы в форме программного обеспечения для распознавания и оцифровки архивных данных оптических наблюдений полярных сияний. Решение представляет собой однопользовательское настольное программное обеспечение, позволяющее пользователю в пакетном режиме выполнять преобразование изображений аскаплотов в таблицы, доступные для последующей обработки и анализа. Результаты проведенных вычислительных экспериментов показали, что применение предложенного программного обеспечения позволит избежать ошибок при оцифровке аскаплотов, с одной стороны, и существенно повысить скорость соответствующих вычислительных операций, с другой. В совокупности это позволит повысить эффективность обработки аскаплотов и проведения исследований в соответствующей области.

Об авторах

А. В Воробьев

Уфимский университет науки и технологий

Email: geomagnet@list.ru
улица Карла Маркса 12

А. Н Лапин

Уфимский университет науки и технологий

Email: meccos160@yandex.ru
улица Карла Маркса 12

Г. Р Воробьева

Уфимский университет науки и технологий

Email: gulnara.vorobeva@gmail.com
улица Карла Маркса 12

Список литературы

  1. Kozyreva O.V., Pilipenko V.A., Bland E.C., Baddeley L.J., Zakharov V.I. Periodic modulation of the upper ionosphere by ULF waves as observed simultaneously by SuperDARN radars and GPS/TEC technique // Journal of Geophysical Research: Space Physics. 2020. vol. 125(7). no. e2020JA028032. doi: 10.1029/2020JA028032.
  2. Klimov P., Kozelov B., Roldugin A., Sigaeva K. Joint Recording of Pulsating Auroras on Board the Lomonosov Satellite and by All-Sky Cameras on the Kola Peninsula // Bulletin of the Russian Academy of Sciences: Physics. 2022. vol. 86. no. 3. pp. 300–304. doi: 10.3103/S106287382203011X.
  3. Yang X., Shang Zh., Hu K., Hu Y., Ma B., Wang Y., Wang W. Cloud cover and aurora contamination at dome A in 2017 from KLCAM // Monthly Notices of the Royal Astronomical Society. 2021. vol. 501. no. 3. pp. 3614–3620. doi: 10.1093/mnras/staa3824.
  4. Ягодкина О.И., Воробьев В.Г., Шекунова Е.С. Наблюдения полярных сияний над Кольским полуостровом // Труды Кольского научного центра РАН. 2019. Т. 10. № 8(5). С. 43–55.
  5. Nakamura J., Kitamura T., Fukushima S. Auroral ASCAPLOT at Syowa Station in 1959 and 1960 // Antarctic record. 1962. no. 16. pp. 1339–1360.
  6. Feldstein Y.I. The discovery and the first studies of the auroral oval: A review // Geomagnetism and Aeronomy. 2016. vol. 56. pp. 129–142. doi: 10.1134/S0016793216020043.
  7. Feldstein Y.I., Vorobjev V.G., Zverev V.L. Planetary features of aurorae: Results of the IGY (a review) // Geomagnetism and Aeronomy. 2010. vol. 50. pp. 413–435. doi: 10.1134/S0016793210040018.
  8. Hashmi K.A., Liwicki M., Stricker D., Afzal M.A., Afzal M.A., Afzal M.Z. Current Status and Performance Analysis of Table Recognition in Document Images With Deep Neural Networks // IEEE Access. 2021. vol. 9. pp. 87663–87685. doi: 10.1109/ACCESS.2021.3087865.
  9. Namysł M., Esser A.M., Behnke S., Kohler J. Flexible Hybrid Table Recognition and Semantic Interpretation System // SN Computer Science. 2023. vol. 4. no. 246. doi: 10.1007/s42979-022-01659-z.
  10. Lee E., Park J., Koo H.I., Cho N.I. Deep-learning and graph-based approach to table structure recognition // Multimedia Tools and Applications. 2022. vol. 81. no. 4. pp. 5827–5848. doi: 10.1007/s11042-021-11819-7.
  11. Li X.H., Yin F., Dai H.S., Liu C.L. Table Structure Recognition and Form Parsing by End-to-End Object Detection and Relation Parsing // Pattern Recognition. 2022. vol. 132. no. 108946. doi: 10.1016/j.patcog.2022.108946.
  12. Sage C., Aussem A., Elghazel H., Eglin V., Espinas J. Recurrent Neural Network Approach for Table Field Extraction in Business Documents // International Conference on Document Analysis and Recognition (ICDAR). 2019. pp. 1308–1313. doi: 10.1109/ICDAR.2019.00211.
  13. Khan S.A., Khalid S.M.D., Shahzad M.A., Shafait F. Table Structure Extraction with Bi-Directional Gated Recurrent Unit Networks // International Conference on Document Analysis and Recognition (ICDAR). 2019. pp. 1366–1371. doi: 10.1109/ICDAR.2019.00220.
  14. Hochreiter S., Schmidhuber J. Long Short-Term Memory // Neural computation. 1997. vol. 9. no. 8. pp. 1735–1780. doi: 10.1162/neco.1997.9.8.1735.
  15. Paliwal S.S., Vishwanath D., Rahul R., Sharma M., Vig L. TableNet: Deep Learning Model for End-to-end Table Detection and Tabular Data Extraction from Scanned Document Images // International Conference on Document Analysis and Recognition (ICDAR). 2019. pp. 128–133. doi: 10.1109/ICDAR.2019.00029.
  16. Tensmeyer C., Morariu V.I., Price B., Cohen S., Martinez T. Deep Splitting and Merging for Table Structure Decomposition // International Conference on Document Analysis and Recognition (ICDAR). 2019. pp. 114–121. doi: 10.1109/ICDAR.2019.00027.
  17. Siddiqui S.A., Fateh I.A., Rizvi S.T.R., Dengel A., Ahmed S. DeepTabStR: Deep Learning based Table Structure Recognition // International Conference on Document Analysis and Recognition (ICDAR). 2019. pp. 1403–1409. doi: 10.1109/ICDAR.2019.00226.
  18. Couasnon B., Lemaitre A. Recognition of Tables and Forms // Handbook of Document Image Processing and Recognition. Chapter Recognition of Tables and Forms. 2014. pp. 647–677. doi: 10.1007/978-0-85729-859-1_20.
  19. Zucker A., Belkada Y., Vu H., Nguyen V.N. ClusTi: Clustering Method for Table Structure Recognition in Scanned Images // Mobile Networks and Applications. 2021. vol. 26. no. 4. pp. 1765–1776. doi: 10.1007/s11036-021-01759-9.
  20. Nguyen Q.D., Le D.A., Phan N.M., Zelinka I. OCR error correction using correction patterns and self-organizing migrating algorithm // Pattern Analysis and Applications. 2021. vol. 24. pp. 701–721. doi: 10.1007/s10044-020-00936-y.
  21. Patel C., Patel A., Patel D. Optical Character Recognition by Open source OCR Tool Tesseract: A Case Study // International Journal of Computer Applications. 2014. vol. 55(10). pp. 50–56. doi: 10.5120/8794-2784.
  22. Vorobjev V. PGI Geophysical data. 2015. October, November, December. Murmansk, Apatity: PGI KSC RAS, 2016.
  23. Vorobjev V.G., Roldugin V.C., Yagodkina O.I. Large Amplitude Undulations of Evening Site Diffuse Aurorae. Optical Characteristics and Conditions of Generation // Geomagnetism and Aeronomy. 2015. vol. 55. pp. 45–50. doi: 10.1134/S0016793215010132.
  24. Vorobjev V.G., Yagodkina O.I., Antonova E.E. Ion Pressure in Different Regions of the Dayside Auroral Precipitation // Geomagnetism and Aeronomy. 2020. no. 60. pp. 727–736. doi: 10.1134/S0016793220060146.
  25. Popov L.N., Krakovetskiy Yu.K., Gokhberg M.B., Pilipenko V.A. Terrogenic effects in the ionosphere: a review // Physics of the Earth and Planetary Interiors. 1989. vol. 57. no. 1-2. pp. 115–128.
  26. Zhang T., Qiu H., Castellano G., Rifai M., Chen C.S., Pianese F. System Log Parsing: A Survey // IEEE Transactions on Knowledge and Data Engineering. 2023. pp. 8596–8614. doi: 10.1109/TKDE.2022.3222417.
  27. Patil O., Chavan U. Rule Based Expert System for Error Log Analysis // International Journal of Innovative Technology and Exploring Engineering. 2020. vol. 9. no. 10. pp. 188–192. doi: 10.35940/ijitee.J7466.0891020.
  28. Peta S. Python- An Appetite for the Software Industry // International Journal of Programming Languages and Applications (IJPLA). 2022. vol. 12. doi: 10.5121/ijpla.2022.12401.
  29. Singh B.P. Python and Its Future Scope // International Journal of Advanced Research in Science, Communication and Technology. 2022. pp. 400–403. doi: 10.48175/IJARSCT-4829.
  30. Dr U., Patkar U. Python for web development // International Journal of Computer Science and Mobile Computing. 2022. vol. 11. no. 4. pp. 36–48. doi: 10.47760/ijcsmc.2022.v11i04.006.
  31. Rong W., Xu T., Sun, Z., Sun, Z., Ouyang, Y., Xiong, Z. An Object Tuple Model for Understanding Pointer and Array in C Language // IEEE Transactions on Education. 2023. pp. 1–12. doi: 10.1109/TE.2023.3236027.
  32. Peta S. C Programming Language–Still Ruling the World // Global Journal of Computer Science and Technology. 2022. vol. 22(1). pp. 9–13.
  33. Park H., Kim S., Bae B. Dynamic code compression for JavaScript engine // Software: Practice and Experience. 2023. vol. 53. no. 5. pp. 1196–1217. doi: 10.1002/spe.3186.
  34. Wang Z., Bu D., Wang N., Yu S., Gou S., Sun A. An empirical study on bugs in JavaScript engines // Information and Software Technology. 2023. vol. 155. no. 107105. doi: 10.1016/j.infsof.2022.107105.
  35. Romanchuk V.M. The Problem of Adequacy of the Analytic Hierarchy Process // Modelling and Data Analysis. 2022. vol. 10. no. 4. pp. 79–87. doi: 10.17759/mda.2020100407.
  36. Polat T.K. An Application of Analytic Hierarchy Process and Fuzzy Analytic Hierarchy Process to the Case Type Selection Problem // Academic Perspective Procedia. 2018. vol. 1. no. 1. pp. 1179–1188. doi: 10.33793/acperpro.01.01.188.
  37. Vorobev A.V., Pilipenko V.A., Enikeev T.A., Vorobeva G.R. Geoinformation system for analyzing the dynamics of extreme geomagnetic disturbances from observations of ground stations // Computer Optics. 2020. vol. 44(5). pp. 782–790. doi: 10.18287/2412-6179-CO-707.
  38. Vorobev A.V., Soloviev A.A., Pilipenko V.A., Vorobeva G.R., Gainetdinova A.A., Lapin A.N., Belakhovsky V.B., Roldugin A.V. Local diagnostics of aurora presence based on intelligent analysis of geomagnetic data // Solar-Terrestrial Physics. 2023. vol. 9(2). pp. 22–30. doi: 10.12737/stp-92202303.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».