Модель интеллектуального анализа и обнаружения аномалий в данных статистического наблюдения за образовательными организациями

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Только для подписчиков

Аннотация

В статье описан алгоритм применения модели интеллектуального анализа для обнаружения аномалий в данных статистического наблюдения за образовательными организациями. Дано определение аномалии, проанализированы типовые аномалии, которые могут содержаться в данных статистической отчетности. Приведена классификация методик выявления аномалий в зависимости от уровня размеченности обучающей выборки, а также проанализированы возможные способы разметки данных для представления результатов поиска аномалий. Проведены анализ и описание процесса сбора и обработки статистических данных образовательных организаций в ГИВЦ РТУ МИРЭА. Проанализированы слабые места процесса сбора данных, которые возможно усилить путем применения интеллектуального анализа для поиска аномалий в данных. Разработана математическая модель обработки данных и поиска аномалий. Предложен алгоритм подготовки данных для обучения модели интеллектуального анализа с учетом их специфики, а также последующего применения обученной модели для обнаружения аномалий в рассматриваемых данных. Произведена проверка работы алгоритма на реальных данных с использованием нейросетевой модели автоэнкодер.

Об авторах

Никита Евгеньевич Виноградов

МИРЭА – Российский технологический университет

Автор, ответственный за переписку.
Email: vinogradov_n@mirea.ru
SPIN-код: 1383-7078

аспирант, Институт перспективных технологий и индустриального программирования

Россия, Москва

Игорь Евгеньевич Вострокнутов

МИРЭА – Российский технологический университет

Email: vostroknutov_i@mail.ru
ORCID iD: 0000-0003-1690-7961
SPIN-код: 7619-6288
Scopus Author ID: 57205359470
ResearcherId: B-5750-2017

доктор педагогических наук, профессор, Институт перспективных технологий и индустриального программирования

Россия, Москва

Список литературы

  1. Бардасова И.А., Волкова Е.А. Обнаружение аномалий в электронных письмах с помощью машинного обучения // Вестник науки. 2024. Т. 4. № 5 (74). С. 1350–1358.
  2. Грушо А.А. и др. Поиск аномалий в больших данных // Системы и средства информатики. 2022. Т. 32. № 1. С. 160–167.
  3. Михняев А.Л. и др. Обнаружение аномалий в данных технологического процесса // Цифровая среда: технологии и перспективы: матер. конф. “Digital Environment: Technologies and Prospects” DETP 2022 (Брест, 31 октября 2022 г.). / ред. Н.Н. Шалобыта и др. Брест: БрГТУ, 2022. С. 62–65.
  4. Сафронов Д.А., Кацер Ю.Д., Зайцев К.С. Поиск аномалий с помощью автоэнкодеров // International Journal of Open Information Technologies. 2022. Т. 10. № 8. С. 39–45.
  5. Токарев В.В. Обзор методов машинного обучения, используемых для удаления выбросов в наборе данных // Научное обозрение: актуальные вопросы теории и практики: сборник статей V Международной научно-практической конференции. Пенза: Наука и Просвещение, 2023. С. 18–24.
  6. Шкодырев В.П. и др. Обзор методов обнаружения аномалий в потоках данных // Proc. of the Second Conference on Software Engineering and Information Management. Т. 1864. СПб., 2017.
  7. Шелухин О.И., Рябинин В.С. Обнаружение аномалий больших данных неструктурированных системных журналов // Вопросы кибербезопасности. 2019. № 2 (30). С. 36–41.
  8. Zimek A., Schubert E. Outlier detection // Encyclopedia of database systems. New York: Springer, 2017.
  9. Braei M., Wagner S. Anomaly detection in univariate time-series: A survey on the state-of-the-art // arXiv preprint arXiv:2004.00433. 2020.
  10. Chandola V., Banerjee A., Kumar V. Anomaly detection: A survey // ACM computing surveys (CSUR). 2009. Vol. 41. No. 3. Pp. 1–58.
  11. Salgado C.M., Azevedo C., Proenca H., Vieira S.M. Noise versus outliers. Cham: Springer International Publishing, 2016. Pp. 163–183.
  12. Charu C. Aggarwal. outlier analysis. 2nd ed. Springer Publishing Company, Inc., 2016. ISBN: 3319475770.
  13. Hojjati H., Ho T.K.K., Armanfard N. Self-supervised anomaly detection: A survey and outlook // arXiv preprint arXiv:2205.05173. 2022.
  14. Ruff L. et al. A unifying review of deep and shallow anomaly detection // Proceedings of the IEEE. 2021. Vol. 109. No. 5. Pp. 756–795.
  15. Smiti A. A critical overview of outlier detection methods // Computer Science Review. 2020. Vol. 38. P. 100306.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать
2. Рис. 1. График цепочки связанных показателей за все время

Скачать (304KB)
Метаданные
3. Рис. 2. Примеры работы автоэнкодера на данных нескольких организаций

Скачать (339KB)
Метаданные
4. Рис. 3. Пример результата поиска аномалий в данных при помощи автоэнкодера

Скачать (118KB)
Метаданные


Ссылка на описание лицензии: https://www.urvak.ru/contacts/

Согласие на обработку персональных данных

 

Используя сайт https://journals.rcsi.science, я (далее – «Пользователь» или «Субъект персональных данных») даю согласие на обработку персональных данных на этом сайте (текст Согласия) и на обработку персональных данных с помощью сервиса «Яндекс.Метрика» (текст Согласия).