Автоимпорт большого объема информации в базу данных с помощью языка программирования
- Авторы: Крапивин Р.Р.1, Гареева Г.А.1, Филатов Ю.М.1, Файзуллина А.Г.2, Мышкина И.Ю.2
-
Учреждения:
- Казанский национальный исследовательский технический университет им. А.Н. Туполева-КАИ
- Казанский федеральный университет, Набережночелнинский институт
- Выпуск: Том 13, № 2 (2023)
- Страницы: 33-46
- Раздел: Статьи
- Статья опубликована: 30.06.2023
- URL: https://ogarev-online.ru/2328-1391/article/view/347183
- DOI: https://doi.org/10.12731/2227-930X-2023-13-2-33-46
- EDN: https://elibrary.ru/MIOWKT
- ID: 347183
Цитировать
Полный текст
Аннотация
В статье рассматривается эффективный и автоматизированный способ импортирования больших объемов данных из таблиц Excel в базу данных. В различных проектах присутствуют задачи, в которых поток огромных данных, таких как лог-файлы программных операций или ручные операции, совершаемые на рабочих участках, жизненно необходим для эффективного анализа.
Цель – разработка модуля для автоматического импортирования большого объема данных из формата Excel в базу данных.
Метод или методология проведения работы: в статье рассматривается способ, который реализует автоматическое импортирование данных из таблиц Excel в базу данных Postgresql.
Результат: разработан собственный уникальный модуль, который способен обрабатывать огромные Excel таблицы и импортировать их в базу данных Postgresql без ручных операций.
Ключевые слова
Об авторах
Роман Русланович Крапивин
Казанский национальный исследовательский технический университет им. А.Н. Туполева-КАИ
Автор, ответственный за переписку.
Email: Jerichotyrant1@yandex.ru
студент
Россия, ул. Академика Королева, 1, г. Набережные Челны, 423814, Российская Федерация
Гульнара Альбертовна Гареева
Казанский национальный исследовательский технический университет им. А.Н. Туполева-КАИ
Email: gagareeva1977@mail.ru
SPIN-код: 3279-8465
Scopus Author ID: 36801593200
ResearcherId: M-1728-2015
заведующий кафедрой Информационных систем, канд. пед. наук, доцент
Россия, ул. Академика Королева, 1, г. Набережные Челны, 423814, Российская Федерация
Юрий Михайлович Филатов
Казанский национальный исследовательский технический университет им. А.Н. Туполева-КАИ
Email: Uraura111222@gmail.com
студент
Россия, ул. Академика Королева, 1, г. Набережные Челны, 423814, Российская Федерация
Айгуль Гинатулловна Файзуллина
Казанский федеральный университет, Набережночелнинский институт
Email: dlya_pisem_t@mail.ru
преподаватель инженерно-экономического колледжа
Россия, проспект Мира, 68/19, г. Набережные Челны, 423812, Российская Федерация
Ирина Юрьевна Мышкина
Казанский федеральный университет, Набережночелнинский институт
Email: mirinau@mail.ru
доцент кафедры системного анализа и информатики, кандидат тех. наук, доцент
Россия, проспект Мира, 68/19, г. Набережные Челны, 423812, Российская Федерация
Список литературы
- Логинова Е.В. Необходимость изучения информационных потоков предприятия / Е.В.Логинова, Т.А. Сарыева // Проблемы современной науки и образования, 2017. – № 2. С. 45-48.
- Методы и модели исследования сложных систем и обработки больших данных: Монография / И. Ю. Парамонов, В. А. Смагин, Н. Е. Косых, А. Д. Хомоненко; под редакцией В. А. Смагина и А. Д. Хомоненко. – Санкт-Петербург: Лань, 2020. – 236 с.
- Бенгфорт, Б. Прикладной анализ текстовых данных на Python. Машинное обучение и создание приложений обработки естественного языка / Б. Бенгфорт. – СПб.: Питер, 2019. – 368 c.
- Пономарева Л.А., Чискидов С.В., Ронжина И.А., Голосов П.Е. Проектирование компьютерных обучающих систем: Монография. М-во образования и науки РФ, РАНХиГС, МГПУ ИЦО. Тамбов: Консалтинговая компания Юком, 2018. 120 с.
- Прокофьева Е.Н. Оценка качества управления информационными потоками в организациях / Е.Н. Прокофьева, А.В. Вострикова // Вестник РМАТ, 2017. – 330 с.
- Прохоренок Н.А. Python 3 и PyQt. Разработка приложений. – СПб.: БХВ-Петербург, 2012. – 704 с.
- Самойлова И. А. Технологии обработки больших данных / Молодой ученый. - 2017. - № 49 (183). - С. 26-28.
- Модели и методы исследования информационных систем: монография / А.Д. Хомоненко, А.Г. Басыров, В.П. Бубнов [и др.]. - Санкт-Петербург: Лань, 2019. - 204 с.
- Канаев К.А., Фалеева Е.В., Пономарчук Ю.В. Сравнительный анализ форматов обмена данными, используемых в приложениях с клиент-серверной архитектурой // Фундаментальные исследования. – 2015. – № 2-25. – С. 5569-5572.
- Златопольский Д.М. Основы программирования на языке Python. – М.: ДМК Пресс, 2017. – 284 с.
- Виноградова Е.Ю. Интеллектуальные информационные технологии – теория и методология построения информационных систем: монография / М-во образования и науки РФ, Урал. гос. экон. ун-т. – Екатеринбург: Изд-во Урал. гос. экон. ун-та, 2011. – 263 с.
- Белкова А. Л. Осваиваем работу с реляционными базами в MS Excel 2013 / А.Л. Белкова, С.Н. Леора // Теория и практика образования в современном мире: материалы VI Междунар. науч. конф. – Санкт-Петербург: Заневская площадь, 2014. – С. 349-356.
- Уорсли, Дж. PostgreSQL. Для профессионалов / Дж. Уорсли, Дж. Дрейк. - М.: СПб: Питер, 2002. - 496 c.
- Hans-Jürgen Schönig Mastering PostgreSQL 13 - Fourth Edition: Build, administer, and maintain database applications efficiently with PostgreSQL 13. - Packt Publishing, – 2020. - 476 p.
- Baji Shaik, Avinash Vallarapu Beginning PostgreSQL on the Cloud: Simplifying Database as a Service on Cloud Platforms. – Apress, - 2018. - 381 p.
Дополнительные файлы
