Clusterix-подобные СУБД консервативного типа класса BIG DATA

Обложка

Цитировать

Полный текст

Открытый доступ Открытый доступ
Доступ закрыт Доступ предоставлен
Доступ закрыт Только для подписчиков

Аннотация

Целесообразность разработок СУБД консервативного типа с эпизодическим обновлением данных определяется особенностями OLAP-технологий. Вопросы создания таких СУБД требуют серьезного обсуждения. В этом обзоре систематизированы основные результаты исследований научной группы Clusterix КНИТУ-КАИ по консервативным СУБД на базе вычислительных кластеров. Цель проведенных исследований актуальна: разработка подходов к синтезу сравнительно эффективных по критерию «производительность/стоимость» отечественных СУБД класса Big Data. Сравнение проводилось с лучшими зарубежными открытыми системами. Разрабатываемые СУБД доступны к применению организациям с ограниченными финансовыми возможностями. Должное внимание уделено элементам теории кластерных СУБД консервативного типа. Рассмотрены: базовые конфигурации систем Clusterix, динамика таких СУБД, эффекты их самоорганизации. За основу исследований взята методология конструктивного моделирования систем.

Об авторах

Вадим Абрамович Райхлин

Казанский национальный исследовательский технический университет им. А.Н. Туполева

Автор, ответственный за переписку.
Email: varaikhlin@gmail.com

профессор кафедры компьютерных систем, доктор физ.-мат. наук, профессор

Россия, Казань

Роман Константинович Классен

Казанский национальный исследовательский технический университет им. А.Н. Туполева

Email: klassen.rk@gmail.com

доцент кафедры компьютерных систем, канд. техн. наук

Россия, Казань

Список литературы

  1. Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И. Технологии анализа данных: Data Mining, Visual Mimning, Text Mining, OLAP // 2-е изд. – СПб. БХВ Петербург, 2007.
  2. Cohen J., Dolan B., Dunlap M., Hellerstein J. M. and Welton C. MAD Skills: New Analysis Practices for Big Data // Proceedings of the VLDB Endowment Volume 2 Issue 2, August 2009. P. 1481-1492.
  3. Raikhlin, V.A. Simulation of Distributed Database Machines //Programming and Computer Software. Vol. 22, Issue 2, 1996, P. 68-74.
  4. Райхлин В.А. Конструктивное моделирование систем // Казань: Изд-во «Фəн» («Наука»), 2005.
  5. EMC Education Services. Data Science and Big Data Analytics: Discovering, Analyzing, Visualizing and Presenting Data //John Wiley & Sons.
  6. Xin, Reynold & Rosen, Josh & Zaharia, Matei & J. Franklin, Michael & Shenker, Scott & Stoica, Ion. (2012). Spark: SQL and Rich Analytics at Scale // Proceedings of the ACM SIGMOD International Conference on Management of Data. 10.1145/2463676.2465288.
  7. Российская отрасль СУБД продвигается на «слонах» //Connect. 2017. №5-6. C.34-38.
  8. Российская СУБД Postgres Pro //Postgres Professional. 2018. URL:https://postgrespro.ru/products/postgrespro (дата обращения: 03.05.2018).
  9. Codd E.F. Providing OLAP to user-analysts: an it mandate // Technical Report. Apr. 1993.
  10. Ульман Дж. Основы систем баз данных // М.: Финансы и статистка, 1983.
  11. Райхлин В.А., Вершинин И.С., Классен Р.К., Гибадуллин Р.Ф., Пыстогов С.В. Конструктивное моделирование процессов синтеза /Под ред. В.А. Райхлина // Казань: Изд-во «ФƏН» (Наука) АН РТ, 2020.
  12. Воеводин В.В., Воеводин Вл.В.. Параллельные вычисления // СПб.: БХВ-Петербург, 2004.
  13. Абрамов Е.В. Параллельная СУБД Clusterix. Разработка прототипа и его натурное исследование //Вестник КГТУ им. А.Н. Туполева. 2006. №2. С.50-55.
  14. Райхлин В.А., Абрамов Е.В. Кластеры баз данных. Моделирование эволюции //Вестник КГТУ им. А.Н. Тупо лева. 2006. №3. С. 22-27.
  15. Райхлин В.А., Абрамов Е.В., Шагеев Д.О. Эволюционное моделирование процесса выбора архитектуры кластеров баз данных //Высокопроизводит. паралл. вычисления на кластерных системах. Тр. 8 Межд. конф. HPC2008. – Казань: Изд. КГТУ, 2008. С.249-256.
  16. Райхлин В.А., Шагеев Д.О. Информационные кластеры как диссипативные системы //Нелинейный мир. Т.7. 2009. №5. С.323-334.
  17. Райхлин В.А., Минязев Р.Ш. Мультикластеризация распределенных СУБД консервативного типа //Нелинейный мир. 2011. №8. С.473-481.
  18. Райхлин В.А., Минязев Р.Ш. Анализ процессов в кластерах консервативных баз данных с позиций самоорганизации //Вестник КГТУ им. А.Н. Туполева. 2015. №2. С. 120-126.
  19. Николис Г., Пригожин И. Познание сложного. – М.: УРС, 2003.
  20. Минязев Р.Ш., Попов А.В. Временные доминанты кластеров баз данных //Методы моделирования /Под ред. В.А. Райхлина. Труды Респ. науч. семинара АН РТ «Методы моделирования». Вып.4. – Казань: Изд-во «Фəн» («Наука»), 2010. С.125-134.
  21. Oracle. The MySQL Plugin API //MySQL Documentation. 2018. URL: https://dev.mysql.com/doc/ refman/5.7/en/plugin-api.html (дата обращения: 09.04.2018).
  22. Hellerstein J.M., Stonebraker M., Hamilton J. Architecture of a Database System //Foundations and Trends in Databases. 2007. Vol. 1. No. 2. pp. 141-259.
  23. Vadim A. Raikhlin, Roman K. Klassen. Clusterix-Like BigData DBMS //Data Science and Engineering, 5(1), p.80–93 (2020). doi: 10.1007/s41019-020-00116-2 http://link.springer.com/article/10.1007/s41019-020-0116-2
  24. Haken, Hermann. Synergetics: Introduction and Advanced Topics // 2004, doi: 10.1007/978-3-662-10184-1.
  25. Райхлин В.А., Классен Р.К. Сравнительно недорогие гибридные технологии консервативных СУБД больших объемов //Информационные технологии и вычислительные системы. 2018. Т. 68. №1. С. 46-59.
  26. Классен Р.К. Clusterix-N. // BitBucket. 2019. URL: https://bitbucket.org/rozh/clusterixn/ (дата обращения: 09.03.2019).
  27. Классен Р.К. Повышение эффективности параллельной СУБД консервативного типа на кластерной платформе с многоядерными узлами //Вестник КГТУ им. А.Н.Туполева. 2015. № 1. С. 112-118.
  28. Классен Р.К. Ускорение операций хеширования с применением графических ускорителей //Вестник КГТУ им. А.Н.Туполева. 2018. № 1. С.134-141.
  29. Классен Р.К. Особенности эффективной обработки SQL запросов к базам данных консервативного типа //Информационные технологии и вычислительные системы. 2018. Т. 68. № 4. С. 108-118.
  30. Классен Р.К. Программа региональной балансировки нагрузки к базе данных консервативного типа на кластерной платформе «PerformSys». Свидетельство о государственной регистрации программы для ЭВМ №2017611785 от 09.02.2017.
  31. Классен Р.К. PerformSys // GitHub. 2019. URL: https://github.com/rozh1/PerformSys/ (дата обращения: 09.12.2018).

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать


Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».