Модель оценки экономической эффективности гибридной потоковой обработки данных в высоконагруженных системах: методология снижения операционных задержек
- Авторы: Рахматуллин Т.Г1
-
Учреждения:
- Mytona, г. Санкт-Петербург
- Выпуск: Том 4, № 6 (2025)
- Страницы: 55-64
- Раздел: Статьи
- URL: https://ogarev-online.ru/2949-4648/article/view/378796
- ID: 378796
Цитировать
Аннотация
целью исследования является раскрытие авторской методологии снижения операционных задержек и повышения экономической эффективности при применении гибридной потоковой обработки данных в высоконагруженных системах. Методы: в качестве методов исследования использованы анализ и синтез научных источников в области потоковой обработки данных и экономической оценки ИТ-инфраструктуры, сравнительный анализ архитектурных подходов (Batch Processing, Streaming-only, гибридные архитектуры), экономическое моделирование предотвращенных убытков и оптимизации выручки, а также кейс-стади, основанный на моделировании типовых инцидентов эксплуатации высоконагруженных цифровых продуктов. Результаты (Findings): в исследовании предложена авторская модель оценки экономического эффекта гибридной потоковой обработки данных, которая учитывает предотвращенные убытки, оптимизацию принимаемых решений и совокупную стоимость владения инфраструктурой. Доказано, что применение гибридной архитектуры в соответствии с Lambda Architecture обеспечивает линейный характер повышения инфраструктурных затрат при увеличении нагрузки, устраняет эффект информационной слепоты и позволяет существенно снизить прямые и косвенные экономические потери по сравнению с пакетными и проприетарными SaaS-решениями аналитики. Выводы: полученные результаты подтверждают, что экономическая эффективность потоковой обработки данных определяется не столько максимальной технической производительностью, сколько соответствием архитектуры профилю бизнес-рисков и управленческих задач. Разработанная модель может использоваться в качестве инструмента обоснования инвестиций в аналитические системы и оценки ROI цифровых трансформаций в высоконагруженных системах.
Список литературы
- Дробкова О.С., Мирохина Д.М. Применение технологии Data Lake как способ повышения эффективности деятельности промышленных предприятий // Вопросы инновационной экономики. 2024. Т. 14. № 4. С. 1381 – 1400. doi: 10.18334/vinec.14.4.122269
- Радионова Е.А. Гибридная вычислительная архитектура CPU/FPGA для задач потоковой обработки данных // Актуальные научные исследования: сборник статей XXIV Международной научно-практической конференции. Пенза: МЦНС «Наука и Просвещение», 2025. С. 50 – 53.
- Рахматуллин Т.Г. Автоматизация ETL-процессов с использованием Apache Airflow // Актуальные исследования. 2024. № 8 (190). Ч.I.
- Рахматуллин Т.Г. Оптимизация потоковой обработки игровых метрик с использованием Apache Flink и Kafka: опыт разработки масштабируемых решений // Актуальные исследования. 2024. № 45 (227). Ч. I. С. 33 – 39.
- Рахматуллин Т.Г. Оптимизация работы с большими данными в MongoDB: стратегии шардирования и индексирования // Актуальные исследования. 2024. № 50 (232). Ч.I. С. 41 – 46.
- Borkowski M., Hochreiner C., Schulte S. Minimizing cost by reducing scaling operations in distributed stream processing // Proceedings of the VLDB Endowment. 2019. Vol. 12. No. 7. P. 724 – 737. doi: 10.14778/3317315.3317316
- Hochreiner C., V?gler M., Schulte S., Dustdar S. Cost-efficient enactment of stream processing topologies // PeerJ Computer Science. 2017. Vol. 3. Article e141. doi: 10.7717/peerj-cs.141.
- Kodakandla P. Balancing performance and economics in hybrid cloud data architectures // International Journal for Research Trends and Innovation. 2022. Vol. 7, no. 2. P. 135 – 140.
- Lee M. Cost-efficient stream processing architectures: comparative analysis of cloud-native and hybrid Kafka-Spark-BigQuery pipelines // 2024. August. (Научная статья).
- P?rez-Arteaga P., Castellanos C., Castro H., Correal D., Guzm?n L., Denneulin Y. Cost comparison of Lambda architecture implementations for transportation analytics using public cloud software as a service // Proceedings of the 13th International Conference on Software Technologies (ICSOFT 2018). 2018. P. 855 – 862. doi: 10.5220/0006869308550862.
- Sychev Y.A., Musatov A.O. Incremental refactoring to reduce technical debt: migrating from an MVC monolith to microservice APIs // International Scientific Journal of Innovative Science. 2025. No. 4 (1.00). P. 28 – 30.
Дополнительные файлы
