New Two-Level Machine Learning Method for Evaluating the Real Characteristics of Objects

Cover Page

Cite item

Full Text

Open Access Open Access
Restricted Access Access granted
Restricted Access Subscription Access

Abstract

A new two-level ensemble regression method, as well as its modifications and application in applied problems, are considered. The key feature of the method is its focus on constructing an ensemble of predictors that approximate the target variable well and, at the same time, consist of algorithms that, if possible, differ from each other in terms of the calculated predictions. The ensemble with the indicated properties at the first stage is constructed through the optimization of a special functional, whose choice is theoretically substantiated in this study. At the second stage, a collective solution is calculated based on the forecasts formed by this ensemble. In addition, some heuristic modifications are described that have a positive effect on the quality of the forecast in applied problems. The effectiveness of the method is confirmed by the results obtained for specific applied problems.

About the authors

A. A. Dokukin

Federal Research Center “Computer Science and Control,” Russian Academy of Sciences, 119333, Moscow, Russia

Email: dalex@ccas.ru
Россия, Москва

O. V. Sen’ko

Federal Research Center “Computer Science and Control,” Russian Academy of Sciences, 119333, Moscow, Russia

Author for correspondence.
Email: senkoov@mail.ru
Россия, Москва

References

  1. Положение о ЦКП “Информатика” // [Электронный ресурс]. Режим доступа http://www.frccsc.ru/ckp (дата обращения 14.02.2023).
  2. Zhou Z.H. Ensemble Methods: Foundations and Algorithms. N.Y.: Chapman and Hall/CRC, 2012.
  3. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning Data Mining, Inference, and Prediction. Springer Series in Statistics. N.Y.: Springer, 2009.
  4. Breiman L. Random forests // Machine Learning. 2001. V. 45. № 1. P. 5–32.
  5. Schapire R.E., Freund Y. Foundations and Algorithms. Cambridge, Massachusetts, London: MIT Press, 2012.
  6. Ho T.K. The Random Subspace Method for Constructing Decision Forests // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1998. V. 20. № 8. P. 832–844.
  7. Garcia-Pedrajas N., Ortiz-Boyer D. Boosting Random Subspace Method // Neural Networks. 2008. V. 21. № 9. P. 1344–1362.
  8. Zhuravlev Yu.I., Senko O.V., Dokukin A.A., Kiselyova N.N., Saenko I.A. Two-Level Regression Method Using Ensembles of Trees with Optimal Divergence // Doklady Mathematics. 2021. V. 103. P. 1–4.
  9. Pedregosa F., Varoquaux G., Gramfort A. et al. Scikit-learn: Machine Learning in Python // Machine Learning Research. 2011. V. 12. P. 2825–2830.
  10. Wolpert D.H. Stacked Generalization // Neural Networks. 1992. V. 5. № 2. P. 241–259.
  11. Braverman E.M., Muchnik I.B. Structural Methods for Processing Empirical Data. M.: Nauka, 1983.
  12. Senko O.V., Dokukin A.A., Kiselyova N.N., Dudarev V.A., Kuznetsova Yu.O. New Two-Level Ensemble Method and Its Application to Chemical Compounds Properties Prediction // Lobachevskii Journal of Mathematics. 2023. V. 44. № 1. P. 188–197.
  13. Rafiei M.H., Adeli H. A Novel Machine Learning Model for Estimation of Sale Prices of Real Estate Units // J. Construction Engineering & Management. 2015. V. 142. № 2.
  14. Сенько О.В., Чучупал В.Я., Докукин А.А. Неинвазивное оценивание уровня артериального давления с помощью кардиомонитора CardioQvark // Математическая биология и биоинформатика. 2017. Т. 2. № 12. С. 536–546.
  15. Mostofi F., Toğan V., Başağa H.B. Real-estate Price Prediction with Deep Neuralnetwork and Principal Component Analysis // Organization, Technology and Management in Construction. 2022. V. 14. № 1. P. 2741–2759.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Copyright (c) 2023 А.А. Докукин, О.В. Сенько

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».