Отправить статью по E-mail 
Методы построения ансамблей предикторов на основе выпуклых комбинаций
- Авторы: Борисов И.М.1, Докукин А.А.2, Сенько О.В.2
-
Учреждения:
- МГУ им. М. В. Ломоносова
- ФИЦ ИУ РАН
- Выпуск: № 4 (2025)
- Страницы: 94-102
- Раздел: КОМПЬЮТЕРНЫЕ МЕТОДЫ
- URL: https://ogarev-online.ru/0002-3388/article/view/308360
- DOI: https://doi.org/10.31857/S0002338825040064
- EDN: https://elibrary.ru/botsei
- ID: 308360
Цитировать
Открытый доступ
Доступ предоставлен
Только для подписчиков
Аннотация
При решении задач регрессии построение выпуклых комбинаций предикторов само по себе является эффективным методом построения ансамблей. При этом, если специально строить набор исходных предикторов с целью их дальнейшего использования в ансамбле, представляется возможным улучшить итоговое качество алгоритма. Исследуются два способа, позволяющие добиваться такого улучшения: модификация обучающих данных с помощью выборки объектов с возвращением в сочетании с методом случайных подпространств (по аналогии с методом Bootstrap Aggregating или бэггингом) и оптимизация разброса предикторов. Эффективность разработанных методов подтверждается результатами, полученными для конкретных прикладных задач.
Ключевые слова
Об авторах
И. М. Борисов
МГУ им. М. В. Ломоносова
Email: s02210331@gse.cs.msu.ru
Москва, Россия
А. А. Докукин
ФИЦ ИУ РАН
Email: dalex@ccas.ru
Москва, Россия
О. В. Сенько
ФИЦ ИУ РАН
Автор, ответственный за переписку.
Email: senkoov@mail.ru
Москва, Россия
Список литературы
- Zhou Z.H. Ensemble Methods: Foundations and Algorithms. Chapman and Hall/CRC. N. Y., 2012.
- Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning Data Mining, Inference, and Prediction. Springer Series in Statistics. N. Y.: Springer, 2009.
- Сенько О.В., Докукин А.А. Оптимальные выпуклые корректирующие процедуры в задачах высокой размерности // ЖВМ и МФ. 2011. Т. 51. № 9. С. 1751–1760.
- Сенько О.В., Докукин А.А. Регрессионная модель, основанная на выпуклых комбинациях, максимально коррелирующих с откликом // ЖВМ и МФ. 2015. Т. 55. № 3. С. 530–544.
- Senko O.V., Dokukin A.A., Kiselyova N.N., Dudarev V.A., Kuznetsova Yu.O. New Two-Level Ensemble Method and Its Application to Chemical Compounds Properties Prediction // Lobachevskii Journal of Mathematics. 2023. V. 44. № 1. P. 188–197.
- Докукин А.А., Сенько О.В. Новый двухуровневый метод машинного обучения для оценивания вещественных характеристик объектов // Изв. РАН ТиСУ. 2023. № 4. C. 17–24. https://doi.org/10.31857/S0002338823040029
- Zhuravlev Yu.I., Senko O.V., Dokukin A.A., Kiselyova N.N., Saenko I.A. Two-Level Regression Method Using Ensembles of Trees with Optimal Divergence // Doklady Mathematics. 2021. V. 104. № 1. P. 212–214.
- Kiselyova N.N., Stolyarenko A.V., Ryazanov V.V., Sen’ko O.V., Dokukin A.A. Application of Machine Training Methods to Design of New Inorganic Compounds // Diagnostic Test Approaches to Machine Learning and Commonsense Reasoning Systems / Eds X.A. Naidenova, D.I. Ignatov. Hershey: IGI Global, 2013. P. 197–220.
- Breiman L. Random forests // Machine Learning. 2001. V. 45. № 1. P. 5–32.
- Ho T.K. The Random Subspace Method for Constructing Decision Forests // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1998. V. 20. № 8. P. 832–844.
- Wolpert D.H. Stacked Generalization // Neural Networks. 1992. V. 5. № 2. P. 241–259.
Дополнительные файлы
