Сходимость многослойного персептрона к гистограммной байесовской регрессии
- Авторы: Елисеев Н.А.1, Перминов А.И.1, Турдаков Д.Ю.1,2
-
Учреждения:
- Институт системного программирования им. В.П. Иванникова Российской академии наук
- Исследовательский центр доверенного искусственного интеллекта ИСП РАН
- Выпуск: Том 80, № 6 (2025)
- Страницы: 45-72
- Раздел: Статьи
- URL: https://ogarev-online.ru/0042-1316/article/view/358699
- DOI: https://doi.org/10.4213/rm10273
- ID: 358699
Цитировать
Аннотация
эмпирических данных с использованием многослойного персептрона.
Гистограммная регрессия сохраняет прозрачность и статистическую интерпретацию,
но ограничена требованиями к памяти (
тогда как многослойный персептрон обеспечивает эффективное по памяти представление (
и высокую вычислительную эффективность при ограниченной интерпретируемости.
Особое внимание уделено унарной схеме обучения, при которой обучающая выборка
состоит из примеров одного целевого класса и дополнительных фоновых точек,
равномерно распределённых на компактном множестве признакового пространства.
Такой подход позволяет обрабатывать каждый класс изолированно и
реализовать механизм отказа от классификации вне носителя данных,
повышая надёжность модели.
Предлагается рассматривать выход персептрона как состоятельный аналог
гистограммного разбиения, индуцированного ячейками линейности персептрона.
Доказывается, что при естественных условиях регулярности и
контролируемом росте архитектуры выходная функция многослойного персептрона
является состоятельной и асимптотически эквивалентной гистограммной оценке.
Теоретическая состоятельность строго доказана для случая
фиксированного первого слоя, а численные эксперименты подтверждают
применимость результатов для моделей со всеми обучаемыми слоями.
Таким образом, гистограммная интерпретация обеспечивает
статистическую верификацию корректности аппроксимации персептрона
и способствует повышению доверия к классификационным решениям
в рамках унарной модели.
Библиография: 15 названий.
Об авторах
Никита Александрович Елисеев
Институт системного программирования им. В.П. Иванникова Российской академии наук
Email: neliseev@ispras.ru
Андрей Игоревич Перминов
Институт системного программирования им. В.П. Иванникова Российской академии наук
Email: perminov@ispras.ru
ORCID iD: 0000-0001-8047-0114
Денис Юрьевич Турдаков
Институт системного программирования им. В.П. Иванникова Российской академии наук; Исследовательский центр доверенного искусственного интеллекта ИСП РАН
Email: turdakov@ispras.ru
ORCID iD: 0000-0001-8745-0984
Список литературы
- M. Csikos, N. H. Mustafa, A. Kupavskii, “Tight lower bounds on the VC-dimension of geometric set systems”, J. Mach. Learn. Res., 20 (2019), 81, 8 pp.
- G. Cybenko, “Approximation by superpositions of a sigmoidal function”, Math. Control Signals Systems, 2:4 (1989), 303–314
- Bing Gao, Qiyu Sun, Yang Wang, Zhiqiang Xu, “Phase retrieval from the magnitudes of affine linear measurements”, Adv. in Appl. Math., 93 (2018), 121–141
- R. Giryes, G. Sapiro, A. M. Bronstein, “Deep neural networks with random Gaussian weights: a universal classification strategy?”, IEEE Trans. Signal Process., 64:13 (2016), 3444–3457
- A. Goujon, A. Etemadi, M. Unser, “On the number of regions of piecewise linear neural networks”, J. Comput. Appl. Math., 441 (2024), 115667, 22 pp.
- Feng Guo, Liguo Jiao, Do Sang Kim, “On continuous selections of polynomial functions”, Optimization, 73:2 (2024), 295–328
- M. Imaizumi, K. Fukumizu, “Deep neural networks learn non-smooth functions effectively”, Proceedings of the 22nd international conference on artificial intelligence and statistics, Proc. Mach. Learn. Res. (PMLR), 89, 2019, 869–878
- A. Janosi, W. Steinbrunn, M. Pfisterer, R. Detrano, Heart disease [Dataset], UCI Machine Learning Repository, 1989
- A. Nobel, “Histogram regression estimation using data-dependent partitions”, Ann. Statist., 24:3 (1996), 1084–1105
- Y. Plan, R. Vershynin, “Dimension reduction by random hyperplane tessellations”, Discrete Comput. Geom., 51:2 (2014), 438–461
- B. Ramana, N. Venkateswarlu, ILPD (Indian liver patient dataset) [Dataset], UCI Machine Learning Repository, 2022
- S. Scholtes, “Piecewise affine functions”, Introduction to piecewise differentiable equations, SpringerBriefs Optim., Springer, New York, 2012, 13–63
- W. Wolberg, O. Mangasarian, N. Street, W. Street, Breast cancer Wisconsin (Diagnostic) [Dataset], UCI Machine Learning Repository, 1993
Дополнительные файлы
