Динамика рекуррентных нейронных сетей с кусочно-линейной функцией активации в задаче контекстно-зависимого принятия решения

Цель данной работы — исследовать динамические механизмы решения рекуррентными нейронными сетями когнитивной задачи двухальтернативного выбора с контекстом, вырабатываемые в процессе обучения с подкреплением, и развить методологию анализа таких моделей на основе теории динамических систем. Методы. Построен ансамбль нейросетей с кусочно-линейной функцией активации. Модели оптимизировались с помощью метода обучения с подкреплением — проксимального обновления стратегии. Структура испытания с постоянными стимулами в течение длительного этапа позволяет трактовать входы в качестве параметров системы и рассматривать систему как автономную на конечных временных интервалах. Результаты. Выявлен и описан динамический механизм двухальтернативного выбора в терминах аттракторов автономных систем. Описаны возможные типы аттракторов в рассматриваемой модели и изучено распределение типов аттракторов в ансамбле моделей относительно параметров когнитивной задачи. В полученных сетях выявлено устойчивое по ансамблю моделей разделение на функциональные популяции. Исследован процесс эволюции состава данных популяций в процессе обучения. На основе полученного понимания динамического механизма была сконструирована двумерная сеть, решающая упрощённую задачу двухальтернативного выбора без контекста. Заключение. Предложенный подход позволяет качественно описать механизм решения задачи в терминах аттракторов. Подобное описание позволяет исследовать динамику функциональных моделей и выделять стоящие за динамическими объектами популяции. Данный подход позволяет отслеживать эволюцию аттракторов системы и соответствующих популяций в процессе обучения.  

рекуррентная нейронная сеть, обучение с подкреплением, когнитивная задача, аттрактор, популяционная динамика