Принципы аналоговых нейроморфных вычислений: от компонент до систем и алгоритмов
- Авторы: Демин В.А.1, Емельянов А.В.1,2, Никируй К.Е.1, Суражевский И.А.1, Ситников А.В.1,3, Рыльков В.В.1, Кашкаров П.К.1,2, Ковальчук М.В.1,2,4
-
Учреждения:
- Национальный исследовательский центр «Курчатовский институт»
- Московский физико-технический институт
- Воронежский государственный технический университет
- Московский государственный университет имени М.В. Ломоносова
- Выпуск: Том 18, № 4 (2023)
- Страницы: 794-797
- Раздел: Материалы конференции
- URL: https://ogarev-online.ru/2313-1829/article/view/256364
- DOI: https://doi.org/10.17816/gc623345
- ID: 256364
Цитировать
Открытый доступ
Доступ предоставлен
Только для подписчиков
Аннотация
В настоящем докладе представлено текущее состояние дел в реализации аппаратных ускорителей искусственного интеллекта на базе практически успешных нейросетевых алгоритмов первого и второго поколений на основе формальных нейронных сетей (ФНС), отмечаются недостатки существующих решений и намечаются пути их преодоления с использованием аналоговых нейроморфных архитектур.
Последние создаются на принципах строения и функционирования живой нервной системы, с использованием искусственных нейронов и моделей синаптических контактов – так называемых мемристоров, электрически перезаписываемых наноразмерных элементов энергонезависимой памяти [1-3]. С применением этих элементов возможно как существенное увеличение производительности и энергоэффективности ускорителей алгоритмов на базе ФНС [4-6], так и формирование перспективных вычислительных систем на основе биоподобных нейросетевых алгоритмов 3-го поколения – импульсных, или спайковых, нейронных сетей (СНС) [7-9].
Обсуждается оригинальный способ обоснования оптимальных правил локальной настройки синаптических связей СНС с частотным кодированием информации и возможность их реализации в виде правил ассоциативного обучения типа динамической пластичности, зависящей от временных интервалов между импульсами (STDP) [10]. Продемонстрированы результаты по исследованию устойчивости обучения СНС к вариабельности характеристик мемристоров как аналоговых элементов, а также использованию шума в качестве конструктивного фактора при обучении и удержании мемристивных весов импульсной сети [7, 11].
Также, обсуждаются подходы к реализации локальных правил дофаминоподобного обучения с подкреплением в СНС, которые необходимы для формирования аналога системы «потребностей» интеллектуального агента в процессе его автономного функционирования [12, 13, 14]. Рассмотрены первые результаты по созданию прототипа мемристивного имплантируемого устройства, нейропротезирующего двигательную активность животного [15, 16].
Наконец, демонстрируются возможные аппаратные решения как для нейрональных элементов, так и для синаптических связей на базе перспективных мемристивных устройств, подходящих для указанных типов локального обучения, представлены концепция и первые результаты по созданию аналогового нейроморфного процессора на базе вышеуказанных компонент.
Таким образом, дается попытка систематизации существующих и авторских оригинальных способов реализации энергоэффективных компактных аналоговых нейроморфных вычислительных систем искусственного интеллекта, функционирующих в режиме реального времени и (само-)обучаемых в течение всего срока службы устройства.
Полный текст
В настоящем докладе представлено текущее состояние дел в реализации аппаратных ускорителей искусственного интеллекта на базе практически успешных нейросетевых алгоритмов первого и второго поколений на основе формальных нейронных сетей (ФНС), отмечаются недостатки существующих решений и намечаются пути их преодоления с использованием аналоговых нейроморфных архитектур.
Последние создаются на принципах строения и функционирования живой нервной системы, с использованием искусственных нейронов и моделей синаптических контактов — так называемых мемристоров, электрически перезаписываемых наноразмерных элементов энергонезависимой памяти [1–3]. С применением этих элементов возможно как существенное увеличение производительности и энергоэффективности ускорителей алгоритмов на базе ФНС [4–6], так и формирование перспективных вычислительных систем на основе биоподобных нейросетевых алгоритмов 3-го поколения — импульсных, или спайковых, нейронных сетей (СНС) [7–9].
Обсуждаются оригинальный способ обоснования оптимальных правил локальной настройки синаптических связей СНС с частотным кодированием информации и возможность их реализации в виде правил ассоциативного обучения типа динамической пластичности, зависящей от временных интервалов между импульсами (STDP) [10]. Продемонстрированы результаты по исследованию устойчивости обучения СНС к вариабельности характеристик мемристоров как аналоговых элементов, а также к использованию шума в качестве конструктивного фактора при обучении и удержании мемристивных весов импульсной сети [7, 11].
Обсуждаются также подходы к реализации локальных правил дофаминоподобного обучения с подкреплением в СНС, которые необходимы для формирования аналога системы «потребностей» интеллектуального агента в процессе его автономного функционирования [12–14]. Рассмотрены первые результаты по созданию прототипа мемристивного имплантируемого устройства, нейропротезирующего двигательную активность животного [15, 16].
Наконец, демонстрируются возможные аппаратные решения как для нейрональных элементов, так и для синаптических связей на базе перспективных мемристивных устройств, подходящих для указанных типов локального обучения, представлены концепция и первые результаты по созданию аналогового нейроморфного процессора на базе вышеуказанных компонент.
Таким образом, даётся попытка систематизации существующих и авторских оригинальных способов реализации энергоэффективных компактных аналоговых нейроморфных вычислительных систем искусственного интеллекта, функционирующих в режиме реального времени и (само-)обучаемых в течение всего срока службы устройства.
ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ
Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией).
Источник финансирования. Работа выполнена при финансовой поддержке соглашения с Министерством науки и высшего образования № 075-15-2023-324.
Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.
Об авторах
В. А. Демин
Национальный исследовательский центр «Курчатовский институт»
Автор, ответственный за переписку.
Email: demin.vyacheslav@mail.ru
Россия, Москва
А. В. Емельянов
Национальный исследовательский центр «Курчатовский институт»; Московский физико-технический институт
Email: demin.vyacheslav@mail.ru
Россия, Москва; Долгопрудный, Московская область
К. Е. Никируй
Национальный исследовательский центр «Курчатовский институт»
Email: demin.vyacheslav@mail.ru
Россия, Москва
И. А. Суражевский
Национальный исследовательский центр «Курчатовский институт»
Email: demin.vyacheslav@mail.ru
Россия, Москва
А. В. Ситников
Национальный исследовательский центр «Курчатовский институт»; Воронежский государственный технический университет
Email: demin.vyacheslav@mail.ru
Россия, Москва; Воронеж
В. В. Рыльков
Национальный исследовательский центр «Курчатовский институт»
Email: demin.vyacheslav@mail.ru
Россия, Москва
П. К. Кашкаров
Национальный исследовательский центр «Курчатовский институт»; Московский физико-технический институт
Email: demin.vyacheslav@mail.ru
Россия, Москва; Долгопрудный, Московская область
М. В. Ковальчук
Национальный исследовательский центр «Курчатовский институт»; Московский физико-технический институт; Московский государственный университет имени М.В. Ломоносова
Email: demin.vyacheslav@mail.ru
Россия, Москва; Долгопрудный, Московская область; Москва
Список литературы
- Strukov D., Snider G., Stewart D., Williams R. The missing memristor found // Nature. 2008. Vol. 453, N 7191. P. 80–83. doi: 10.1038/nature06932
- Martyshov M.N., Emelyanov A.V., Demin V.A., et al. Multifilamentary character of anticorrelated capacitive and resistive switching in memristive structures based on (Co-Fe-B)x(LiNbO3)100−x nanocomposite // Phys Rev Applied. 2020. Vol. 14. P. 034016.
- Minnekhanov A.A., Emelyanov AV., Lapkin D.A., et al. Parylene-based memristive devices with multilevel resistive switching for neuromorphic applications // Sci Rep. 2019. Vol. 9, N 1. P. 10800. doi: 10.1038/s41598-019-47263-9
- Prezioso M., Merrikh-Bayat F., Hoskins B.D., et al. Training and operation of an integrated neuromorphic network based on metal-oxide memristors // Nature. 2015. Vol. 521, N 7550. P. 61–64. doi: 10.1038/nature14441
- Emelyanov A.V., Lapkin D.A., Demin V.A., Erokhin V.V. First steps towards the realization of a double layer perceptron based on organic memristive devices // AIP Advances. 2016. Vol. 6, N 11. P. 111301. doi: 10.1063/1.4966257
- Yao P., Wu H., Gao B., et al. Fully hardware-implemented memristor convolutional neural network // Nature. 2020. Vol. 577, N 7792. P. 641–646. doi: 10.1038/s41586-020-1942-4
- Emelyanov A.V., Nikiruy K.E., Serenko A.V., et al. Self-adaptive STDP-based learning of a spiking neuron with nanocomposite memristive weights // Nanotechnology. 2020. Vol. 31, N 4. P. 045201. doi: 10.1088/1361-6528/ab4a6d
- Wang W., Pedretti G., Milo V., et al. Learning of spatiotemporal patterns in a spiking neural network with resistive switching synapses // Sci Adv. 2018. Vol. 4, N 9. P. eaat4752. doi: 10.1126/sciadv.aat4752
- Gerasimova S.A., Mikhaylov A.N., Belov A.I., et al. Design of memristive interface between electronic neurons // AIP Conf Proc. 2018. Vol. 1959, N 1. P. 090005. doi: 10.1063/1.5034744
- Demin V.A., Nekhaev D.V., Surazhevsky I.A., et al. Necessary conditions for STDP-based pattern recognition learning in a memristive spiking neural network // Neural Netw. 2021. Vol. 134. P. 64–75. doi: 10.1016/j.neunet.2020.11.005
- Surazhevsky I.A., Demin V.A., Ilyasov A.I., et al. Noise-assisted persistence and recovery of memory state in a memristive spiking neuromorphic network // Chaos, Solitons and Fractals. 2021. Vol. 146. P. 110890. doi: 10.1016/j.chaos.2021.110890
- Nikiruy K.E., Emelyanov A.V., Demin V.A., et al. Dopamine-like STDP modulation in nanocomposite memristors // AIP Advances. 2019. Vol. 9, N 6. P. 065116. doi: 10.1063/1.5111083
- Minnekhanov A.A., Shvetsov B.S., Emelyanov A.V. Parylene-based memristive synapses for hardware neural networks capable of dopamine-modulated STDP learning // J Phys D: Appl Phys. 2021. Vol. 54, N 48. P. 484002. doi: 10.1088/1361-6463/ac203c
- Vlasov D., Rybka R., Sboev A. Reinforcement learning in a spiking neural network with memristive plasticity // Reinforcement learning in a spiking neural network with memristive plasticity. 6th Scientific School Dynamics of Complex Networks and their Applications (DCNA). 2022. Kaliningrad, Russian Federation. P. 300–302. doi: 10.1109/DCNA56428.2022.9923314
- Mikhaylov A., Pimashkin A., Pigareva Y., et al. Neurohybrid memristive CMOS-integrated systems for biosensors and neuroprosthetics // Front Neurosci. 2020. Vol. 14. P. 358. doi: 10.3389/fnins.2020.00358
- Masaev D.N., Suleimanova A.A., Prudnikov N.V., et al. Memristive circuit-based model of central pattern generator to reproduce spinal neuronal activity in walking pattern // Front Neurosci. 2023. Vol. 17. P. 1124950. doi: 10.3389/fnins.2023.1124950
Дополнительные файлы
