Новые нейроморфные архитектуры на базе кроссбар-массивов нанокомпозитных мемристоров (Co-Fe-B)x(LiNbO3)100−x
- Авторы: Емельянов А.В.1, Мацукатова А.Н.1,2, Ильясов А.И.1,2, Демин В.А.1, Рыльков В.В.1
-
Учреждения:
- Национальный исследовательский центр «Курчатовский институт»
- Московский государственный университет имени М.В. Ломоносова
- Выпуск: Том 18, № 4 (2023)
- Страницы: 798-801
- Раздел: Материалы конференции
- URL: https://ogarev-online.ru/2313-1829/article/view/256367
- DOI: https://doi.org/10.17816/gc623346
- ID: 256367
Цитировать
Открытый доступ
Доступ предоставлен
Только для подписчиков
Аннотация
Нейроморфные вычислительные системы (НВС) на основе мемристоров представляют скоростной и энергоэффективный подход к обучению нейронных сетей (НС) и решению когнитивных задач (распознавание образов, обработка больших данных, предсказание и т.д.) [1]. Мемристоры могут быть реализованы в геометрии больших кроссбар массивов для выполнения операции векторно-матричного умножения (ВМУ) за один шаг путем взвешенного суммирования электрических токов (согласно законам Ома и Кирхгоффа) [1]. В свою очередь, являясь самой массовой параллельной операцией в обучении и выводе НС, ВМУ чрезвычайно затратна по времени и энергии в традиционных архитектурах фон Неймана. В связи с этим отличием НВС на основе мемристоров представляют большой интерес. Мемристоры уже успешно реализованы для различных реализаций НВС, продемонстрированы такие схемы, как многослойный персептрон (MLP) [2], долговременная кратковременная память и другие. Большинство этих НВС обычно обучаются с помощью различных типов алгоритмов обучения градиентного спуска, аппаратная реализация которых сложна из-за ненадежных вариаций мемристивных устройств от цикла к циклу (c2c) и от устройства к устройству (d2d). Было предложено несколько подходов для частичного смягчения этих проблем, в том числе резервуарные вычисления [3] и инженерия точных признаков [4]. Общая идея таких подходов заключается в уменьшении количества необходимых весов (т.е. мемристоров) по сравнению с полносвязными НС. В этом отношении большой интерес представляют такие новые архитектуры, как сверточная НС (СНС) и MLP-миксер, поскольку они обеспечивают значительное снижение веса без снижения эффективности классификации. Хотя СНС на основе мемристоров уже была продемонстрирована, различные аспекты ее реализации (такие как совместное проектирование гибридного аппаратного и программного обеспечения) еще предстоит изучить. MLP-миксер был реализован только программно. Поэтому в данной работе мы изучили возможность аппаратной реализации СНС и MLP-миксер на основе кроссбар массивов мемристоров. С этой целью были изучены мемристоры на основе нанокомпозита (Co-Fe-B)x(LiNbO3)100-x (CFB-LNO НК), работающие по механизму мультифиламентного резистивного переключения (РП), демонстрирующие высокую выносливость, длительную стабильность и обладающие многоуровневым РП [5].
Массив мемристоров был изготовлен с использованием лазерной фотолитографии для формирования рисунка электродных шин и ионно-лучевого напыления на оригинальной установке для нанесения активного слоя (LiNbO3 толщиной ~10 нм и НК CFB-LNO толщиной ~290 нм с x ≈10–25 ат. %). ). Подробности процесса изготовления можно найти в работе [5].
ВАХ изготовленных мемристоров показали небольшие вариации c2c и d2d, пластичность с 16 различными резистивными состояниями и выносливость более 105 циклов. Используя кроссбар массивы на основе нанокомпозитов, мы реализовали гибридную СНС, состоящую из аппаратного экстрактора признаков с одним/двумя ядрами и программного классификатора. Кроме того, мы продемонстрировали в модели, что использование исследуемых мемристоров в адаптированной архитектуре MLP-миксера приводит к высокой точности классификации, устойчивой к мемристивным вариациям и зависшим устройствам.
Полный текст
Нейроморфные вычислительные системы (НВС) на основе мемристоров представляют скоростной и энергоэффективный подход к обучению нейронных сетей и решению когнитивных задач (распознавание образов, обработка больших данных, предсказание и т.д.) [1]. Мемристоры могут быть реализованы в геометрии больших кроссбар-массивов для выполнения операции векторно-матричного умножения (ВМУ) за один шаг путём взвешенного суммирования электрических токов (согласно законам Ома и Кирхгоффа) [1]. В свою очередь, являясь самой массовой параллельной операцией в обучении и выводе нейронных сетей, ВМУ чрезвычайно затратна по времени и энергии в традиционных архитектурах фон Неймана. В связи с этим отличия НВС на основе мемристоров представляют большой интерес. Мемристоры уже успешно реализованы для различных реализаций НВС, продемонстрированы такие схемы, как многослойный персептрон (MLP) [2], долговременная кратковременная память и другие. Большинство этих НВС обычно обучаются с помощью различных типов алгоритмов обучения градиентного спуска, аппаратная реализация которых сложна из-за ненадёжных вариаций мемристивных устройств от цикла к циклу (c2c) и от устройства к устройству (d2d). Было предложено несколько подходов для частичного смягчения этих проблем, в том числе резервуарные вычисления [3] и инженерия точных признаков [4]. Общая идея таких подходов заключается в уменьшении количества необходимых весов (т.е. мемристоров) по сравнению с полносвязными нейронными сетями. В этом отношении большой интерес представляют такие новые архитектуры, как свёрточная нейронная сеть (СНС) и MLP-миксер, поскольку они обеспечивают значительное снижение веса без уменьшения эффективности классификации. Хотя СНС на основе мемристоров уже была продемонстрирована, различные аспекты её реализации (такие как совместное проектирование гибридного аппаратного и программного обеспечения) ещё предстоит изучить. MLP-миксер был реализован только программно. Поэтому в данной работе мы изучили возможность аппаратной реализации СНС и MLP-миксера на основе кроссбар-массивов мемристоров. С этой целью были изучены мемристоры на основе нанокомпозита (Co-Fe-B)x(LiNbO3) 100−x (CFB-LNO НК), работающие по механизму мультифиламентного резистивного переключения. Они демонстрируют высокую выносливость, длительную стабильность и обладают многоуровневым резистивным переключением [5].
Массив мемристоров был изготовлен с использованием лазерной фотолитографии для формирования рисунка электродных шин и ионно-лучевого напыления на оригинальной установке для нанесения активного слоя (LiNbO3 толщиной ~10 нм и НК CFB-LNO толщиной ~290 нм с x≈10–25 ат.%). Подробности процесса изготовления можно найти в работе [5].
Вольт-амперные характеристики изготовленных мемристоров показали небольшие вариации c2c и d2d, пластичность с 16 различными резистивными состояниями и выносливость более 105 циклов. Используя кроссбар-массивы на основе нанокомпозитов, мы реализовали гибридную СНС, состоящую из аппаратного экстрактора признаков с одним/двумя ядрами и программного классификатора. Кроме того, мы продемонстрировали в модели, что использование исследуемых мемристоров в адаптированной архитектуре MLP-миксера приводит к высокой точности классификации, устойчивой к мемристивным вариациям и зависшим устройствам.
ДОПОЛНИТЕЛЬНАЯ ИНФОРМАЦИЯ
Вклад авторов. Все авторы подтверждают соответствие своего авторства международным критериям ICMJE (все авторы внесли существенный вклад в разработку концепции, проведение исследования и подготовку статьи, прочли и одобрили финальную версию перед публикацией).
Источник финансирования. Работа выполнена при поддержке Российского научного фонда (проект 22-19-00171). Измерения проводились на оборудовании ресурсных центров (НИЦ «Курчатовский институт»). Авторы благодарят Ю.В. Грищенко, К.Ю. Черноглазова и проф. А.В. Ситникова за изготовление образцов.
Конфликт интересов. Авторы декларируют отсутствие явных и потенциальных конфликтов интересов, связанных с публикацией настоящей статьи.
Об авторах
А. В. Емельянов
Национальный исследовательский центр «Курчатовский институт»
Автор, ответственный за переписку.
Email: emelyanov.andrey@mail.ru
Россия, Москва
А. Н. Мацукатова
Национальный исследовательский центр «Курчатовский институт»; Московский государственный университет имени М.В. Ломоносова
Email: emelyanov.andrey@mail.ru
Россия, Москва; Москва
А. И. Ильясов
Национальный исследовательский центр «Курчатовский институт»; Московский государственный университет имени М.В. Ломоносова
Email: emelyanov.andrey@mail.ru
Россия, Москва; Москва
В. А. Демин
Национальный исследовательский центр «Курчатовский институт»
Email: emelyanov.andrey@mail.ru
Россия, Москва
В. В. Рыльков
Национальный исследовательский центр «Курчатовский институт»
Email: emelyanov.andrey@mail.ru
Россия, Москва
Список литературы
- Xia Q., Yang J.J. Memristive crossbar arrays for brain-inspired computing // Nat Mater. 2019. Vol. 18, N 4. P. 309–323. Corrected and republished from: Nat Mater. 2019. Vol. 18, 5. P. 518. doi: 10.1038/s41563-019-0291-x
- Shchanikov S., Zuev A., Bordanov I., et al. Designing a bidirectional, adaptive neural interface incorporating machine learning capabilities and memristor-enhanced hardware // Chaos, Solitons and Fractals. 2021. Vol. 142. P. 110504. doi: 10.1016/j.chaos.2020.110504
- Matsukatova A.N., Prudnikov N.V., Kulagin V.A., et al. Combination of organic-based reservoir computing and spiking neuromorphic systems for a robust and efficient pattern classification // Adv Intell Syst. 2023. Vol. 5, N 6. P. 2200407. doi: 10.1002/aisy.202200407
- Matsukatova A.N., Vdovichenko A.Yu., Patsaev T.D., et al. Scalable nanocomposite parylene-based memristors: multifilamentary resistive switching and neuromorphic applications // Nano Res. 2023. Vol. 16. P. 3207–3214. doi: 10.1007/s12274-022-5027-6
- Ilyasov A.I., Nikiruy K.E., Emelyanov A.V., et al. Arrays of nanocomposite crossbar memristors for the implementation of formal and spiking neuromorphic systems // Nanotechnol Russia. 2022. Vol. 17. P. 118–125. doi: 10.1134/S2635167622010050
Дополнительные файлы
