Пороги устойчивости аттракторов сети Хопфилда

Обложка

Цитировать

Полный текст

Аннотация

Цель работы заключается в детальном изучении аттракторов сети Хопфилда и бассейнов их притяжения в зависимости от параметров системы — размера сети и числа запомненных образов. Для характеристики бассейнов притяжения аттракторов использовался метод вычисления порога устойчивости — минимального расстояния от аттрактора до границы его бассейна притяжения. Для полезных аттракторов данная величина соответствует минимальному искажению запомненного образа, после которого система не в состоянии его распознать. В результате исследования показано, что зависимость среднего порога устойчивости полезных аттракторов от числа запомненных образов может быть немонотонной, за счет чего устойчивость сети может возрастать при запоминании новых образов. Анализ порогов устойчивости позволил оценить максимальное число образов, которые может хранить сеть без фатальных ошибок в их распознавании. При этом порог устойчивости полезных аттракторов оказывается близким к минимально возможному, то есть к единице. В Заключении работы сделан вывод о том, что вычисление порогов устойчивости дает важную информацию о бассейнах притяжения аттракторов сети.

Об авторах

Игорь Александрович Соловьев

Институт прикладной физики РАН (ИПФ РАН)

603950, г. Нижний Новгород. ГСП - 120, ул. Ульянова, 46

Владимир Викторович Клиньшов

Национальный исследовательский Нижегородский государственный университет имени Н. И. Лобачевского (ННГУ)

603950 Нижний Новгород, проспект Гагарина, 23

Список литературы

  1. Hopfield JJ. Neural networks and physical systems with emergent collective computational abilities. Proc. Natl. Acad. Sci. U. S. A. 1982;79(8):2554–2558. doi: 10.1073/pnas.79.8.2554.
  2. Hopfield JJ. Neurons with graded response have collective computational properties like those of two-state neurons. Proc. Natl. Acad. Sci. U. S. A. 1984;81(10):3088–3092. doi: 10.1073/pnas. 81.10.3088.
  3. Farhat NH, Psaltis D, Prata A, Paek E. Optical implementation of the Hopfield model. Applied Optics. 1985;24(10):1469–1475. doi: 10.1364/AO.24.001469.
  4. Hoppensteadt FC, Izhikevich EM. Pattern recognition via synchronization in phase-locked loop neural networks. IEEE Transactions on Neural Networks. 2000;11(3):734–738. DOI: 10.1109/ 72.846744.
  5. Joya G, Atencia MA, Sandoval F. Hopfield neural networks for optimization: study of the different dynamics. Neurocomputing. 2002;43(1–4):219–237. doi: 10.1016/S0925-2312(01)00337-X.
  6. Wen UP, Lan KM, Shih HS. A review of Hopfield neural networks for solving mathematical programming problems. European Journal of Operational Research. 2009;198(3):675–687. doi: 10.1016/j.ejor.2008.11.002.
  7. McEliece R, Posner E, Rodemich E, Venkatesh S. The capacity of the Hopfield associative memory. IEEE Transactions on Information Theory. 1987;33(4):461–482. doi: 10.1109/TIT.1987.1057328.
  8. Storkey A. Increasing the capacity of a hopfield network without sacrificing functionality. In: Gerstner W, Germond A, Hasler M, Nicoud JD. editors. Artificial Neural Networks — ICANN’97. ICANN 1997. Vol. 1327 of Lecture Notes in Computer Science. Berlin, Heidelberg: Springer; 1997. P. 451–456. doi: 10.1007/BFb0020196.
  9. Krotov D, Hopfield JJ. Dense associative memory for pattern recognition. In: NIPS’16: Proceedings of the 30th International Conference on Neural Information Processing Systems. 5–10 December 2016, Barcelona, Spain. New York: Curran Associates Inc.; 2016. P. 1180–1188. DOI: 10.5555/ 3157096.3157228.
  10. Ramsauer H, Schafl B, Lehner J, Seidl P, Widrich M, Adler T, Gruber L, Holzleitner M, Pavlovic M, Sandve GK, Greiff V, Kreil D, Kopp M, Klambauer G, Brandstetter J, Hochreiter S. Hopfield networks is all you need [Electronic resource]. arXiv:2008.02217. arXiv Preprint; 2020. 94 p. Available from: https://arxiv.org/abs/2008.02217.
  11. Klinshov VV, Nekorkin VI, Kurths J. Stability threshold approach for complex dynamical systems. New Journal of Physics. 2016;18(1):013004. doi: 10.1088/1367-2630/18/1/013004.
  12. Menck PJ, Heitzig J, Marwan N, Kurths J. How basin stability complements the linear-stability paradigm. Nature Physics. 2013;9(2):89–92. doi: 10.1038/nphys2516.
  13. Chakraborty A, Alam M, Dey V, Chattopadhyay A, Mukhopadhyay D. Adversarial attacks and defences: A survey [Electronic resource]. arXiv:1810.00069. arXiv Preprint; 2018. 31 p. Available from: https://arxiv.org/abs/1810.00069.
  14. Amari SI, Maginu K. Statistical neurodynamics of associative memory. Neural Networks. 1988;1(1):63–73. doi: 10.1016/0893-6080(88)90022-6.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».