Artificial neural network with dynamic synapse model

Мұқаба

Дәйексөз келтіру

Толық мәтін

Аннотация

The purpose of this study is to develop and investigate a new short-term memory model based on an artificial neural network without short-term memory effect and a dynamic short-term memory model with astrocytic modulation. Methods. The artificial neural network is represented by a classical convolutional neural network that does not have short-term memory. Short-term memory is modeled in our hybrid model using the Tsodyks-Markram model, which is a system of third-order ordinary differential equations. Astrocyte dynamics is modeled by a mean field model of gliotransmitter concentration. Results. A new hybrid short-term memory model was developed and investigated using a convolutional neural network and a dynamic synapse model for an image recognition problem. Graphs of dependence of accuracy and error on the number of epochs for the presented model are given. The sensitivity metric of image recognition d-prime has been introduced. The developed model was compared with the recurrent neural network and the configuration of the new model without taking into account astrocytic modulation. A comparative table has been constructed showing the best recognition accuracy for the introduced model. Conclusion. As a result of the study, the possibility of combining an artificial neural network and a dynamic model that expands its functionality is shown. Comparison of the proposed model with short-term memory using a convolutional neural network and a dynamic synapse model with astrocytic modulation with a recurrent network showed the effectiveness of the proposed approach in simulating short-term memory.

Авторлар туралы

Ilya Zimin

Lobachevsky State University of Nizhny Novgorod

603950 Nizhny Novgorod, Gagarin Avenue, 23

Viktor Kazantsev

Institute of Applied Physics of the Russian Academy of Sciences

ORCID iD: 0000-0002-2881-6648
ResearcherId: L-1424-2013
ul. Ul'yanova, 46, Nizhny Novgorod , 603950, Russia

Sergey Stasenko

Lobachevsky State University of Nizhny Novgorod

ORCID iD: 0000-0002-3032-5469
Scopus Author ID: 55327776400
ResearcherId: J-4825-2013
603950 Nizhny Novgorod, Gagarin Avenue, 23

Әдебиет тізімі

  1. Baddeley A. Working memory // Current Biology. 2010. Vol. 20, no. 4. P. R136–R140. doi: 10.1016/j.cub.2009.12.014.
  2. Miller G. A. The magical number seven, plus or minus two: Some limits on our capacity for processing information // Psychological Review. 1956. Vol. 63, no. 2. P. 81–97. DOI: 10.1037/ h0043158.
  3. Cowan N. The magical number 4 in short-term memory: A reconsideration of mental storage capacity // Behavioral and Brain Sciences. 2001. Vol. 24, no. 1. P. 87–114. doi: 10.1017/S0140525 X01003922.
  4. Wager T. D., Smith E. E. Neuroimaging studies of working memory: a meta-analysis // Cognitive, Affective, & Behavioral Neuroscience. 2003. Vol. 3, no. 4. P. 255–274. doi: 10.3758/cabn.3.4.255.
  5. Engle R. W. Working memory capacity as executive attention // Current Directions in Psychological Science. 2002. Vol. 11, no. 1. P. 19–23.
  6. Park D. C., Polk T. A., Mikels J. A., Taylor S. F., Marshuetz C. Cerebral aging: integration of brain and behavioral models of cognitive function // Dialogues in Clinical Neuroscience. 2022. Vol. 3, no. 3. P. 151–165. doi: 10.31887/DCNS.2001.3.3/dcpark.
  7. Postle B. R. Working memory as an emergent property of the mind and brain // Neuroscience. 2006. Vol. 139, no. 1. P. 23–38. doi: 10.1016/j.neuroscience.2005.06.005.
  8. Luck S. J., Vogel E. K. The capacity of visual working memory for features and conjunctions // Nature. 1997. Vol. 390, no. 6657. P. 279–281. doi: 10.1038/36846.
  9. Hollingworth A., Henderson J. M. Accurate visual memory for previously attended objects in natural scenes // Journal of Experimental Psychology: Human Perception and Performance. 2002. Vol. 28, no. 1. P. 113–136. doi: 10.1037/0096-1523.28.1.113.
  10. Vogel E. K., Woodman G. F., Luck S. J. Pushing around the locus of selection: Evidence for the flexible-selection hypothesis // Journal of Cognitive Neuroscience. 2005. Vol. 17, no. 12. P. 1907–1922. doi: 10.1162/089892905775008599.
  11. Perea G., Araque A. Astrocytes potentiate transmitter release at single hippocampal synapses // Science. 2007. Vol. 317, no. 5841. P. 1083–1086. doi: 10.1126/science.1144640.
  12. Suzuki A., Stern S. A., Bozdagi O., Huntley G. W., Walker R. H., Magistretti P. J., Alberini C. M. Astrocyte-neuron lactate transport is required for long-term memory formation // Cell. 2011. Vol. 144, no. 5. P. 810–823. doi: 10.1016/j.cell.2011.02.018.
  13. Ango F., Wu C., Van der Want J. J., Wu P., Schachner M., Huang J. Bergmann glia and the recognition molecule CHL1 organize GABAergic axons and direct innervation of Purkinje cell dendrites // PLoS Biology. 2008. Vol. 6, no. 4. P. e103. doi: 10.1371/journal.pbio.0060103.
  14. Hu B., Garrett M. E., Groblewski P. A., Ollerenshaw D. R., Shang J., Roll K., Manavi S., Koch C., Olsen S. R., Mihalas S. Adaptation supports short-term memory in a visual change detection task // PLoS Computational Biology. 2021.Vol. 17, no. 9. P. e1009246. doi: 10.1371/journal.pcbi.1009246.
  15. Garrett M., Manavi S., Roll K., Ollerenshaw D. R., Groblewski P. A., Ponvert N. D., Kiggins J. T., Casal L., Mace K., Williford A., Leon A., Jia X., Ledochowitsch P., Buice M. A., Wakeman W.,Mihalas S., Olsen S. R. Experience shapes activity dynamics and stimulus coding of VIP inhibitory cells // eLife. 2020. Vol. 9. P. e50340. doi: 10.7554/eLife.50340.
  16. Stasenko S. V., Kazantsev V. B. Dynamic image representation in a spiking neural network supplied by astrocytes // Mathematics. 2023. Vol. 11, no. 3. P. 561. doi: 10.3390/math11030561.
  17. Stasenko S., Kazantsev V. Astrocytes enhance image representation encoded in spiking neural network // In: Kryzhanovsky B., Dunin-Barkowski W., Redko V., Tiumentsev Y. (eds) Advances in Neural Computation, Machine Learning, and Cognitive Research VI. NEUROINFORMATICS 2022. Vol. 1064 of Studies in Computational Intelligence. Cham: Springer, 2023. P. 200–206. doi: 10.1007/978-3-031-19032-2_20.
  18. Лазаревич И. А., Стасенко С. В., Казанцев В. Б. Синаптическая мультистабильность и сетевая синхронизация, индуцированные нейрон-глиальным взаимодействием в мозге // Письма в ЖЭТФ. 2017. Т. 105, № 3. С. 198–201. doi: 10.7868/S0370274X17030134.
  19. Stasenko S. V., Lazarevich I. A., Kazantsev V. B. Quasi-synchronous neuronal activity of the network induced by astrocytes // Procedia Computer Science. 2020. Vol. 169. P. 704–709. doi: 10.1016/j.procs.2020.02.175.
  20. Barabash N., Levanova T., Stasenko S. STSP model with neuron — glial interaction produced bursting activity // In: 2021 Third International Conference Neurotechnologies and Neurointerfaces (CNN). 13–15 September 2021, Kaliningrad, Russian Federation. IEEE, 2021. P. 12–15. doi: 10.1109/CNN53494.2021.9580314.
  21. Stasenko S., Kazantsev V. 3D model of bursting activity generation // In: 2022 Fourth International Conference Neurotechnologies and Neurointerfaces (CNN). 14–16 September 2022, Kaliningrad, Russian Federation. IEEE, 2022. P. 176–179. doi: 10.1109/CNN56452.2022.9912507.
  22. Barabash N., Levanova T., Stasenko S. Rhythmogenesis in the mean field model of the neuron–glial network // Eur. Phys. J. Spec. Top. 2023. Vol. 232, no. 5. P. 529–534. doi: 10.1140/epjs/s11734- 023-00778-9.
  23. Olenin S. M., Levanova T. A., Stasenko S. V. Dynamics in the reduced mean-field model of neuron– glial interaction // Mathematics. 2023. Vol. 11, no. 9. P. 2143. doi: 10.3390/math11092143.
  24. Tsodyks M., Pawelzik K., Markram H. Neural networks with dynamic synapses // Neural Computation. 1998. Vol. 10, no. 4. P. 821–835. doi: 10.1162/089976698300017502.
  25. Krizhevsky A. Learning Multiple Layers of Features from Tiny Images. Technical Report TR-2009. Toronto: University of Toronto, 2009. 60 p.
  26. Paszke A., Gross S., Massa F., Lerer A., Bradbury J., Chanan G., Killeen T., Lin Z., Gimelshein N., Antiga L., Desmaison A., Kopf A., Yang E., DeVito Z., Raison M., Tejani A., Chilamkurthy S., Steiner B., Fang L., Bai J., Chintala S. PyTorch: An imperative style, high-performance deep learning library // In: NIPS’19: Proceedings of the 33rd International Conference on Neural Information Processing Systems. No. 721. Vancouver, Canada: NeurIPS, 2019. P. 8026–8037.

Қосымша файлдар

Қосымша файлдар
Әрекет
1. JATS XML
Жүктеу

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».