Modeling of the Hodgkin–Huxley neural oscillators dynamics using an artificial neural network

Cover Page

Cite item

Full Text

Abstract

The purpose of this study — to represent a detailed description of the procedure for creating and training a neural network mapping on the example of the dynamics modeling of a neural oscillator of the Hodgkin–Huxley type; to show that the neural network mappings trained for single oscillators can be used as elements of a coupled system that simulate the behavior of coupled oscillators. Methods. Numerical method is used for solving stiff systems of ordinary differential equations. Also a procedure for training neural networks based on the method of back propagation of error is employed together with the Adam optimization algorithm, that is a modified version of the gradient descent supplied with an automatic step adjustment. Results. It is shown that the neural network mappings built according to the described procedure are able to reproduce the dynamics of single neural oscillators. Moreover, without additional training, these mappings can be used as elements of a coupled system for the dynamics modeling of coupled neural oscillator systems. Conclusion. The described neural network mapping can be considered as a new universal framework for complex dynamics modeling. In contrast to models based on series expansion (power, trigonometric), neural network mapping does not require truncating of the series. Consequently, it allows modeling processes with arbitrary order of nonlinearity, hence there are reasons to believe that in some aspects it will be more effective. The approach developed in this paper based on the neural network mapping can be considered as a sort of an alternative to the traditional numerical methods of modeling of dynamics. What makes this approach topical is the current rapid development of technologies for creating fast computing equipment that supports neural network training and operation.

About the authors

Pavel Vladimirovich Kuptsov

Saratov Branch of Kotel`nikov Institute of Radiophysics and Electronics of Russian Academy of Sciences; Yuri Gagarin State Technical University of Saratov

ORCID iD: 0000-0003-2685-9828
SPIN-code: 4657-0026
Scopus Author ID: 55901658100
ResearcherId: Q-7505-2016
ul. Zelyonaya, 38, Saratov, 410019, Russia

Nataliya Vladimirovna Stankevich

National Research University "Higher School of Economics"; Saratov Branch of Kotel`nikov Institute of Radiophysics and Electronics of Russian Academy of Sciences

ORCID iD: 0000-0002-4781-0567
Scopus Author ID: 13409207300
ResearcherId: I-9346-2014
ul. Myasnitskaya 20, Moscow, 101000, Russia

References

  1. Levin E., Gewirtzman R., Inbar G. F. Neural network architecture for adaptive system modeling and control // Neural Networks. 1991. Vol. 4, no. 2. P. 185–191. doi: 10.1016/0893-6080(91)90003-N.
  2. Grieger B., Latif M. Reconstruction of the El Nino attractor with neural networks // Climate Dynamics. 1994. Vol. 10, no. 6–7. P. 267–276. doi: 10.1007/BF00228027.
  3. Zimmermann H. G., Neuneier R. Combining state space reconstruction and forecasting by neural networks // In: Bol G., Nakhaeizadeh G., Vollmer K. H. (eds) Datamining und Computational Finance. Vol. 174 of Wirtschaftswissenschaftliche Beitrage. Heidelberg: Physica, 2000. P. 259–267. doi: 10.1007/978-3-642-57656-0_13.
  4. Gilpin W., Huang Y., Forger D. B. Learning dynamics from large biological data sets: Machine learning meets systems biology // Current Opinion in Systems Biology. 2020. Vol. 22. P. 1–7. doi: 10.1016/j.coisb.2020.07.009.
  5. Колмогоров А. Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных // ДАН СССР. 1956. Т. 108, № 2. С. 179–182.
  6. Арнольд В. И. О функциях трех переменных // ДАН СССР. 1957. Т. 114, № 4. С. 679–681.
  7. Колмогоров А. Н. О представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и сложения // ДАН СССР. 1957. Т. 114, № 5. С. 953–956.
  8. Cybenko G. Approximation by superpositions of a sigmoidal function // Mathematics of Control, Signals and Systems. 1989. Vol. 2, no. 4. P. 303–314. doi: 10.1007/BF02551274.
  9. Горбань А. Н. Обобщенная аппроксимационная теорема и точное представление многочленов от нескольких переменных суперпозициями многочленов от одного переменного // Известия вузов. Математика. 1998. № 5 (432). С. 6–9.
  10. Хайкин С. Нейронные сети: полный курс. 2-е издание. М.: Издательский дом «Вильямс», 2006. 1104 с.
  11. Николенко С., Кадурин А., Архангельская Е. Глубокое обучение. СПб.: Питер, 2018. 480 с.
  12. Cook S. CUDA Programming: A Developer’s Guide to Parallel Computing with GPUs. Morgan Kaufmann, 2012. 592 p.
  13. Jouppi N. P., Young C., Patil N., Patterson D., Agrawal G., Bajwa R., Bates S., Bhatia S., Boden N., Borchers A., Boyle R., Cantin P.-L., Chao C., Clark C., Coriell J., Daley M., Dau M., Dean J., Gelb B., Ghaemmaghami T. V., Gottipati R., Gulland W., Hagmann R., Ho C. R., Hogberg D., Hu J., Hundt R., Hurt D., Ibarz J., Jaffey A., Jaworski A., Kaplan A., Khaitan H., Killebrew D., Koch A., Kumar N., Lacy S., Laudon J., Law J., Le D., Leary C., Liu Z., Lucke K., Lundin A., MacKean G., Maggiore A., Mahony M., Miller K., Nagarajan R., Narayanaswami R., Ni R., Nix K., Norrie T., Omernick M., Penukonda N., Phelps A., Ross J., Ross M., Salek A., Samadiani E., Severn C., Sizikov G., Snelham M., Souter J., Steinberg D., Swing A., Tan M., Thorson G., Tian B., Toma H., Tuttle E., Vasudevan V., Walter R., Wang W., Wilcox E., Yoon D. H. In-datacenter performance analysis of a Tensor Processing Unit // ACM SIGARCH Computer Architecture News. 2017. Vol. 45, no. 2. P. 1–12. doi: 10.1145/3140659.3080246.
  14. Welser J., Pitera J. W., Goldberg C. Future computing hardware for AI // In: 2018 IEEE International Electron Devices Meeting (IEDM). 1-5 December 2018, San Francisco, CA, USA. New York: IEEE, 2018. P. 131–136. doi: 10.1109/IEDM.2018.8614482.
  15. Karras K., Pallis E., Mastorakis G., Nikoloudakis Y., Batalla J. M., Mavromoustakis C. X., Markakis E. A hardware acceleration platform for AI-based inference at the edge // Circuits, Systems, and Signal Processing. 2020. Vol. 39, no. 2. P. 1059–1070. doi: 10.1007/s00034-019- 01226-7.
  16. Kuptsov P. V., Kuptsova A. V., Stankevich N. V. Artificial neural network as a universal model of nonlinear dynamical systems // Russian Journal of Nonlinear Dynamics. 2021. Vol. 17, no. 1. P. 5–21. doi: 10.20537/nd210102.
  17. Kuptsov P. V., Stankevich N. V., Bagautdinova E. R. Discovering dynamical features of Hodgkin– Huxley-type model of physiological neuron using artificial neural network // Chaos, Solitons & Fractals. 2023. Vol. 167. P. 113027. doi: 10.1016/j.chaos.2022.113027.
  18. Sherman A., Rinzel J., Keizer J. Emergence of organized bursting in clusters of pancreatic beta-cells by channel sharing // Biophysical Journal. 1988. Vol. 54, no. 3. P. 411–425. doi: 10.1016/S0006- 3495(88)82975-8.
  19. Stankevich N., Mosekilde E. Coexistence between silent and bursting states in a biophysical Hodgkin-Huxley-type of model // Chaos. 2017. Vol. 27, no. 12. P. 123101. doi: 10.1063/1.4986401.
  20. Malashchenko T., Shilnikov A., Cymbalyuk G. Six types of multistability in a neuronal model based on slow calcium current // PLoS ONE. 2011. Vol. 6, no. 7. P. e21782. doi: 10.1371/journal.pone. 0021782.
  21. Rozhnova M. A., Pankratova E. V., Stasenko S. V., Kazantsev V. B. Bifurcation analysis of multistability and oscillation emergence in a model of brain extracellular matrix // Chaos, Solitons & Fractals. 2021. Vol. 151. P. 111253. doi: 10.1016/j.chaos.2021.111253.
  22. Pankratova E. V., Sinitsina M. S., Gordleeva S., Kazantsev V. B. Bistability and chaos emergence in spontaneous dynamics of astrocytic calcium concentration // Mathematics. 2022. Vol. 10, no. 8. P. 1337. doi: 10.3390/math10081337.
  23. Press W. H., Teukolsky S. A., Vetterling W. T., Flannery B. P. Numerical Recipes: The Art of Scientific Computing. 3rd Edition. New York: Cambridge University Press, 2007. 1256 p.
  24. Shilnikov A., Cymbalyuk G. Transition between tonic spiking and bursting in a neuron model via the blue-sky catastrophe // Phys. Rev. Lett. 2005. Vol. 94, no. 4. P. 048101. doi: 10.1103/PhysRevLett. 94.048101.
  25. Markovic D., Mizrahi A., Querlioz D., Grollier J. Physics for neuromorphic computing // Nature Reviews Physics. 2020. Vol. 2. P. 499–510. doi: 10.1038/s42254-020-0208-2.
  26. Stankevich N., Koseska A. Cooperative maintenance of cellular identity in systems with intercellular communication defects // Chaos. 2020. Vol. 30, no. 1. P. 013144. doi: 10.1063/1.5127107.
  27. Kingma D. P., Ba J. Adam: A method for stochastic optimization // arXiv:1412.6980. arXiv Preprint, 2014. doi: 10.48550/arXiv.1412.6980.

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».