Известия высших учебных заведений

Прикладная нелинейная динамика

ISSN 0869-6632 (Print)
ISSN 2542-1905 (Online)


Для цитирования:

Купцов П. В., Станкевич Н. В. Моделирование динамики нейронных осцилляторов типа Ходжкина–Хаксли при помощи нейронной сети // Известия вузов. ПНД. 2024. Т. 32, вып. 1. С. 72-95. DOI: 10.18500/0869-6632-003079, EDN: VCXHMY

Статья опубликована на условиях лицензии Creative Commons Attribution 4.0 International (CC-BY 4.0).
Полный текст в формате PDF(Ru):
Язык публикации: 
русский
Тип статьи: 
Научная статья
УДК: 
537.86
EDN: 

Моделирование динамики нейронных осцилляторов типа Ходжкина–Хаксли при помощи нейронной сети

Авторы: 
Купцов Павел Владимирович, Саратовский филиал Института радиотехники и электроники имени В.А. Котельникова РАН (СФ ИРЭ)
Станкевич Наталия Владимировна, Высшая школа экономики
Аннотация: 

Цель настоящего исследования — представить подробное описание процедуры создания и обучения нейросетевого отображения на примере моделирования динамики нейронного осциллятора типа Ходжкина–Хаксли; показать, что нейросетевые отображения, обученные для одиночного осциллятора, можно использовать в качестве элементов связанной системы, моделирующей поведение связанных осцилляторов.

Методы. В работе используется численный метод решения жёстких систем обыкновенных дифференциальных уравнений. Также применяется процедура обучения нейронных сетей на основе метода обратного распространения ошибки и алгоритма оптимизации Adam, который представляет собой модифицированный алгоритм градиентного спуска с автоматической подстройкой шага.

Результаты. Показано, что построенные согласно описанной процедуре нейросетевые отображения с высокой точностью воспроизводят динамику одиночных нейронных осцилляторов. Кроме того, без дополнительного обучения эти отображения можно использовать как элементы связанной системы для моделирования динамики связанных систем нейронных осцилляторов.

Заключение. Описанное нейросетевое отображение может рассматриваться как новая универсальная конструкция для моделирования сложной динамики. В отличие от моделей на основе разложения в ряды (степенные, тригонометрические), нейросетевое отображение не требует отбрасывания старших членов. Следовательно, оно позволяет моделировать процессы с произвольным порядком нелинейности, и по этой причине есть основания полагать, что в некоторых аспектах оно окажется более эффективным. Развитый в работе подход на основе использования нейросетевого отображения можно рассматривать в некотором смысле как альтернативу традиционным численным методам моделирования динамики. Актуальным этот подход делает бурное развитие в настоящее время технологий создания быстродействующего вычислительного оборудования, поддерживающего обучение и работу нейронных сетей.

Благодарности: 
Исследование математических моделей было проведено в рамках проекта «Зеркальные лаборатории» НИУ ВШЭ (разделы 1, 2). Разработка и исследование нейросетевого отображения (разделы 3–5) выполнены при поддержке Российского научного фонда, проект 20-71-10048
Список источников: 
  1. Levin E., Gewirtzman R., Inbar G. F. Neural network architecture for adaptive system modeling and control // Neural Networks. 1991. Vol. 4, no. 2. P. 185–191. DOI: 10.1016/0893-6080(91)90003-N.
  2. Grieger B., Latif M. Reconstruction of the El Nino attractor with neural networks // Climate Dynamics. 1994. Vol. 10, no. 6–7. P. 267–276. DOI: 10.1007/BF00228027.
  3. Zimmermann H. G., Neuneier R. Combining state space reconstruction and forecasting by neural networks // In: Bol G., Nakhaeizadeh G., Vollmer K. H. (eds) Datamining und Computational Finance. Vol. 174 of Wirtschaftswissenschaftliche Beitrage. Heidelberg: Physica, 2000. P. 259–267. DOI: 10.1007/978-3-642-57656-0_13.
  4. Gilpin W., Huang Y., Forger D. B. Learning dynamics from large biological data sets: Machine learning meets systems biology // Current Opinion in Systems Biology. 2020. Vol. 22. P. 1–7. DOI: 10.1016/j.coisb.2020.07.009.
  5. Колмогоров А. Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных // ДАН СССР. 1956. Т. 108, № 2. С. 179–182.
  6. Арнольд В. И. О функциях трех переменных // ДАН СССР. 1957. Т. 114, № 4. С. 679–681.
  7. Колмогоров А. Н. О представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и сложения // ДАН СССР. 1957. Т. 114, № 5. С. 953–956.
  8. Cybenko G. Approximation by superpositions of a sigmoidal function // Mathematics of Control, Signals and Systems. 1989. Vol. 2, no. 4. P. 303–314. DOI: 10.1007/BF02551274.
  9. Горбань А. Н. Обобщенная аппроксимационная теорема и точное представление многочленов от нескольких переменных суперпозициями многочленов от одного переменного // Известия вузов. Математика. 1998. № 5 (432). С. 6–9.
  10. Хайкин С. Нейронные сети: полный курс. 2-е издание. М.: Издательский дом «Вильямс», 2006. 1104 с.
  11. Николенко С., Кадурин А., Архангельская Е. Глубокое обучение. СПб.: Питер, 2018. 480 с.
  12. Cook S. CUDA Programming: A Developer’s Guide to Parallel Computing with GPUs. Morgan Kaufmann, 2012. 592 p.
  13. Jouppi N. P., Young C., Patil N., Patterson D., Agrawal G., Bajwa R., Bates S., Bhatia S., Boden N., Borchers A., Boyle R., Cantin P.-L., Chao C., Clark C., Coriell J., Daley M., Dau M., Dean J., Gelb B., Ghaemmaghami T. V., Gottipati R., Gulland W., Hagmann R., Ho C. R., Hogberg D., Hu J., Hundt R., Hurt D., Ibarz J., Jaffey A., Jaworski A., Kaplan A., Khaitan H., Killebrew D., Koch A., Kumar N., Lacy S., Laudon J., Law J., Le D., Leary C., Liu Z., Lucke K., Lundin A., MacKean G., Maggiore A., Mahony M., Miller K., Nagarajan R., Narayanaswami R., Ni R., Nix K., Norrie T., Omernick M., Penukonda N., Phelps A., Ross J., Ross M., Salek A., Samadiani E., Severn C., Sizikov G., Snelham M., Souter J., Steinberg D., Swing A., Tan M., Thorson G., Tian B., Toma H., Tuttle E., Vasudevan V., Walter R., Wang W., Wilcox E., Yoon D. H. In-datacenter performance analysis of a Tensor Processing Unit // ACM SIGARCH Computer Architecture News. 2017. Vol. 45, no. 2. P. 1–12. DOI: 10.1145/3140659.3080246.
  14. Welser J., Pitera J. W., Goldberg C. Future computing hardware for AI // In: 2018 IEEE International Electron Devices Meeting (IEDM). 1-5 December 2018, San Francisco, CA, USA. New York: IEEE, 2018. P. 131–136. DOI: 10.1109/IEDM.2018.8614482.
  15. Karras K., Pallis E., Mastorakis G., Nikoloudakis Y., Batalla J. M., Mavromoustakis C. X., Markakis E. A hardware acceleration platform for AI-based inference at the edge // Circuits, Systems, and Signal Processing. 2020. Vol. 39, no. 2. P. 1059–1070. DOI: 10.1007/s00034-019- 01226-7.
  16. Kuptsov P. V., Kuptsova A. V., Stankevich N. V. Artificial neural network as a universal model of nonlinear dynamical systems // Russian Journal of Nonlinear Dynamics. 2021. Vol. 17, no. 1. P. 5–21. DOI: 10.20537/nd210102.
  17. Kuptsov P. V., Stankevich N. V., Bagautdinova E. R. Discovering dynamical features of Hodgkin– Huxley-type model of physiological neuron using artificial neural network // Chaos, Solitons & Fractals. 2023. Vol. 167. P. 113027. DOI: 10.1016/j.chaos.2022.113027.
  18. Sherman A., Rinzel J., Keizer J. Emergence of organized bursting in clusters of pancreatic beta-cells by channel sharing // Biophysical Journal. 1988. Vol. 54, no. 3. P. 411–425. DOI: 10.1016/S0006- 3495(88)82975-8.
  19. Stankevich N., Mosekilde E. Coexistence between silent and bursting states in a biophysical Hodgkin-Huxley-type of model // Chaos. 2017. Vol. 27, no. 12. P. 123101. DOI: 10.1063/1.4986401.
  20. Malashchenko T., Shilnikov A., Cymbalyuk G. Six types of multistability in a neuronal model based on slow calcium current // PLoS ONE. 2011. Vol. 6, no. 7. P. e21782. DOI: 10.1371/journal.pone. 0021782.
  21. Rozhnova M. A., Pankratova E. V., Stasenko S. V., Kazantsev V. B. Bifurcation analysis of multistability and oscillation emergence in a model of brain extracellular matrix // Chaos, Solitons & Fractals. 2021. Vol. 151. P. 111253. DOI: 10.1016/j.chaos.2021.111253.
  22. Pankratova E. V., Sinitsina M. S., Gordleeva S., Kazantsev V. B. Bistability and chaos emergence in spontaneous dynamics of astrocytic calcium concentration // Mathematics. 2022. Vol. 10, no. 8. P. 1337. DOI: 10.3390/math10081337.
  23. Press W. H., Teukolsky S. A., Vetterling W. T., Flannery B. P. Numerical Recipes: The Art of Scientific Computing. 3rd Edition. New York: Cambridge University Press, 2007. 1256 p.
  24. Shilnikov A., Cymbalyuk G. Transition between tonic spiking and bursting in a neuron model via the blue-sky catastrophe // Phys. Rev. Lett. 2005. Vol. 94, no. 4. P. 048101. DOI: 10.1103/PhysRevLett. 94.048101.
  25. Markovic D., Mizrahi A., Querlioz D., Grollier J. Physics for neuromorphic computing // Nature Reviews Physics. 2020. Vol. 2. P. 499–510. DOI: 10.1038/s42254-020-0208-2.
  26. Stankevich N., Koseska A. Cooperative maintenance of cellular identity in systems with intercellular communication defects // Chaos. 2020. Vol. 30, no. 1. P. 013144. DOI: 10.1063/1.5127107.
  27. Kingma D. P., Ba J. Adam: A method for stochastic optimization // arXiv:1412.6980. arXiv Preprint, 2014. DOI: 10.48550/arXiv.1412.6980.
Поступила в редакцию: 
27.04.2023
Принята к публикации: 
08.09.2023
Опубликована онлайн: 
10.12.2023
Опубликована: 
31.01.2024