Известия высших учебных заведений

Прикладная нелинейная динамика

ISSN 0869-6632 (Print)
ISSN 2542-1905 (Online)


Для цитирования:

Пугавко М. М., Масленников О. В., Некоркин В. И. Динамика сети дискретных модельных нейронов при контролируемом обучении системы резервуарных вычислений // Известия вузов. ПНД. 2020. Т. 28, вып. 1. С. 77-89. DOI: 10.18500/0869-6632-2020-28-1-77-89

Статья опубликована на условиях лицензии Creative Commons Attribution 4.0 International (CC-BY 4.0).
Полный текст в формате PDF(Ru):
(загрузок: 339)
Язык публикации: 
русский
Тип статьи: 
Научная статья
УДК: 
530.182

Динамика сети дискретных модельных нейронов при контролируемом обучении системы резервуарных вычислений

Авторы: 
Пугавко Мечислав Мечиславович, Институт прикладной физики РАН (ИПФ РАН)
Масленников Олег Владимирович, Институт прикладной физики РАН (ИПФ РАН)
Некоркин Владимир Исаакович, Институт прикладной физики РАН (ИПФ РАН)
Аннотация: 

Цель настоящей работы состоит в построении системы резервуарных вычислений, которая содержит сеть модельных нейронов с дискретным временем, и изучении характеристик системы при её обучении автономно генерировать гармонический целевой сигнал. Методы работы включают в себя подходы нелинейной динамики (анализ фазового пространства в зависимости от параметров), машинного обучения (резервуарные вычисления, контролируемая минимизация ошибки) и компьютерного моделирования (реализация численного алгоритма, построение характеристик и диаграмм). Результаты. Построена система резервуарных вычислений на основе сети связанных дискретных модельных нейронов, показана возможность её контролируемого обучения генерации целевого сигнала с помощью метода контролируемой минимизации ошибки FORCE. Установлено, что с ростом размера сети среднеквадратичная ошибка обучения снижается. Исследованы динамические режимы, возникающие на уровне индивидуальной активности внутрирезервуарных нейронов на различных стадиях обучения. Показано, что в процессе обучения сеть-резервуар переходит из состояния пространственно-временного беспорядка в состояние, когда в сети-резервуаре существуют регулярные кластеры спайковой активности. Найдены оптимальные значения коэффициентов связи и параметров собственной динамики нейронов, соответствующие минимальной ошибке обучения. Заключение. В работе предложена новая система резервуарных вычислений, базовой единицей которой является дискретный модельный нейрон Курбажа–Некоркина. Преимущество сети, основанной на такой модели спайкового нейрона, заключается в том, что модель задается в виде точечного отображения, следовательно, нет необходимости производить операцию интегрирования. Предложенная система показала свою эффективность при обучении автономной генерации гармонической функции, а также для ряда других целевых функций.

Список источников: 
  1. Schmidhuber J. Deep learning in neural networks: An overview // Neural Networks. 2015. Vol. 61. P. 85–117.
  2. LeCun Y., Bengio Y., Hinton G. Deep learning // Nature. 2015. Vol. 521, № 7553. P. 436.
  3. Sporns O. Structure and function of complex brain networks // Dialogues in Clinical Neuroscience. 2013. Vol. 15, № 3. P. 247.
  4. Дмитричев А.С., Касаткин Д.В., Клиньшов В.В., Кириллов С.Ю., Масленников О.В., Щапин Д.С., Некоркин В.И. Нелинейные динамические модели нейронов // Известия вузов. ПНД. 2018. Т. 26, № 4. С. 5–58.
  5. Marblestone A.H., Wayne G., Kording K.P. Toward an integration of deep learning and neuroscience // Frontiers in Computational Neuroscience. 2016. Vol. 10. P. 94.
  6. Laje R., Buonomano D.V. Robust timing and motor patterns by taming chaos in recurrent neural networks // Nature Neuroscience. 2013. Vol. 16, №7. P. 925.
  7. Barak O. Recurrent neural networks as versatile tools of neuroscience research // Current Opinion in Neurobiology. 2017. Vol. 46. P. 1–6.
  8. Kim C.M., Chow C.C. Learning recurrent dynamics in spiking networks // eLife. 2018. Vol. 7. e37124.
  9. Abbott L.F., DePasquale B., Memmesheimer R.-M. Building functional networks of spiking model neurons // Nature Neuroscience. 2016. Vol. 19, № 3. P. 350.
  10. Nicola W., Clopath C. Supervised learning in spiking neural networks with FORCE training // Nature Communications. 2017. Vol. 8, № 1. P. 2208.
  11. Lukosevicius M., Jaeger H. Reservoir computing approaches to recurrent neural network training // Computer Science Review. 2009. Vol. 3, № 3. P. 127–149.
  12. Enel P., Procyk E., Quilodran R., Dominey P.F. Reservoir computing properties of neural dynamics in prefrontal cortex // PLoS Computational Biology. 2016. Vol. 12, № 6. e1004967.
  13. Schrauwen B., Verstraeten D., Van Campenhout J. An overview of reservoir computing: Theory, applications and implementations // Proceedings of the 15th European Symposium on Artificial Neural Networks. 2007. P. 471–482.
  14. Sussillo D., Abbott L.F. Generating coherent patterns of activity from chaotic neural networks // Neuron. 2009. Vol. 63, № 4. P. 544–557.
  15. Sussillo D., Barak O. Opening the black box: Low-dimensional dynamics in high-dimensional recurrent neural networks // Neural Computation. 2013. Vol. 25, № 3. P. 626–649.
  16. Sussillo D. Neural circuits as computational dynamical systems // Current Opinion in Neurobiology. 2014. Vol. 25. P. 156–163.
  17. Maslennikov O.V., Nekorkin V.I. Collective dynamics of rate neurons for supervised learning in a reservoir computing system // Chaos. 2019. Vol. 29, no. 10. P. 103126.
  18. Некоркин В.И., Вдовин Л.В. Дискретная модель нейронной активности // Известия вузов. ПНД. 2007. Т. 15, № 5. С. 36–60.
  19. Courbage M., Nekorkin V.I., Vdovin L.V. Chaotic oscillations in a map-based model of neural activity // Chaos: An Interdisciplinary Journal of Nonlinear Science. 2007. Vol. 17, no. 4. 043109.
  20. Maslennikov O.V., Nekorkin V.I. Evolving dynamical networks with transient cluster activity // Communications in Nonlinear Science and Numerical Simulation. 2015. V. 23, no. 1–3. P. 10–16.
  21. Maslennikov O.V., Nekorkin V.I. Transient sequences in a hypernetwork generated by an adaptive network of spiking neurons // Philosophical Transactions of the Royal Society A. 2017. Vol. 375, no. 2096. P. 20160288.
  22. Масленников О.В., Некоркин В.И. Адаптивные динамические сети // Успехи физических наук. 2017. Vol. 187, № 7. P. 745–756.
  23. Maslennikov O.V., Nekorkin V.I., Kurths J. Basin stability for burst synchronization in smallworld networks of chaotic slow-fast oscillators // Physical Review E. 2015. Vol. 92, no. 4. 042803.
  24. Courbage M., Maslennikov O.V., Nekorkin V.I. Synchronization in time-discrete model of two electrically coupled spike-bursting neurons // Chaos, Solitons & Fractals. 2012. Vol. 45, no. 5. P. 645–659.
  25. Maslennikov O.V., Nekorkin V.I. Modular networks with delayed coupling: Synchronization and frequency control // Physical Review E. 2014. Vol. 90, no. 1. 012901.
  26. Maslennikov O.V., Nekorkin V.I.. Discrete model of the olivo-cerebellar system: Structure and dynamics // Radiophysics and Quantum Electronics. 2012. Vol. 55, no. 3. P. 198–214.
  27. Maslennikov O.V., Kasatkin D.V., Rulkov N.F., Nekorkin V.I. Emergence of antiphase bursting in two populations of randomly spiking elements // Physical Review E. 2013. Vol. 88, no. 4. 042907.
  28. Franovic I., Maslennikov O.V., Bacic I., Nekorkin V.I. Mean-field dynamics of a population of stochastic map neurons // Physical Review E. 2017. Vol. 96, no. 1. 012226.
Поступила в редакцию: 
23.09.2019
Принята к публикации: 
05.11.2019
Опубликована: 
26.02.2020