Для цитирования:
Пугавко М. М., Масленников О. В., Некоркин В. И. Динамика сети дискретных модельных нейронов при контролируемом обучении системы резервуарных вычислений // Известия вузов. ПНД. 2020. Т. 28, вып. 1. С. 77-89. DOI: 10.18500/0869-6632-2020-28-1-77-89
Динамика сети дискретных модельных нейронов при контролируемом обучении системы резервуарных вычислений
Цель настоящей работы состоит в построении системы резервуарных вычислений, которая содержит сеть модельных нейронов с дискретным временем, и изучении характеристик системы при её обучении автономно генерировать гармонический целевой сигнал. Методы работы включают в себя подходы нелинейной динамики (анализ фазового пространства в зависимости от параметров), машинного обучения (резервуарные вычисления, контролируемая минимизация ошибки) и компьютерного моделирования (реализация численного алгоритма, построение характеристик и диаграмм). Результаты. Построена система резервуарных вычислений на основе сети связанных дискретных модельных нейронов, показана возможность её контролируемого обучения генерации целевого сигнала с помощью метода контролируемой минимизации ошибки FORCE. Установлено, что с ростом размера сети среднеквадратичная ошибка обучения снижается. Исследованы динамические режимы, возникающие на уровне индивидуальной активности внутрирезервуарных нейронов на различных стадиях обучения. Показано, что в процессе обучения сеть-резервуар переходит из состояния пространственно-временного беспорядка в состояние, когда в сети-резервуаре существуют регулярные кластеры спайковой активности. Найдены оптимальные значения коэффициентов связи и параметров собственной динамики нейронов, соответствующие минимальной ошибке обучения. Заключение. В работе предложена новая система резервуарных вычислений, базовой единицей которой является дискретный модельный нейрон Курбажа–Некоркина. Преимущество сети, основанной на такой модели спайкового нейрона, заключается в том, что модель задается в виде точечного отображения, следовательно, нет необходимости производить операцию интегрирования. Предложенная система показала свою эффективность при обучении автономной генерации гармонической функции, а также для ряда других целевых функций.
- Schmidhuber J. Deep learning in neural networks: An overview // Neural Networks. 2015. Vol. 61. P. 85–117.
- LeCun Y., Bengio Y., Hinton G. Deep learning // Nature. 2015. Vol. 521, № 7553. P. 436.
- Sporns O. Structure and function of complex brain networks // Dialogues in Clinical Neuroscience. 2013. Vol. 15, № 3. P. 247.
- Дмитричев А.С., Касаткин Д.В., Клиньшов В.В., Кириллов С.Ю., Масленников О.В., Щапин Д.С., Некоркин В.И. Нелинейные динамические модели нейронов // Известия вузов. ПНД. 2018. Т. 26, № 4. С. 5–58.
- Marblestone A.H., Wayne G., Kording K.P. Toward an integration of deep learning and neuroscience // Frontiers in Computational Neuroscience. 2016. Vol. 10. P. 94.
- Laje R., Buonomano D.V. Robust timing and motor patterns by taming chaos in recurrent neural networks // Nature Neuroscience. 2013. Vol. 16, №7. P. 925.
- Barak O. Recurrent neural networks as versatile tools of neuroscience research // Current Opinion in Neurobiology. 2017. Vol. 46. P. 1–6.
- Kim C.M., Chow C.C. Learning recurrent dynamics in spiking networks // eLife. 2018. Vol. 7. e37124.
- Abbott L.F., DePasquale B., Memmesheimer R.-M. Building functional networks of spiking model neurons // Nature Neuroscience. 2016. Vol. 19, № 3. P. 350.
- Nicola W., Clopath C. Supervised learning in spiking neural networks with FORCE training // Nature Communications. 2017. Vol. 8, № 1. P. 2208.
- Lukosevicius M., Jaeger H. Reservoir computing approaches to recurrent neural network training // Computer Science Review. 2009. Vol. 3, № 3. P. 127–149.
- Enel P., Procyk E., Quilodran R., Dominey P.F. Reservoir computing properties of neural dynamics in prefrontal cortex // PLoS Computational Biology. 2016. Vol. 12, № 6. e1004967.
- Schrauwen B., Verstraeten D., Van Campenhout J. An overview of reservoir computing: Theory, applications and implementations // Proceedings of the 15th European Symposium on Artificial Neural Networks. 2007. P. 471–482.
- Sussillo D., Abbott L.F. Generating coherent patterns of activity from chaotic neural networks // Neuron. 2009. Vol. 63, № 4. P. 544–557.
- Sussillo D., Barak O. Opening the black box: Low-dimensional dynamics in high-dimensional recurrent neural networks // Neural Computation. 2013. Vol. 25, № 3. P. 626–649.
- Sussillo D. Neural circuits as computational dynamical systems // Current Opinion in Neurobiology. 2014. Vol. 25. P. 156–163.
- Maslennikov O.V., Nekorkin V.I. Collective dynamics of rate neurons for supervised learning in a reservoir computing system // Chaos. 2019. Vol. 29, no. 10. P. 103126.
- Некоркин В.И., Вдовин Л.В. Дискретная модель нейронной активности // Известия вузов. ПНД. 2007. Т. 15, № 5. С. 36–60.
- Courbage M., Nekorkin V.I., Vdovin L.V. Chaotic oscillations in a map-based model of neural activity // Chaos: An Interdisciplinary Journal of Nonlinear Science. 2007. Vol. 17, no. 4. 043109.
- Maslennikov O.V., Nekorkin V.I. Evolving dynamical networks with transient cluster activity // Communications in Nonlinear Science and Numerical Simulation. 2015. V. 23, no. 1–3. P. 10–16.
- Maslennikov O.V., Nekorkin V.I. Transient sequences in a hypernetwork generated by an adaptive network of spiking neurons // Philosophical Transactions of the Royal Society A. 2017. Vol. 375, no. 2096. P. 20160288.
- Масленников О.В., Некоркин В.И. Адаптивные динамические сети // Успехи физических наук. 2017. Vol. 187, № 7. P. 745–756.
- Maslennikov O.V., Nekorkin V.I., Kurths J. Basin stability for burst synchronization in smallworld networks of chaotic slow-fast oscillators // Physical Review E. 2015. Vol. 92, no. 4. 042803.
- Courbage M., Maslennikov O.V., Nekorkin V.I. Synchronization in time-discrete model of two electrically coupled spike-bursting neurons // Chaos, Solitons & Fractals. 2012. Vol. 45, no. 5. P. 645–659.
- Maslennikov O.V., Nekorkin V.I. Modular networks with delayed coupling: Synchronization and frequency control // Physical Review E. 2014. Vol. 90, no. 1. 012901.
- Maslennikov O.V., Nekorkin V.I.. Discrete model of the olivo-cerebellar system: Structure and dynamics // Radiophysics and Quantum Electronics. 2012. Vol. 55, no. 3. P. 198–214.
- Maslennikov O.V., Kasatkin D.V., Rulkov N.F., Nekorkin V.I. Emergence of antiphase bursting in two populations of randomly spiking elements // Physical Review E. 2013. Vol. 88, no. 4. 042907.
- Franovic I., Maslennikov O.V., Bacic I., Nekorkin V.I. Mean-field dynamics of a population of stochastic map neurons // Physical Review E. 2017. Vol. 96, no. 1. 012226.
- 2257 просмотров