Известия высших учебных заведений

Прикладная нелинейная динамика

ISSN 0869-6632 (Print)
ISSN 2542-1905 (Online)

Для цитирования:

Масленников О. В. Динамика искусственной рекуррентной нейронной сети в задаче моделирования когнитивной функции // Известия вузов. ПНД. 2021. Т. 29, вып. 5. С. 799-811. DOI: 10.18500/0869-6632-2021-29-5-799-811

Статья опубликована на условиях лицензии Creative Commons Attribution 4.0 International (CC-BY 4.0).
Полный текст в формате PDF(Ru):
Иконка PDF maslennikov_799-811.pdf
(загрузок: 384)
Язык публикации: 
русский
Рубрика: 
Нелинейная динамика и нейронаука
Тип статьи: 
Научная статья
УДК: 
530.182
DOI: 
10.18500/0869-6632-2021-29-5-799-811

Динамика искусственной рекуррентной нейронной сети в задаче моделирования когнитивной функции

Авторы: 
Масленников Олег Владимирович, Институт прикладной физики РАН (ИПФ РАН)
Аннотация: 

Цель работы состоит в построении искусственной рекуррентной нейронной сети, активность которой моделирует когнитивную функцию, связанную со сравнением двух вибротактильных стимулов, предъявляемых с задержкой, и анализе динамических механизмов, лежащих в основе её работы. Методы. Машинное обучение, анализ пространственно-временной динамики и фазового пространства. Результаты. Активность обученной рекуррентной нейронной сети моделирует когнитивную функцию сравнения двух стимулов с задержкой. Модельные нейроны демонстрируют смешанную селективность в процессе выполнения задачи. В многомерной активности выделены компоненты, каждая из которых зависит от одного параметра задачи. Заключение. Настройка искусственной нейронной сети выполнять функцию, аналогичную экспериментально наблюдаемому процессу, сопровождается появлением динамических свойств модельных нейронов, аналогичных найденным в эксперименте. 

Ключевые слова: 
рекуррентная нейронная сеть
машинное обучение
когнитивная нейронаука
Благодарности: 
Построение модели выполнено в рамках Программы развития регионального научно-образовательного математического центра «Математика технологий будущего», проект 075-02-2020-1483/1. Анализ динамики выполнен при поддержке РНФ (грант № 19-72-00112).
Список источников: 
  1. Дмитричев А. С., Касаткин Д. В., Клиньшов В. В., Кириллов С. Ю., Масленников О. В., Щапин Д. С., Некоркин В. И. Нелинейные динамические модели нейронов: обзор // Известия вузов. ПНД. 2018. Т. 26, № 4. С. 5–58. DOI: 10.18500/0869-6632-2018-26-4-5-58.
  2. Некоркин В. И. Нелинейные колебания и волны в нейродинамике // УФН. 2008. Т. 178, № 3. С. 313–323. DOI: 10.3367/UFNr.0178.200803g.0313.
  3. Ehrlich D. B., Stone J. T., Brandfonbrener D., Atanasov A., Murray J. D. PsychRNN: An accessible and flexible python package for training recurrent neural network models on cognitive tasks // eNeuro. 2021. Vol. 8, no. 1. P. ENEURO.0427–20.2020. DOI: 10.1523/ENEURO.0427-20.2020.
  4. Richards B. A., Lillicrap T. P., Beaudoin P., Bengio Y., Bogacz R., Christensen A., Clopath C., Costa R. P., de Berker A., Ganguli S., Gillon C. J., Hafner D., Kepecs A., Kriegeskorte N., Latham P., Lindsay G. W., Miller K. D., Naud R., Pack C. C., Poirazi P., Roelfsema P., Sacramento J., Saxe A., Scellier B., Schapiro A. C., Senn W., Wayne G., Yamins D., Zenke F., Zylberberg J., Therien D., Kording K. P. A deep learning framework for neuroscience // Nature Neuroscience. 2019. Vol. 22, no. 11. P. 1761–1770. DOI: 10.1038/s41593-019-0520-2.
  5. Barak O. Recurrent neural networks as versatile tools of neuroscience research // Current Opinion in Neurobiology. 2017. Vol. 46. P. 1–6. DOI: 10.1016/j.conb.2017.06.003.
  6. Marblestone A. H., Wayne G., Kording K. P. Toward an integration of deep learning and neuroscience // Frontiers in Computational Neuroscience. 2016. Vol. 10. P. 94. DOI: 10.3389/fncom.2016.00094.
  7. Sussillo D. Neural circuits as computational dynamical systems // Current Opinion in Neurobiology. 2014. Vol. 25. P. 156–163. DOI: 10.1016/j.conb.2014.01.008.
  8. Масленников О. В., Пугавко М. М., Щапин Д. С., Некоркин В. И. Нелинейная динамика и машинное обучение рекуррентных спайковых нейронных сетей // УФН. принята к публикации. DOI: 10.3367/UFNr.2021.08.039042.
  9. Schmidhuber J. Deep learning in neural networks: An overview // Neural Networks. 2015. Vol. 61. P. 85–117. DOI: 10.1016/j.neunet.2014.09.003.
  10. LeCun Y., Bengio Y., Hinton G. Deep learning // Nature. 2015. Vol. 521, no. 7553. P. 436–444. DOI: 10.1038/nature14539.
  11. Maslennikov O. V., Nekorkin V. I. Stimulus-induced sequential activity in supervisely trained recurrent networks of firing rate neurons // Nonlinear Dynamics. 2020. Vol. 101, no. 2. P. 1093–1103. DOI: 10.1007/s11071-020-05787-0.
  12. Pugavko M. M., Maslennikov O. V., Nekorkin V. I. Dynamics of spiking map-based neural networks in problems of supervised learning // Communications in Nonlinear Science and Numerical Simulation. 2020. Vol. 90. P. 105399. DOI: 10.1016/j.cnsns.2020.105399.
  13. Пугавко М. М., Масленников О. В., Некоркин В. И. Динамика сети дискретных модельных нейронов при контролируемом обучении системы резервуарных вычислений // Известия вузов. ПНД. 2020. Т. 28, № 1. С. 77–89. DOI: 10.18500/0869-6632-2020-28-1-77-89.
  14. Maslennikov O. V., Nekorkin V. I. Collective dynamics of rate neurons for supervised learning in a reservoir computing system // Chaos: An Interdisciplinary Journal of Nonlinear Science. 2019. Vol. 29, no. 10. P. 103126. DOI: 10.1063/1.5119895.
  15. Масленников О. В., Некоркин В. И. Адаптивные динамические сети // УФН. 2017. Т. 187, № 7. С. 745–756. DOI: 10.3367/UFNr.2016.10.037902.
  16. Romo R., Brody C. D., Hernandez A., Lemus L. Neuronal correlates of parametric working memory in the prefrontal cortex // Nature. 1999. Vol. 399, no. 6735. P. 470–473. DOI: 10.1038/20939.
  17. Romo R., Salinas E. Flutter Discrimination: neural codes, perception, memory and decision making // Nature Reviews Neuroscience. 2003. Vol. 4, no. 3. P. 203–218. DOI: 10.1038/nrn1058.
  18. Barak O., Tsodyks M., Romo R. Neuronal population coding of parametric working memory // Journal of Neuroscience. 2010. Vol. 30, no. 28. P. 9424–9430. DOI: 10.1523/JNEUROSCI.1875-10.2010.
  19. Kingma D. P., Ba J. Adam: A method for stochastic optimization // arXiv preprint arXiv:1412.6980. 2014.
  20. Koppe G., Toutounji H., Kirsch P., Lis S., Durstewitz D. Identifying nonlinear dynamical systems via generative recurrent neural networks with applications to fMRI // PLoS Computational Biology. 2019. Vol. 15, no. 8. P. e1007263. DOI: 10.1371/journal.pcbi.1007263.
  21. Hertag L., Durstewitz D., Brunel N. Analytical approximations of the firing rate of an adaptive exponential integrate-and-fire neuron in the presence of synaptic noise // Frontiers in Computational Neuroscience. 2014. Vol. 8. P. 116. DOI: 10.3389/fncom.2014.00116.
  22. Yang G. R., Wang X.-J. Artificial neural networks for neuroscientists: A primer // Neuron. 2020. Vol. 107, no. 6. P. 1048–1070. DOI: 10.1016/j.neuron.2020.09.005.
  23. Kobak D., Brendel W., Constantinidis C., Feierstein C. E., Kepecs A., Mainen Z. F., Qi X.-L., Romo R., Uchida N., Machens C. K. Demixed principal component analysis of neural population data // eLife. 2016. Vol. 5. P. e10989. DOI: 10.7554/eLife.10989. 
  24. Keemink S. W., Machens C. K. Decoding and encoding (de)mixed population responses // Current Opinion in Neurobiology. 2019. Vol. 58. P. 112–121. DOI: 10.1016/j.conb.2019.09.004.
Поступила в редакцию: 
26.02.2021
Принята к публикации: 
11.05.2021
Опубликована: 
30.09.2021
  • 1640 просмотров