Известия высших учебных заведений

Прикладная нелинейная динамика

ISSN 0869-6632 (Print)
ISSN 2542-1905 (Online)


Для цитирования:

Кононов Р. А., Масленников О. В., Некоркин В. И. Динамика рекуррентных нейронных сетей с кусочно-линейной функцией активации в задаче контекстно-зависимого принятия решения // Известия вузов. ПНД. 2025. Т. 33, вып. 2. С. 249-265. DOI: 10.18500/0869-6632-003147, EDN: ANWDXK

Статья опубликована на условиях лицензии Creative Commons Attribution 4.0 International (CC-BY 4.0).
Полный текст в формате PDF(Ru):
(загрузок: 0)
Язык публикации: 
русский
Тип статьи: 
Научная статья
УДК: 
530.182
EDN: 

Динамика рекуррентных нейронных сетей с кусочно-линейной функцией активации в задаче контекстно-зависимого принятия решения

Авторы: 
Кононов Роман Андреевич, Институт прикладной физики РАН (ИПФ РАН)
Масленников Олег Владимирович, Институт прикладной физики РАН (ИПФ РАН)
Некоркин Владимир Исаакович, Институт прикладной физики РАН (ИПФ РАН)
Аннотация: 

Цель данной работы — исследовать динамические механизмы решения рекуррентными нейронными сетями когнитивной задачи двухальтернативного выбора с контекстом, вырабатываемые в процессе обучения с подкреплением, и развить методологию анализа таких моделей на основе теории динамических систем.

Методы. Построен ансамбль нейросетей с кусочно-линейной функцией активации. Модели оптимизировались с помощью метода обучения с подкреплением — проксимального обновления стратегии. Структура испытания с постоянными стимулами в течение длительного этапа позволяет трактовать входы в качестве параметров системы и рассматривать систему как автономную на конечных временных интервалах.

Результаты. Выявлен и описан динамический механизм двухальтернативного выбора в терминах аттракторов автономных систем. Описаны возможные типы аттракторов в рассматриваемой модели и изучено распределение типов аттракторов в ансамбле моделей относительно параметров когнитивной задачи. В полученных сетях выявлено устойчивое по ансамблю моделей разделение на функциональные популяции. Исследован процесс эволюции состава данных популяций в процессе обучения. На основе полученного понимания динамического механизма была сконструирована двумерная сеть, решающая упрощённую задачу двухальтернативного выбора без контекста.

Заключение. Предложенный подход позволяет качественно описать механизм решения задачи в терминах аттракторов. Подобное описание позволяет исследовать динамику функциональных моделей и выделять стоящие за динамическими объектами популяции. Данный подход позволяет отслеживать эволюцию аттракторов системы и соответствующих популяций в процессе обучения.
 

Благодарности: 
Работа выполнена при поддержке гранта Российского научного фонда № 23-72-10088.
Список источников: 
  1. Sussillo D. Neural circuits as computational dynamical systems // Curr. Opin. Neurobiol. 2014. Vol. 25. P. 156-163. DOI: 10.1016/j.conb.2014.01.008.
  2. Marblestone A. H., Wayne G., Kording K. P. Toward an integration of deep learning and neuroscience // Frontiers in Computational Neuroscience. 2016. Vol. 10. P. 94. DOI: 10.3389/fncom.2016.00094.
  3. Barak O. Recurrent neural networks as versatile tools of neuroscience research // Curr. Opin. Neurobiol. 2017. Vol. 46. P. 1–6. DOI: 10.1016/j.conb.2017.06.003.
  4. Richards B. A., Lillicrap T. P., Beaudoin P., Bengio Y., Bogacz R., Christensen A., Clopath C., Costa R. P., de Berker A., Ganguli S., Gillon C. J., Hafner D., Kepecs A., Kriegeskorte N., Latham P., Lindsay G. W., Miller K. D., Naud R., Pack Ch. C., Poirazi P., Roelfsema P., Sacramento J., Saxe A., Scellier B., Schapiro A. C., Senn W., Wayne G., Yamins D., Zenke F., Zylberberg J., Therien D., Kording K. P. A deep learning framework for neuroscience // Nature Neuroscience. 2019. Vol. 22, no. 11. P. 1761–1770. DOI: 10.1038/s41593-019-0520-2.
  5. Ehrlich D. B., Stone J. T., Brandfonbrener D., Atanasov A., Murray J. D. PsychRNN: An Accessible and Flexible Python Package for Training Recurrent Neural Network Models on Cognitive Tasks // Eneuro. 2021. Vol. 8, no. 1. DOI: 10.1523/ENEURO.0427-20.2020.
  6. Durstewitz D., Koppe G., Thurm M. I. Reconstructing computational system dynamics from neural data with recurrent neural networks // Nature Reviews Neuroscience. 2023. Vol. 24, no. 11. P. 693–710. DOI: 10.1038/s41583-023-00740-7.
  7. Mante V., Sussillo D., Shenoy K. V., Newsome W. T. Context-dependent computation by recurrent dynamics in prefrontal cortex // Nature. 2013. Vol. 503, no. 7474. P. 78–84. DOI: doi.org/10.1038/nature12742.
  8. McNaughton B. L., Battaglia F. P., Jensen O., Moser E. I., Moser M.-B. Path integration and the neural basis of the “cognitive map” // Nature Reviews Neuroscience. 2006. Vol. 7, no. 8. P. 663–678. DOI: 10.1038/nrn1932.
  9. Yang G. Rt., Wang X.-J. Artificial neural networks for neuroscientists: A primer // Neuron. 2020. Vol. 107, no. 6. P. 1048–1070. DOI: 10.1016/j.neuron.2020.09.005.
  10. Bernaez T. L., Ekelmans P., Kraynyukova N., Rose T., Busse L., Tchumatchenko T. How to incorporate biological insights into network models and why it matters // The Journal of Physiology. 2023. Vol. 601(15). P. 3037–3053. DOI: 10.1113/JP282755.
  11. Vyas S., Golub M. D., Sussillo D., Shenoy K. V. Computation through neural population dynamics // Annual Review of Neuroscience. 2020. Vol. 43. P. 249–275. DOI: 10.1146/annurev-neuro-092619-094115.
  12. Sussillo D., Abbott L. F. Generating coherent patterns of activity from chaotic neural networks // Neuron. 2009. Vol. 63, no. 4. P. 544–557. DOI: 10.1016/j.neuron.2009.07.018. 
  13. Kriegeskorte N., Xue-Xin W. Neural tuning and representational geometry // Nature Reviews Neuroscience. 2021. Vol. 22, no. 11. C. 703–718. DOI: 10.1038/s41583-021-00502-3.
  14. Khona M., Fiete I. R. Attractor and integrator networks in the brain // Nature Reviews Neuroscience. 2022. Vol. 23, no. 12. P. 744–766. DOI: 10.1038/s41583-022-00642-0.
  15. Langdon Ch., Genkin M., Engel T. A. A unifying perspective on neural manifolds and circuits for cognition // Nature Reviews Neuroscience. 2023. Vol. 24, no. 6. P. 363–377. DOI: 10.1038/s41583-023-00693-x.
  16. Масленников О. В., Пугавко М. М., Щапин Д. С., Некоркин В. И. Нелинейная динамика и машинное обучение рекуррентных спайковых нейронных сетей // Успехи физических наук. 2022. Т. 65, № 12. DOI: 10.3367/UFNr.2021.08.039042.
  17. Maslennikov O. V., Nekorkin V. I. Stimulus-induced sequential activity in supervisely trained recurrent networks of firing rate neurons // Nonlinear Dynamics. 2020. Vol. 101, no. 2. P. 1093–1103. DOI: 10.1007/s11071-020-05787-0.
  18. Pugavko M. M, Maslennikov O. V., Nekorkin V. I. Dynamics of spiking map-based neural networks in problems of supervised learning // Communications in Nonlinear Science, Numerical Simulation. 2020. Vol. 90. P. 105399. DOI: 10.1016/j.cnsns.2020.105399.
  19. Пугавко М. М., Масленников О. В., Некоркин В. И. Динамика сети дискретных модельных нейронов при контролируемом обучении системы резервуарных вычислений // Известия вузов. Прикладная нелинейная динамика. 2020. Т. 28, № 1. C. 77–89. DOI: 10.18500/0869-6632-2020-28-1-77-89.
  20. Maslennikov O. V., Nekorkin V. I. Collective dynamics of rate neurons for supervised learning in a reservoir computing system // Chaos. 2019. Vol. 29, no. 10. P. 103126. DOI: 10.1063/1.5119895.
  21. Parga N., Serrano-Fernandez L., Falco-R. J. Emergent computations in trained artificial neural networks and real brains // Journal of Instrumentation. 2023. Vol. 18, no. 02. P. C02060. DOI: 10.1088/1748-0221/18/02/C02060.
  22. Pugavko M. M., Maslennikov O. V., Nekorkin V. I. Multitask computation through dynamics in recurrent spiking neural networks // Scientific Reports. 2023. Vol. 13, no. 1. P. 3997. DOI: 10.1038/s41598-023-31110-z.
  23. Schulman J., Wolski F., Dhariwal P., Radford A., Klimov O. Proximal policy optimization algorithms. arXiv:1707.06347; 2017. DOI: 10.48550/arXiv.1707.06347.
  24. Diederik P. K., Jimmy B. Adam: A Method for Stochastic Optimization. arXiv:1412.6980; 2017. DOI: 10.48550/arXiv.1412.6980.
Поступила в редакцию: 
28.06.2024
Принята к публикации: 
04.09.2024
Опубликована онлайн: 
06.12.2024
Опубликована: 
31.03.2025