Известия высших учебных заведений

Прикладная нелинейная динамика

ISSN 0869-6632 (Print)
ISSN 2542-1905 (Online)

Для цитирования:

Ковалева Н. С., Матросов В. В., Мищенко М. А. Емкость рабочей памяти: роль параметров импульсной нейронной сети // Известия вузов. ПНД. 2023. Т. 31, вып. 1. С. 86-102. DOI: 10.18500/0869-6632-003022, EDN: AKKIBM

Статья опубликована на условиях лицензии Creative Commons Attribution 4.0 International (CC-BY 4.0).
Полный текст в формате PDF(Ru):
Иконка PDF and_2023-kovaleva-et-al_86-102.pdf
(загрузок: 0)
Полный текст в формате PDF(En):
Иконка PDF kovaleva_matrosov_mishchenko_eng.pdf
(загрузок: 428)
Язык публикации: 
русский
Рубрика: 
Нелинейная динамика и нейронаука
Тип статьи: 
Научная статья
УДК: 
001.57; 004.81; 51.76
DOI: 
10.18500/0869-6632-003022
EDN: 
AKKIBM

Емкость рабочей памяти: роль параметров импульсной нейронной сети

Авторы: 
Ковалева Наталья Сергеевна, Национальный исследовательский Нижегородский государственный университет имени Н. И. Лобачевского (ННГУ)
Матросов Валерий Владимирович, Национальный исследовательский Нижегородский государственный университет имени Н. И. Лобачевского (ННГУ)
Мищенко Михаил Андреевич, Национальный исследовательский Нижегородский государственный университет имени Н. И. Лобачевского (ННГУ)
Аннотация: 

Цель работы — исследование формирования рабочей памяти на основе вычислительной модели импульсной нейронной сети с пластичными связями и изучение емкости рабочей памяти в зависимости от временных масштабов синаптической фасилитации и депрессии, а также фонового возбуждения сети.

Методы. Модель имитирует формирование рабочей памяти в рамках синаптической теории: запоминаемые элементы сохраняются в виде кратковременных потенцированных связей в выборочной популяции, а не в виде постоянной активности. В качестве элементов сети используются нейроны — пороговые интеграторы, находящиеся в возбудимом режиме. Связи между элементами сети описываются моделью кратковременной пластичности.

Результаты. Показано, что значение емкости рабочей памяти рассматриваемой сети увеличивается в среднем при увеличении параметра времени восстановления уровня кальция в синаптическом окончании или при уменьшении параметра времени восстановления нейропередатчиков. Увеличение фонового шумового воздействия за счет увеличения параметров среднего значения и дисперсии приводит к увеличению емкости в среднем, при этом зависимость значения емкости от синаптических времен пластичности сохраняется.

Заключение. Подробно исследовано влияние времен синаптической пластичности и фонового возбуждения нейронной сети на объем рабочей памяти. Емкость рабочей памяти сильно зависит от внутренних параметров нейронных сетей и, как показано, может быть больше, чем классические экспериментальные оценки четырех элементов.

Ключевые слова: 
рабочая память
емкость памяти
импульсная нейронная сеть
отсроченная активность
кратковременная синаптическая пластичность
Благодарности: 
Работа поддержана Министерством науки и высшего образования Российской Федерации (проект № 0729-2020-0040) и РФФИ (проект № 20-32-90157)
Список источников: 
  1. Baddeley A. Working memory // Science. 1992. Vol. 255, no. 5044. P. 556–559. DOI: 10.1126/ science.1736359.
  2. Baddeley A. Working memory: looking back and looking forward // Nat. Rev. Neurosci. 2003. Vol. 4, no. 10. P. 829–839. DOI: 10.1038/nrn1201.
  3. Miller E. K., Erickson C. A., Desimone R. Neural mechanisms of visual working memory in prefrontal cortex of the macaque // J. Neurosci. 1996. Vol. 16, no. 16. P. 5154–5167. DOI: 10.1523/JNEUROSCI.16-16-05154.1996.
  4. Fuster J. M., Alexander G. E. Neuron activity related to short-term memory // Science. 1971. Vol. 173, no. 3997. P. 652–654. DOI: 10.1126/science.173.3997.652.
  5. Funahashi S., Bruce C. J., Goldman-Rakic P. S. Mnemonic coding of visual space in the monkey’s dorsolateral prefrontal cortex // J. Neurophysiol. 1989. Vol. 61, no. 2. P. 331–349. DOI: 10.1152/jn.1989.61.2.331.
  6. Spaak E., Watanabe K., Funahashi S., Stokes M. G. Stable and dynamic coding for working memory in primate prefrontal cortex // J. Neurosci. 2017. Vol. 37, no. 27. P. 6503–6516. DOI: 10.1523/JNEUROSCI.3364-16.2017.
  7. Barak O., Tsodyks M. Working models of working memory // Curr. Opin. Neurobiol. 2014. Vol. 25. P. 20–24. DOI: 10.1016/j.conb.2013.10.008.
  8. Goldman-Rakic P. S. Cellular basis of working memory // Neuron. 1995. Vol. 14, no. 3. P. 477–485. DOI: 10.1016/0896-6273(95)90304-6.
  9. Bray N. Working memory: Persistence is key // Nat. Rev. Neurosci. 2017. Vol. 18, no. 7. P. 385. DOI: 10.1038/nrn.2017.70.
  10. Guo Z. V., Inagaki H. K., Daie K., Druckmann S., Gerfen C. R., Svoboda K. Maintenance of persistent activity in a frontal thalamocortical loop // Nature. 2017. Vol. 545, no. 7653. P. 181–186. DOI: 10.1038/nature22324.
  11. Baddeley A. Working memory // Curr. Biol. 2010. Vol. 20, no. 4. P. R136–R140. DOI: 10.1016/ j.cub.2009.12.014.
  12. Diamond A. Executive functions // Annu. Rev. Psychol. 2013. Vol. 64. P. 135–168. DOI: 10.1146/ annurev-psych-113011-143750.
  13. Pasternak T., Greenlee M. W. Working memory in primate sensory systems // Nat. Rev. Neurosci. 2005. Vol. 6, no. 2. P. 97–107. DOI: 10.1038/nrn1603.
  14. Afraimovich V., Gong X., Rabinovich M. Sequential memory: Binding dynamics // Chaos. 2015. Vol. 25, no. 10. P. 103118. DOI: 10.1063/1.4932563.
  15. Kilpatrick Z. P. Synaptic mechanisms of interference in working memory // Sci. Rep. 2018. Vol. 8, no. 1. P. 7879. DOI: 10.1038/s41598-018-25958-9.
  16. Nachstedt T. The Processing and Storage of Information in Neuronal Memory Systems Across Time Scales. Dissertation for the award of the degree «Doctor rerum naturalium». Gottingen: Georg-August-Universitat Gottingen, 2017. 149 p.
  17. Curtis C. E., D’Esposito M. Persistent activity in the prefrontal cortex during working memory // Trends Cogn. Sci. 2003. Vol. 7, no. 9. P. 415–423. DOI: 10.1016/S1364-6613(03)00197-9.
  18. Riley M. R., Constantinidis C. Role of prefrontal persistent activity in working memory // Front. Syst. Neurosci. 2016. Vol. 9. P. 181. DOI: 10.3389/fnsys.2015.00181.
  19. Bolkan S. S., Stujenske J. M., Parnaudeau S., Spellman T. J., Rauffenbart C., Abbas A. I., Harris A. Z., Gordon J. A., Kellendonk C. Thalamic projections sustain prefrontal activity during working memory maintenance // Nat. Neurosci. 2017. Vol. 20, no. 7. P. 987–996. DOI: 10.1038/nn.4568.
  20. Constantinidis C., Funahashi S., Lee D., Murray J. D., Qi X.-L., Wang M., Arnsten A. F. T. Persistent spiking activity underlies working memory // J. Neurosci. 2018. Vol. 38, no. 32. P. 7020–7028. DOI: 10.1523/JNEUROSCI.2486-17.2018.
  21. Rabinovich M., Huerta R., Laurent G. Transient dynamics for neural processing // Science. 2008. Vol. 321, no. 5885. P. 48–50. DOI: 10.1126/science.1155564.
  22. Mongillo G., Barak O., Tsodyks M. Synaptic theory of working memory // Science. 2008. Vol. 319, no. 5869. P. 1543–1546. DOI: 10.1126/science.1150769.
  23. Lundqvist M., Rose J., Herman P., Brincat S. L., Buschman T. J., Miller E. K. Gamma and beta bursts underlie working memory // Neuron. 2016. Vol. 90, no. 1. P. 152–164. DOI: 10.1016/ j.neuron.2016.02.028.
  24. Lisman J. E., Idiart M. A. P. Storage of 7 ± 2 short-term memories in oscillatory subcycles // Science. 1995. Vol. 267, no. 5203. P. 1512–1515. DOI: 10.1126/science.7878473.
  25. Rolls E. T., Dempere-Marco L., Deco G. Holding multiple items in short term memory: A neural mechanism // PLOS ONE. 2013. Vol. 8, no. 4. P. e61078. DOI: 10.1371/journal.pone.0061078.
  26. Dempere-Marco L., Melcher D. P., Deco G. Effective visual working memory capacity: An emergent effect from the neural dynamics in an attractor network // PLOS ONE. 2012. Vol. 7, no. 8. P. e42719. DOI: 10.1371/journal.pone.0042719.
  27. Miller E. K., Lundqvist M., Bastos A. M. Working memory 2.0 // Neuron. 2018. Vol. 100, no. 2. P. 463–475. DOI: 10.1016/j.neuron.2018.09.023.
  28. Lundqvist M., Herman P., Miller E. K. Working memory: Delay activity, yes! Persistent activity? Maybe not // J. Neurosci. 2018. Vol. 38, no. 32. P. 7013–7019. DOI: 10.1523/JNEUROSCI.2485- 17.2018.
  29. Jun J. K., Miller P., Hernandez A., Zainos A., Lemus L., Brody C. D., Romo R. Heterogenous population coding of a short-term memory and decision task // J. Neurosci. 2010. Vol. 30, no. 3. P. 916–929. DOI: 10.1523/JNEUROSCI.2062-09.2010.
  30. Hussar C. R., Pasternak T. Memory-guided sensory comparisons in the prefrontal cortex: Contribution of putative pyramidal cells and interneurons // J. Neurosci. 2012. Vol. 32, no. 8. P. 2747–2761. DOI: 10.1523/JNEUROSCI.5135-11.2012.
  31. Rabinovich M. I., Simmons A. N., Varona P. Dynamical bridge between brain and mind // Trends Cogn. Sci. 2015. Vol. 19, no. 8. P. 453–461. DOI: 10.1016/j.tics.2015.06.005.
  32. Wang Y., Markram H., Goodman P. H., Berger T. K., Ma J., Goldman-Rakic P. S. Heterogeneity in the pyramidal network of the medial prefrontal cortex // Nat. Neurosci. 2006. Vol. 9, no. 4. P. 534–542. DOI: 10.1038/nn1670.
  33. Gordleeva S. Y., Tsybina Y. A., Krivonosov M. I., Ivanchenko M. V., Zaikin A. A., Kazantsev V. B., Gorban A. N. Modeling working memory in a spiking neuron network accompanied by astrocytes // Front. Cell. Neurosci. 2021. Vol. 15. P. 631485. DOI: 10.3389/fncel.2021.631485.
  34. Miller G. A. The magical number seven, plus or minus two: Some limits on our capacity for processing information // Psychol. Rev. 1956. Vol. 63, no. 2. P. 81–97. DOI: 10.1037/h0043158.
  35. Koyluoglu O. O., Pertzov Y., Manohar S., Husain M., Fiete I. R. Fundamental bound on the persistence and capacity of short-term memory stored as graded persistent activity // eLife. 2017. Vol. 6. P. e22225. DOI: 10.7554/eLife.22225.
  36. Cowan N., Elliott E. M., Saults J. S., Morey C. C., Mattox S., Hismjatullina A., Conway A. R. A. On the capacity of attention: Its estimation and its role in working memory and cognitive aptitudes // Cogn. Psychol. 2005. Vol. 51, no. 1. P. 42–100. DOI: 10.1016/j.cogpsych.2004.12.001.
  37. Conway A. R. A., Cowan N., Bunting M. F. The cocktail party phenomenon revisited: The importance of working memory capacity // Psychon. Bull. Rev. 2001. Vol. 8, no. 2. P. 331– 335. DOI: 10.3758/BF03196169.
  38. Oberauer K. Access to information in working memory: Exploring the focus of attention // J. Exp. Psychol. Learn. Mem. Cogn. 2002. Vol. 28, no. 3. P. 411–421. DOI: 10.1037/0278-7393.28.3.411.
  39. Cowan N. The magical mystery four: How is working memory capacity limited, and why? // Curr. Dir. Psychol. Sci. 2010. Vol. 19, no. 1. P. 51–57. DOI: 10.1177/0963721409359277.
  40. Cowan N. The magical number 4 in short-term memory: A reconsideration of mental storage capacity // Behav. Brain Sci. 2001. Vol. 24, no. 1. P. 87–114. DOI: 10.1017/S0140525X01003922.
  41. Frost A., Moussaoui S., Kaur J., Aziz S., Fukuda K., Niemeier M. Is the n-back task a measure of unstructured working memory capacity? Towards understanding its connection to other working memory tasks // Acta Psychol. 2021. Vol. 219. P. 103398. DOI: 10.1016/j.actpsy.2021.103398.
  42. Mi Y., Katkov M., Tsodyks M. Synaptic correlates of working memory capacity // Neuron. 2017. Vol. 93, no. 2. P. 323–330. DOI: 10.1016/j.neuron.2016.12.004.
  43. Hopfield J. J. Neural networks and physical systems with emergent collective computational abilities // Proc. Natl. Acad. Sci. U. S. A. 1982. Vol. 79, no. 8. P. 2554–2558. DOI: 10.1073/ pnas.79.8.2554.
  44. Song S., Sjostrom P. J., Reigl M., Nelson S., Chklovskii D. B. Highly nonrandom features of synaptic connectivity in local cortical circuits // PLOS Biol. 2005. Vol. 3, no. 3. P. e68. DOI: 10.1371/journal.pbio.0030068.
  45. Дмитричев А. С., Касаткин Д. В., Клиньшов В. В., Кириллов С.Ю., Масленников О. В., Щапин Д. С., Некоркин В. И. Нелинейные динамические модели нейронов: обзор // Известия вузов. ПНД. 2018. Т. 26, № 4. С. 5–58. DOI: 10.18500/0869-6632-2018-26-4-5-58.
  46. Tsodyks M. V., Markram H. The neural code between neocortical pyramidal neurons depends on neurotransmitter release probability // Proc. Natl. Acad. Sci. U. S. A. 1997. Vol. 94, no. 2. P. 719–723. DOI: 10.1073/pnas.94.2.719.
  47. Luck S. J., Vogel E. K. The capacity of visual working memory for features and conjunctions // Nature. 1997. Vol. 390, no. 6657. P. 279–281. DOI: 10.1038/36846.
  48. Potkin S. G., Turner J. A., Brown G. G., McCarthy G., Greve D. N., Glover G. H., Manoach D. S., Belger A., Diaz M., Wible C. G., Ford J. M., Mathalon D. H., Gollub R., Lauriello J., O’Leary D., van Erp T. G. M., Toga A. W., Preda A., Lim K. O., FBIRN. Working memory and DLPFC inefficiency in schizophrenia: The FBIRN study // Schizophr. Bull. 2009. Vol. 35, no. 1. P. 19–31. DOI: 10.1093/schbul/sbn162.
  49. Godwin D., Ji A., Kandala S., Mamah D. Functional connectivity of cognitive brain networks in schizophrenia during a working memory task // Front. Psychiatry. 2017. Vol. 8. P. 294. DOI: 10.3389/fpsyt.2017.00294.
Поступила в редакцию: 
31.08.2022
Принята к публикации: 
25.10.2022
Опубликована онлайн: 
19.01.2023
Опубликована: 
31.01.2023
  • 1556 просмотров