Известия высших учебных заведений

Прикладная нелинейная динамика

ISSN 0869-6632 (Print)
ISSN 2542-1905 (Online)


Статья имеет ранний доступ!

Статья опубликована на условиях лицензии Creative Commons Attribution 4.0 International (CC-BY 4.0).
Полный текст в формате PDF(Ru):
Язык публикации: 
русский
Тип статьи: 
Научная статья
УДК: 
530.182
EDN: 

Искусственная нейронная сеть с динамической моделью синапса

Авторы: 
Зимин Илья Анатольевич, Национальный исследовательский Нижегородский государственный университет имени Н. И. Лобачевского (ННГУ)
Казанцев Виктор Борисович, Институт прикладной физики РАН (ИПФ РАН)
Стасенко Сергей Викторович, Национальный исследовательский Нижегородский государственный университет имени Н. И. Лобачевского (ННГУ)
Аннотация: 

Цель настоящего исследования — разработка и исследование новой модели с кратковременной памятью, в основе которой лежат искусственная нейронная сеть без эффекта кратковременной памяти и динамическая модель кратковременной памяти с астроцитарной модуляцией.

Методы. Искусственная нейронная сеть представлена классической сверточной нейронной сетью, не обладающей кратковременной памятью. Кратковременная память моделируется в нашей гибридной модели с помощью модели Цодыкса–Маркрама, представляющей собой систему обыкновенных дифференциальных уравнений третьего порядка. Астроцитарная динамика моделируется среднеполевой моделью концентрации глиотрансмиттера.

Результаты. Была разработана и исследована новая гибридная модель с кратковременной памятью с использованием сверточной нейронной сети и динамической модели синапса для задачи распознавания изображений. Приведены графики зависимости точности и ошибки от числа эпох для представленной модели. Введена метрика чувствительности распознавания изображений d-prime. Было проведено сравнение разработанной модели с рекуррентной нейронной сетью и конфигурацией новой модели без учета астроцитарной модуляции. Построена сравнительная таблица, показывающая лучшую точность распознавания для введенной модели.

Заключение. В результате исследования показана возможность совмещения искусственной нейронной сети и динамической модели, расширяющей ее функционал. Сравнение предложенной модели с кратковременной памятью с использованием сверточной нейронной сети и динамической модели синапса с астроцитарной модуляцией с рекуррентной сетью показало эффективность предложенного подхода в имитации кратковременной памяти.

Благодарности: 
В части подбора параметров модели трехмерного динамического синапса работа выполнена в рамках научной программы Национального центра физики и математики, направление № 9 «Искусственный интеллект и большие данные в технических, промышленных, природных и социальных системах»; в части симуляции и обучения модели работа поддержана в рамках Программы развития Регионального научно-образовательного математического центра «Математика технологий будущего» (Соглашение № 075-02-2024-1439)
Список источников: 
  1. Baddeley A. Working memory // Current Biology. 2010. Vol. 20, no. 4. P. R136–R140. DOI: 10.1016/j.cub.2009.12.014.
  2. Miller G. A. The magical number seven, plus or minus two: Some limits on our capacity for processing information // Psychological Review. 1956. Vol. 63, no. 2. P. 81–97. DOI: 10.1037/ h0043158.
  3. Cowan N. The magical number 4 in short-term memory: A reconsideration of mental storage capacity // Behavioral and Brain Sciences. 2001. Vol. 24, no. 1. P. 87–114. DOI: 10.1017/S0140525 X01003922.
  4. Wager T. D., Smith E. E. Neuroimaging studies of working memory: a meta-analysis // Cognitive, Affective, & Behavioral Neuroscience. 2003. Vol. 3, no. 4. P. 255–274. DOI: 10.3758/cabn.3.4.255.
  5. Engle R. W. Working memory capacity as executive attention // Current Directions in Psychological Science. 2002. Vol. 11, no. 1. P. 19–23.
  6. Park D. C., Polk T. A., Mikels J. A., Taylor S. F., Marshuetz C. Cerebral aging: integration of brain and behavioral models of cognitive function // Dialogues in Clinical Neuroscience. 2022. Vol. 3, no. 3. P. 151–165. DOI: 10.31887/DCNS.2001.3.3/dcpark.
  7. Postle B. R. Working memory as an emergent property of the mind and brain // Neuroscience. 2006. Vol. 139, no. 1. P. 23–38. DOI: 10.1016/j.neuroscience.2005.06.005.
  8. Luck S. J., Vogel E. K. The capacity of visual working memory for features and conjunctions // Nature. 1997. Vol. 390, no. 6657. P. 279–281. DOI: 10.1038/36846.
  9. Hollingworth A., Henderson J. M. Accurate visual memory for previously attended objects in natural scenes // Journal of Experimental Psychology: Human Perception and Performance. 2002. Vol. 28, no. 1. P. 113–136. DOI: 10.1037/0096-1523.28.1.113.
  10. Vogel E. K., Woodman G. F., Luck S. J. Pushing around the locus of selection: Evidence for the flexible-selection hypothesis // Journal of Cognitive Neuroscience. 2005. Vol. 17, no. 12. P. 1907–1922. DOI: 10.1162/089892905775008599.
  11. Perea G., Araque A. Astrocytes potentiate transmitter release at single hippocampal synapses // Science. 2007. Vol. 317, no. 5841. P. 1083–1086. DOI: 10.1126/science.1144640.
  12. Suzuki A., Stern S. A., Bozdagi O., Huntley G. W., Walker R. H., Magistretti P. J., Alberini C. M. Astrocyte-neuron lactate transport is required for long-term memory formation // Cell. 2011. Vol. 144, no. 5. P. 810–823. DOI: 10.1016/j.cell.2011.02.018.
  13. Ango F., Wu C., Van der Want J. J., Wu P., Schachner M., Huang J. Bergmann glia and the recognition molecule CHL1 organize GABAergic axons and direct innervation of Purkinje cell dendrites // PLoS Biology. 2008. Vol. 6, no. 4. P. e103. DOI: 10.1371/journal.pbio.0060103.
  14. Hu B., Garrett M. E., Groblewski P. A., Ollerenshaw D. R., Shang J., Roll K., Manavi S., Koch C., Olsen S. R., Mihalas S. Adaptation supports short-term memory in a visual change detection task // PLoS Computational Biology. 2021.Vol. 17, no. 9. P. e1009246. DOI: 10.1371/journal.pcbi.1009246.
  15. Garrett M., Manavi S., Roll K., Ollerenshaw D. R., Groblewski P. A., Ponvert N. D., Kiggins J. T., Casal L., Mace K., Williford A., Leon A., Jia X., Ledochowitsch P., Buice M. A., Wakeman W.,Mihalas S., Olsen S. R. Experience shapes activity dynamics and stimulus coding of VIP inhibitory cells // eLife. 2020. Vol. 9. P. e50340. DOI: 10.7554/eLife.50340.
  16. Stasenko S. V., Kazantsev V. B. Dynamic image representation in a spiking neural network supplied by astrocytes // Mathematics. 2023. Vol. 11, no. 3. P. 561. DOI: 10.3390/math11030561.
  17. Stasenko S., Kazantsev V. Astrocytes enhance image representation encoded in spiking neural network // In: Kryzhanovsky B., Dunin-Barkowski W., Redko V., Tiumentsev Y. (eds) Advances in Neural Computation, Machine Learning, and Cognitive Research VI. NEUROINFORMATICS 2022. Vol. 1064 of Studies in Computational Intelligence. Cham: Springer, 2023. P. 200–206. DOI: 10.1007/978-3-031-19032-2_20.
  18. Лазаревич И. А., Стасенко С. В., Казанцев В. Б. Синаптическая мультистабильность и сетевая синхронизация, индуцированные нейрон-глиальным взаимодействием в мозге // Письма в ЖЭТФ. 2017. Т. 105, № 3. С. 198–201. DOI: 10.7868/S0370274X17030134.
  19. Stasenko S. V., Lazarevich I. A., Kazantsev V. B. Quasi-synchronous neuronal activity of the network induced by astrocytes // Procedia Computer Science. 2020. Vol. 169. P. 704–709. DOI: 10.1016/j.procs.2020.02.175.
  20. Barabash N., Levanova T., Stasenko S. STSP model with neuron — glial interaction produced bursting activity // In: 2021 Third International Conference Neurotechnologies and Neurointerfaces (CNN). 13–15 September 2021, Kaliningrad, Russian Federation. IEEE, 2021. P. 12–15. DOI: 10.1109/CNN53494.2021.9580314.
  21. Stasenko S., Kazantsev V. 3D model of bursting activity generation // In: 2022 Fourth International Conference Neurotechnologies and Neurointerfaces (CNN). 14–16 September 2022, Kaliningrad, Russian Federation. IEEE, 2022. P. 176–179. DOI: 10.1109/CNN56452.2022.9912507.
  22. Barabash N., Levanova T., Stasenko S. Rhythmogenesis in the mean field model of the neuron–glial network // Eur. Phys. J. Spec. Top. 2023. Vol. 232, no. 5. P. 529–534. DOI: 10.1140/epjs/s11734- 023-00778-9.
  23. Olenin S. M., Levanova T. A., Stasenko S. V. Dynamics in the reduced mean-field model of neuron– glial interaction // Mathematics. 2023. Vol. 11, no. 9. P. 2143. DOI: 10.3390/math11092143.
  24. Tsodyks M., Pawelzik K., Markram H. Neural networks with dynamic synapses // Neural Computation. 1998. Vol. 10, no. 4. P. 821–835. DOI: 10.1162/089976698300017502.
  25. Krizhevsky A. Learning Multiple Layers of Features from Tiny Images. Technical Report TR-2009. Toronto: University of Toronto, 2009. 60 p.
  26. Paszke A., Gross S., Massa F., Lerer A., Bradbury J., Chanan G., Killeen T., Lin Z., Gimelshein N., Antiga L., Desmaison A., Kopf A., Yang E., DeVito Z., Raison M., Tejani A., Chilamkurthy S., Steiner B., Fang L., Bai J., Chintala S. PyTorch: An imperative style, high-performance deep learning library // In: NIPS’19: Proceedings of the 33rd International Conference on Neural Information Processing Systems. No. 721. Vancouver, Canada: NeurIPS, 2019. P. 8026–8037.
Поступила в редакцию: 
05.10.2023
Принята к публикации: 
04.12.2023
Опубликована онлайн: 
01.04.2024