Известия высших учебных заведений

Прикладная нелинейная динамика

ISSN 0869-6632 (Print)
ISSN 2542-1905 (Online)

Для цитирования:

Соловьев И. А., Клиньшов В. В. Пороги устойчивости аттракторов сети Хопфилда // Известия вузов. ПНД. 2023. Т. 31, вып. 1. С. 75-85. DOI: 10.18500/0869-6632-003028, EDN: CFEFMZ

Статья опубликована на условиях лицензии Creative Commons Attribution 4.0 International (CC-BY 4.0).
Полный текст в формате PDF(Ru):
Иконка PDF and_2023-1_soloviev-klinshov_75-85.pdf
(загрузок: 0)
Полный текст в формате PDF(En):
Иконка PDF and_2023_1_soloviev_klinshov_eng.pdf
(загрузок: 232)
Язык публикации: 
русский
Рубрика: 
Прикладные задачи нелинейной теории колебаний и волн
Тип статьи: 
Научная статья
УДК: 
530.182
DOI: 
10.18500/0869-6632-003028
EDN: 
CFEFMZ

Пороги устойчивости аттракторов сети Хопфилда

Авторы: 
Соловьев Игорь Александрович, Институт прикладной физики РАН (ИПФ РАН)
Клиньшов Владимир Викторович, Национальный исследовательский Нижегородский государственный университет имени Н. И. Лобачевского (ННГУ)
Аннотация: 

Цель работы заключается в детальном изучении аттракторов сети Хопфилда и бассейнов их притяжения в зависимости от параметров системы — размера сети и числа запомненных образов. Для характеристики бассейнов притяжения аттракторов использовался метод вычисления порога устойчивости — минимального расстояния от аттрактора до границы его бассейна притяжения. Для полезных аттракторов данная величина соответствует минимальному искажению запомненного образа, после которого система не в состоянии его распознать. В результате исследования показано, что зависимость среднего порога устойчивости полезных аттракторов от числа запомненных образов может быть немонотонной, за счет чего устойчивость сети может возрастать при запоминании новых образов. Анализ порогов устойчивости позволил оценить максимальное число образов, которые может хранить сеть без фатальных ошибок в их распознавании. При этом порог устойчивости полезных аттракторов оказывается близким к минимально возможному, то есть к единице. В Заключении работы сделан вывод о том, что вычисление порогов устойчивости дает важную информацию о бассейнах притяжения аттракторов сети.

Ключевые слова: 
динамические сети
коллективная динамика
ассоциативная память
Благодарности: 
Работа выполнена при поддержке Российского Фонда Фундаментальных Исследований, грант № 20-52-12021
Список источников: 
  1. Hopfield JJ. Neural networks and physical systems with emergent collective computational abilities. Proc. Natl. Acad. Sci. U. S. A. 1982;79(8):2554–2558. DOI: 10.1073/pnas.79.8.2554.
  2. Hopfield JJ. Neurons with graded response have collective computational properties like those of two-state neurons. Proc. Natl. Acad. Sci. U. S. A. 1984;81(10):3088–3092. DOI: 10.1073/pnas. 81.10.3088.
  3. Farhat NH, Psaltis D, Prata A, Paek E. Optical implementation of the Hopfield model. Applied Optics. 1985;24(10):1469–1475. DOI: 10.1364/AO.24.001469.
  4. Hoppensteadt FC, Izhikevich EM. Pattern recognition via synchronization in phase-locked loop neural networks. IEEE Transactions on Neural Networks. 2000;11(3):734–738. DOI: 10.1109/ 72.846744.
  5. Joya G, Atencia MA, Sandoval F. Hopfield neural networks for optimization: study of the different dynamics. Neurocomputing. 2002;43(1–4):219–237. DOI: 10.1016/S0925-2312(01)00337-X.
  6. Wen UP, Lan KM, Shih HS. A review of Hopfield neural networks for solving mathematical programming problems. European Journal of Operational Research. 2009;198(3):675–687. DOI: 10.1016/j.ejor.2008.11.002.
  7. McEliece R, Posner E, Rodemich E, Venkatesh S. The capacity of the Hopfield associative memory. IEEE Transactions on Information Theory. 1987;33(4):461–482. DOI: 10.1109/TIT.1987.1057328.
  8. Storkey A. Increasing the capacity of a hopfield network without sacrificing functionality. In: Gerstner W, Germond A, Hasler M, Nicoud JD. editors. Artificial Neural Networks — ICANN’97. ICANN 1997. Vol. 1327 of Lecture Notes in Computer Science. Berlin, Heidelberg: Springer; 1997. P. 451–456. DOI: 10.1007/BFb0020196.
  9. Krotov D, Hopfield JJ. Dense associative memory for pattern recognition. In: NIPS’16: Proceedings of the 30th International Conference on Neural Information Processing Systems. 5–10 December 2016, Barcelona, Spain. New York: Curran Associates Inc.; 2016. P. 1180–1188. DOI: 10.5555/ 3157096.3157228.
  10. Ramsauer H, Schafl B, Lehner J, Seidl P, Widrich M, Adler T, Gruber L, Holzleitner M, Pavlovic M, Sandve GK, Greiff V, Kreil D, Kopp M, Klambauer G, Brandstetter J, Hochreiter S. Hopfield networks is all you need [Electronic resource]. arXiv:2008.02217. arXiv Preprint; 2020. 94 p. Available from: https://arxiv.org/abs/2008.02217.
  11. Klinshov VV, Nekorkin VI, Kurths J. Stability threshold approach for complex dynamical systems. New Journal of Physics. 2016;18(1):013004. DOI: 10.1088/1367-2630/18/1/013004.
  12. Menck PJ, Heitzig J, Marwan N, Kurths J. How basin stability complements the linear-stability paradigm. Nature Physics. 2013;9(2):89–92. DOI: 10.1038/nphys2516.
  13. Chakraborty A, Alam M, Dey V, Chattopadhyay A, Mukhopadhyay D. Adversarial attacks and defences: A survey [Electronic resource]. arXiv:1810.00069. arXiv Preprint; 2018. 31 p. Available from: https://arxiv.org/abs/1810.00069.
  14. Amari SI, Maginu K. Statistical neurodynamics of associative memory. Neural Networks. 1988;1(1):63–73. DOI: 10.1016/0893-6080(88)90022-6.
Поступила в редакцию: 
24.11.2022
Принята к публикации: 
26.12.2022
Опубликована онлайн: 
18.01.2023
Опубликована: 
31.01.2023
  • 1523 просмотра