Известия высших учебных заведений

Прикладная нелинейная динамика

ISSN 0869-6632 (Print)
ISSN 2542-1905 (Online)

Для цитирования:

Москвитин В. М., Семенова Н. И. Влияние шума на рекуррентные нейронные сети с нелинейными нейронами // Известия вузов. ПНД. 2023. Т. 31, вып. 4. С. 484-500. DOI: 10.18500/0869-6632-003052, EDN: XGRKMR

Статья опубликована на условиях лицензии Creative Commons Attribution 4.0 International (CC-BY 4.0).
Полный текст в формате PDF(Ru):
Иконка PDF and_2023-4_7moskvitin-semenova_484-500.pdf
(загрузок: 0)
Полный текст в формате PDF(En):
Иконка PDF and_2023_4_moskvitin_semenova_eng.pdf
(загрузок: 6)
Язык публикации: 
русский
Рубрика: 
Нелинейная динамика и нейронаука
Тип статьи: 
Научная статья
УДК: 
004.032.26, 530.152.2
DOI: 
10.18500/0869-6632-003052
EDN: 
XGRKMR

Влияние шума на рекуррентные нейронные сети с нелинейными нейронами

Авторы: 
Москвитин Виктор Максимович, Саратовский национальный исследовательский государственный университет имени Н.Г. Чернышевского (СГУ)
Семенова Надежда Игоревна, Саратовский национальный исследовательский государственный университет имени Н.Г. Чернышевского (СГУ)
Аннотация: 

Цель настоящего исследования — установить особенности распространения и накопления шумов в рекуррентной нейронной сети на примере упрощенной эхо-сети. В данной работе исследовалось влияние типа функции активации искусственных нейронов и матриц связи между ними.

Методы. В качестве источников шумов рассматриваются источники белого Гауссова шума. В зависимости от способа воздействия шума на искусственные нейроны использовались аддитивный, мультипликативный и смешанный шум. Оценка шумового воздействия проводилась с использованием дисперсии (вариации) выходного сигнала.

Результаты. Показано, что функция активации играет существенную роль в накоплении шумов. Рассмотрены две нелинейные функции активации: гиперболический тангенс и сигмоида со значениями от 0 до 1. Показано, что для второй функции происходит подавление некоторых типов шумов. В результате рассмотрения влияния матриц связи было выявлено, что диагональные матрицы связи с большим коэффициентом рассеяния приводят к меньшему накоплению шума в резервуаре эхо-сети при увеличении влияния памяти резервуара.

Заключение. Показано, что функции активации вида сигмоиды со значениями от 0 до 1 подходят для подавления мультипликативных и смешанных шумов. Было рассмотрено накопление шума в резервуаре для трех типов матриц связи внутри резервуара: однородная матрица, ленточная матрица с малым коэффициентом рассеяния и ленточная матрица с большим коэффициентом рассеяния. Было установлено, что эхо-сети с ленточной матрицей с большим коэффициентом рассеяния накапливают шумы меньше всех остальных. Это работает как для аддитивных, так и для мультипликативных шумов.

Ключевые слова: 
нейронные сети
рекуррентные нейронные сети
эхо-сети
шумовое воздействие
белый шум
нелинейная функция активации
Благодарности: 
Работа была поддержана грантом Российского Научного Фонда 21-72-00002
Список источников: 
  1. LeCun Y, Bengio Y, Hinton G. Deep learning. Nature. 2015;521(7553):436–444. DOI: 10.1038/ nature14539.
  2. Krizhevsky A, Sutskever I, Hinton GE. ImageNet classification with deep convolutional neural networks. Commun. ACM. 2017;60(6):84–90. DOI: 10.1145/3065386.
  3. Maturana D, Scherer S. VoxNet: A 3D Convolutional Neural Network for real-time object recognition. In: 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 28 September 2015 – 02 October 2015, Hamburg, Germany. New York: IEEE; 2015. P. 922–928. DOI: 10.1109/IROS.2015.7353481.
  4. Graves A, Mohamed AR, Hinton G. Speech recognition with deep recurrent neural networks. In: 2013 IEEE International Conference on Acoustics, Speech and Signal Processing. 26–31 May 2013, Vancouver, BC, Canada. New York: IEEE; 2013. P. 6645–6649. DOI: 10.1109/ICASSP.2013. 6638947.
  5. Kar S, Moura JMF. Distributed consensus algorithms in sensor networks with imperfect communication: Link failures and channel noise. IEEE Transactions on Signal Processing. 2009;57(1):355–369. DOI: 10.1109/TSP.2008.2007111.
  6. Mandic DP, Chambers JA. Recurrent Neural Networks for Prediction: Learning Algorithms, Architectures and Stability. New York: Wiley; 2001. 304 p. DOI: 10.1002/047084535X.
  7. Bailador G, Roggen D, Troster G, Trivino G. Real time gesture recognition using continuous time recurrent neural networks. In: 2nd International ICST Conference on Body Area Networks. 11th–13th Jun 2007, Florence, Italy. ICST; 2007. 8 p. DOI: 10.4108/bodynets.2007.149.
  8. Hasler J, Marr H. Finding a roadmap to achieve large neuromorphic hardware systems. Frontiers in Neuroscience. 2013;7:118. DOI: 10.3389/fnins.2013.00118.
  9. Gupta S, Agrawal A, Gopalakrishnan K, Narayanan P. Deep learning with limited numerical precision. In: Proceedings of the 32nd International Conference on International Conference on Machine Learning - Volume 37. 6-11 July 2015, Lille, France. JMLR; 2015. P. 1737–1746.
  10. Karniadakis GE, Kevrekidis IG, Lu L, Perdikaris P, Wang S, Yang L. Physics-informed machine learning. Nature Reviews Physics. 2021;3(6):422–440. DOI: 10.1038/s42254-021-00314-5.
  11. Brunner D, Soriano MC, Mirasso CR, Fischer I. Parallel photonic information processing at gigabyte per second data rates using transient states. Nature Communications. 2013;4(1):1364. DOI: 10.1038/ncomms2368.
  12. Tuma T, Pantazi A, Le Gallo M, Sebastian A, Eleftheriou E. Stochastic phase-change neurons. Nature Nanotechnology. 2016;11(8):693–699. DOI: 10.1038/nnano.2016.70.
  13. Torrejon J, Riou M, Araujo FA, Tsunegi S, Khalsa G, Querlioz D, Bortolotti P, Cros V, Yakushiji K, Fukushima A, Kubota H, Yuasa S, Stiles MD, Grollier J. Neuromorphic computing with nanoscale spintronic oscillators. Nature. 2017;547(7664):428–431. DOI: 10.1038/nature23011.
  14. Psaltis D, Brady D, Gu XG, Lin S. Holography in artificial neural networks. Nature. 1990;343 (6256):325–330. DOI: 10.1038/343325a0.
  15. Bueno J, Maktoobi S, Froehly L, Fischer I, Jacquot M, Larger L, Brunner D. Reinforcement learning in a large-scale photonic recurrent neural network. Optica. 2018;5(6):756–760. DOI: 10.1364/ OPTICA.5.000756.
  16. Lin X, Rivenson Y, Yardimci NT, Veli M, Luo Y, Jarrahi M, Ozcan A. All-optical machine learning using diffractive deep neural networks. Science. 2018;361(6406):1004–1008. DOI: 10.1126/science. aat8084.
  17. Shen Y, Harris NC, Skirlo S, Prabhu M, Baehr-Jones T, Hochberg M, Sun X, Zhao S, Larochelle H, Englund D, Soljacic M. Deep learning with coherent nanophotonic circuits. Nature Photonics. 2017;11(93):441–446. DOI: 10.1038/nphoton.2017.93.
  18. Tait AN, de Lima TF, Zhou E, Wu AX, Nahmias MA, Shastri BJ, Prucnal PR. Neuromorphic photonic networks using silicon photonic weight banks. Scientific Reports. 2017;7(1):7430. DOI: 10.1038/s41598-017-07754-z.
  19. Moughames J, Porte X, Thiel M, Ulliac G, Larger L, Jacquot M, Kadic M, Brunner D. Three dimensional waveguide interconnects for scalable integration of photonic neural networks. Optica. 2020;7(6):640–646. DOI: 10.1364/OPTICA.388205.
  20. Dinc NU, Psaltis D, Brunner D. Optical neural networks: The 3D connection. Photoniques. 2020;(104):34–38. DOI: 10.1051/photon/202010434. 
  21. Moughames J, Porte X, Larger L, Jacquot M, Kadic M, Brunner D. 3D printed multimode splitters for photonic interconnects. Opt. Mater. Express. 2020;10(11):2952–2961. DOI: 10.1364/ OME.402974.
  22. Semenova N, Porte X, Andreoli L, Jacquot M, Larger L, Brunner D. Fundamental aspects of noise in analog-hardware neural networks. Chaos: An Interdisciplinary Journal of Nonlinear Science. 2019;29(10):103128. DOI: 10.1063/1.5120824.
  23. Semenova N, Larger L, Brunner D. Understanding and mitigating noise in trained deep neural networks. Neural Networks. 2022;146:151–160. DOI: 10.1016/j.neunet.2021.11.008.
  24. Semenova N, Brunner D. Noise-mitigation strategies in physical feedforward neural networks. Chaos: An Interdisciplinary Journal of Nonlinear Science. 2022;32(6):061106. DOI: 10.1063/ 5.0096637.
  25. Jaeger H. Tutorial on training recurrent neural networks, covering BPPT, RTRL, EKF and the “echo state network” approach. GMD-Report 159. Bonn: German National Research Center for Information Technology; 2002. 48 p.
  26. Prokhorov D. Echo state networks: appeal and challenges. In: Proceedings. 2005 IEEE International Joint Conference on Neural Networks. Vol. 3. 31 July 2005 – 04 August 2005, Montreal, QC, Canada. New York: IEEE; 2005. P. 1463–1466. DOI: 10.1109/IJCNN.2005.1556091.
  27. Cerina L, Santambrogio MD, Franco G, Gallicchio C, Micheli A. EchoBay: Design and optimization of echo state networks under memory and time constraints. ACM Transactions on Architecture and Code Optimization. 2020;17(3):1–24. DOI: 10.1145/3404993.
  28. Lukosevicius M, Jaeger H. Reservoir computing approaches to recurrent neural network training. Computer Science Review. 2009;3(3):127–149. DOI: 10.1016/j.cosrev.2009.03.005.
Поступила в редакцию: 
06.03.2023
Принята к публикации: 
02.05.2023
Опубликована онлайн: 
12.07.2023
Опубликована: 
31.07.2023
  • 894 просмотра