Известия высших учебных заведений

Прикладная нелинейная динамика

ISSN 0869-6632 (Print)
ISSN 2542-1905 (Online)

Для цитирования:

Семенова Н. И. Влияние внутреннего шума на точность работы свёрточной нейронной сети // Известия вузов. ПНД. 2025. Т. 33, вып. 6. С. 898-916. DOI: 10.18500/0869-6632-003177, EDN: VYXWAN

Статья опубликована на условиях лицензии Creative Commons Attribution 4.0 International (CC-BY 4.0).
Полный текст в формате PDF(Ru):
Иконка PDF and_2025-6_semenova_898-916.pdf
(загрузок: 0)
Язык публикации: 
русский
Рубрика: 
Нелинейная динамика и нейронаука
Тип статьи: 
Научная статья
УДК: 
004.032.26, 530.152.2
DOI: 
10.18500/0869-6632-003177
EDN: 
VYXWAN

Влияние внутреннего шума на точность работы свёрточной нейронной сети

Авторы: 
Семенова Надежда Игоревна, Саратовский национальный исследовательский государственный университет имени Н.Г. Чернышевского (СГУ)
Аннотация: 

Цель настоящего исследования – установить особенности распространения и накопления шумов в свёрточной нейронной сети. В данной статье рассматривается, как меняется точность работы обученной свёрточной сети в зависимости от типа шумового воздействия и его интенсивности.

Методы. В качестве источников шумов рассматриваются источники белого гауссовского шума. В зависимости от  способа воздействия шума на искусственные нейроны использовалось аддитивное и мультипликативное шумовое воздействие, а в зависимости от влияния на слой нейронов рассматривалось коррелированное и некоррелированное воздействие.

Результаты. Было показано, что аддитивные шумы (как коррелированный, так и некоррелированный) в сетях со свёрточным слоем накапливаются сильнее, чем в сети без него. Зависимости точности работы сети от интенсивности мультипликативного коррелированного шума
выглядят одинаково для сетей со свёрточным слоем и без, а аналогичные зависимости для мультипликативного некоррелированного шума выглядят гораздо лучше для сети со свёрточным слоем. Также были рассмотрены слои дискретизации с MaxPooling и MeanPooling. Их использование позволяет существенно поднять точность при наличии аддитивного шума в свёрточном слое. Спадание точности при увеличении интенсивности мультипликативного коррелированного шума практически одинаковое для сетей со слоем субдискретизации и без него. Что же касается некоррелированного мультипликативного шума, то сети с MaxPooling менее устойчивы к его воздействию.

Заключение. Показано, что аддитивный шум сильно ухудшает работу сети при наличии свёрточного слоя, однако его негативное воздействие можно уменьшить при наличии слоя субдискретизации сразу после слоя свёртки. Для мультипликативного шума выводы не такие
однозначные. В большинстве случаев его влияние одинаково независимо от наличия слоев свёртки и субдискретизации. Однако использование MaxPooling в слое субдискретизации делает сеть менее устойчивой к мультипликативному некоррелированному шумовому воздействию.
 

Ключевые слова: 
нейронные сети
сверточные нейронные сети
шумовое воздействие
белый шум
уменьшение шума
Благодарности: 
Исследование выполнено за счет гранта Российского научного фонда № 23-72-01094, https://rscf.ru/project/23-72-01094/.
Список источников: 
  1. LeCun Y., Bengio Y., Hinton G. Deep learning // Nature. 2015. Vol. 521, no. 7553. P. 436-444 DOI: 10.1038/nature14539.
  2. Krizhevsky A., Sutskever I., Hinton G. E. ImageNet classification with deep convolutional neural networks // Commun. ACM. 2017. Vol. 60, no. 6. P. 84-90 DOI: 10.1145/3065386.
  3. Maturana D., Scherer S. VoxNet: A 3D Convolutional Neural Network for real-time object recognition // In: 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). 2015, Hamburg, Germany. 2015. P. 922-928 DOI: 10.1109/IROS.2015.7353481.
  4. Graves A., Mohamed A., Hinton G. Speech recognition with deep recurrent neural networks // In: 2013 IEEE International Conference on Acoustics, Speech and Signal Processing. 2013, Vancouver, BC, Canada. 2013. P. 6645-6649 DOI: 10.1109/ICASSP.2013.6638947.
  5. Kar S., Moura J. M.,F. Distributed consensus algorithms in sensor networks with imperfect communication: Link failures and channel noise // IEEE Transactions on Signal Processing. 2009. Vol. 57, no. 1. P. 355-369 DOI: 10.1109/TSP.2008.2007111.
  6. AI and compute . [Electronic resource]. 2018. Available from: https://openai.com/index/ai-and-compute/https://openai.com/index/ai-and-....
  7. Hasler J., Marr H. B. Finding a roadmap to achieve large neuromorphic hardware systems // Front. Neurosci. 2013. Vol. 7. P. 118 DOI: 10.3389/fnins.2013.00118.
  8. Gupta S., Agrawal A., Gopalakrishnan K., Narayanan P. Deep Learning with Limited Numerical Precision // In: Proceedings of the 32nd International Conference on International Conference on Machine Learning. 2015. Vol. 37. P. 1737-1746 DOI: 10.1109/72.80206.
  9. Karniadakis G. E., Kevrekidis I. G., Lu L., Perdikaris P., Wang S., Yang L. Physics-informed machine learning // Nat. Rev. Phys. 2021. Vol. 3. P. 422-440 DOI: 10.1038/s42254-021-00314-5.
  10. Aguirre F., Sebastian A., Le Gallo M., Song W., Wang T., Yang J. J., Lu W., Chang M.-F., Ielmini D., Yang Y., Mehonic A., Kenyon A., Villena M. A., Roldán J. B., Wu Y., Hsu H u.-H., Raghavan N., Suñé J., Miranda E., Eltawil A., Setti G., Smagulova K., Salama K. N., Krestinskaya O., Yan X., Ang K.-W., Jain S., Li S., Alharbi O., Pazos S., Lanza M. Hardware implementation of memristor-based artificial neural networks // Nat. Commun. 2024. Vol. 15. P. 1974 DOI: 10.1038/s41467-024-45670-9.
  11. Chen Y., Nazhamaiti M., Xu H., Meng Y., Zhou T., Li G., Fan J., Wei Q., Wu J., Qiao F., Fang L., Dai Q. All-analog photoelectronic chip for high-speed vision tasks // Nature. 2023. Vol. 623. P. 48-57 DOI: 10.1038/s41586-023-06558-8.
  12. Brunner D., Soriano M. C., Mirasso C. R., Fischer I. Parallel photonic information processing at gigabyte per second data rates using transient states // Nat. Commun. 2023. Vol. 4. P. 1364 DOI: 10.1038/ncomms2368.
  13. Tuma T., Pantazi A., Le Gallo M., Sebastian A., Eleftheriou E. Stochastic phase-change neurons // Nature Nanotech. 2016. Vol. 11. P. 693-699 DOI: 10.1038/nnano.2016.70.
  14. Torrejon J., Riou M., Araujo F., Tsunegi S., Khalsa G., Querlioz D., Bortolotti P., Cros V., Yakushiji K., Fukushima A., Kubota H., Yuasa S h., Stiles M. D., Grollier J. Neuromorphic computing with nanoscale spintronic oscillators // Nature. 2017. Vol. 547. P. 428-431. 10.1038/nature2301110.1038/nature23011.
  15. Psaltis D., Brady D., Gu X. G., Lin S. Holography in artificial neural networks // Nature. 1990. Vol. 343. P. 325-330 DOI: 10.1038/343325a0.
  16. Bueno J., Maktoobi S., Froehly L., Fischer I., Jacquot M., Larger L., Brunner D. Reinforcement learning in a large-scale photonic recurrent neural network // Optica. 2018. Vol. 5, no. 6. P. 756-760 DOI: 10.1364/OPTICA.5.000756.
  17. Lin X., Rivenson Y., Yardimci N. T., Veli M., Jarrahi M., Ozcan A. All-optical machine learning using diffractive deep neural networks // Science. 2018. Vol. 361. P. 1004-1008. 10.1126/science.aat808410.1126/science.aat8084.
  18. Shen Y., Harris N. C., Skirlo S., Prabhu M., Baehr-Jones T., Hochberg M., Sun X., Zhao S., Larochelle H., Englund D., Soljacic M. Deep learning with coherent nanophotonic circuits // Nature Photonics. 2017. Vol. 11. P. 441-446 DOI: 10.1038/nphoton.2017.93.
  19. Tait A. N., De Lima T. F., Zhou E., Wu A. X., Nahmias M. A., Shastri B. J., Prucnal P. R. Neuromorphic photonic networks using silicon photonic weight banks // Sci. Rep. 2017. Vol. 7, no. 1. P. 7430 DOI: 10.1038/s41598-017-07754-z.
  20. Moughames J., Porte X., Thiel M., Ulliac G., Larger L., Jacquot M., Kadic M., Brunner D. Three-dimensional waveguide interconnects for scalable integration of photonic neural networks // Optica. 2020. Vol. 7, no. 6. P. 640-646 DOI: 10.1364/OPTICA.388205.
  21. Dinc N. U., Psaltis D., Brunner D. Optical neural networks: The 3D connection // Photoniques. 2020. Vol. 104. P. 34-38 DOI: 10.1051/photon/202010434.
  22. Moughames J., Porte X., Larger L., Jacquot M., Kadic M., Brunner D. 3D printed multimode-splitters for photonic interconnects // Optical Materials Express. 2020. Vol. 10, no. 11. P. 2952-2961 DOI: 10.1364/OME.402974.
  23. Semenova N., Larger L., Brunner D. Understanding and mitigating noise in trained deep neural networks // Neural Netw. 2022. Vol. 146. P. 151-160 DOI: 10.1016/j.neunet.2021.11.008.
  24. Semenova N. Impact of white Gaussian internal noise on analog echo-state neural networks // arXiv:2405.07670. arXiv Preprint, 2024. 10 p DOI: 10.48550/arXiv.2405.07670.
  25. Semenova N., Brunner D. Noise-mitigation strategies in physical feedforward neural networks // Chaos. 2022. Vol. 32, no. 6. P. 061106 DOI: 10.1063/5.0096637.
  26. Semenova N., Brunner D. Impact of white noise in artificial neural networks trained for classification: Performance and noise mitigation strategies // Chaos. 2024. Vol. 34, no. 5. P. 051101 DOI: 10.1063/5.0206807.
  27. Semenova N., Porte X., Andreoli L., Jacquot M., Larger L., Brunner D. Fundamental aspects of noise in analog-hardware neural networks // Chaos. 2019. Vol. 29, no. 20. P. 103128 DOI: 10.1063/1.5120824.
  28. Li Z., Liu F., Yang W., Peng S., Zhou J. A survey of convolutional neural networks: Analysis, applications, and prospects // IEEE Transactions on Neural Networks and Learning Systems. 2022. Vol. 33, no. 12. P. 6999-7019 DOI: 10.1109/TNNLS.2021.3084827.
  29. LeCun Y. The MNIST database of handwritten digits [Electronic resourse] // 1998. Available from: http://yann.lecun.com/exdb/mnist/.
  30. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение. М.: ДМК Пресс, 2018. 652 c.
  31. Chollet F. et a l. Keras [Electronic resource]. 2015. Available from: https://github.com/fchollet/keras.
  32. Stephanie M. V., Pham L., Schindler A., Grasser T., Waltl M., Schrenk B. Photonic neuron with on frequency-domain ReLU activation function // Journal of Lightwave Technology. 2024. Vol. 42, no. 22. P. 7919-7928 DOI: 10.1109/JLT.2024.3413976.
  33. Li G. H.,Y., Sekine R., Nehra R., Gray R. M., Ledezma L., Guo Q., Marandi A. All-optical ultrafast ReLU function for energy-efficient nanophotonic deep learning // Nanophotonics. 2023. Vol. 12, no. 5. P. 847-855 DOI: 10.1515/nanoph-2022-0137.
Поступила в редакцию: 
28.03.2025
Принята к публикации: 
26.05.2025
Опубликована онлайн: 
30.05.2025
Опубликована: 
28.11.2025
  • 802 просмотра