Статья имеет ранний доступ!
Влияние внутреннего шума на точность работы свёрточной нейронной сети
Цель настоящего исследования – установить особенности распространения и накопления шумов в свёрточной нейронной сети. В данной статье рассматривается, как меняется точность работы обученной свёрточной сети в зависимости от типа шумового воздействия и его интенсивности.
Методы. В качестве источников шумов рассматриваются источники белого гауссовского шума. В зависимости от способа воздействия шума на искусственные нейроны использовалось аддитивное и мультипликативное шумовое воздействие, а в зависимости от влияния на слой нейронов рассматривалось коррелированное и некоррелированное воздействие.
Результаты. Было показано, что аддитивные шумы (как коррелированный, так и некоррелированный) в сетях со свёрточным слоем накапливаются сильнее, чем в сети без него. Зависимости точности работы сети от интенсивности мультипликативного коррелированного шума
выглядят одинаково для сетей со свёрточным слоем и без, а аналогичные зависимости для мультипликативного некоррелированного шума выглядят гораздо лучше для сети со свёрточным слоем. Также были рассмотрены слои дискретизации с MaxPooling и MeanPooling. Их использование позволяет существенно поднять точность при наличии аддитивного шума в свёрточном слое. Спадание точности при увеличении интенсивности мультипликативного коррелированного шума практически одинаковое для сетей со слоем субдискретизации и без него. Что же касается некоррелированного мультипликативного шума, то сети с MaxPooling менее устойчивы к его воздействию.
Заключение. Показано, что аддитивный шум сильно ухудшает работу сети при наличии свёрточного слоя, однако его негативное воздействие можно уменьшить при наличии слоя субдискретизации сразу после слоя свёртки. Для мультипликативного шума выводы не такие
однозначные. В большинстве случаев его влияние одинаково независимо от наличия слоев свёртки и субдискретизации. Однако использование MaxPooling в слое субдискретизации делает сеть менее устойчивой к мультипликативному некоррелированному шумовому воздействию.
-
- 97 просмотров