Статья имеет ранний доступ!
Рекуррентная нейронная сеть, состоящая из систем ФитцХью–Нагумо. Необходимые для обучения характеристики
Цель настоящего исследования — установить возможность и особенности обучения рекуррентной нейронной сети, состоящей из систем ФитцХью–Нагумо с запаздывающей обратной связью, для предсказания импульсного (спайкового сигнала).
Методы. Рассматриваемая сеть состояла из N=60 систем ФитцХью–Нагумо с разным временем запаздывания. В процессе обучения решалась задача, какой именно нейрон должен быть активирован и с какой силой запаздывающей обратной связи. Обучение сети проводилось при помощи градиентного спуска с разных начальных условий. В процессе исследований было обнаружено, что использование стандартных для обучения рекуррентных сетей характеристик, таких как среднеквадратическая ошибка или средняя абсолютная ошибка, не применимо в рамках данной задачи, поэтому был предложен альтернативный метод вычисления функции потерь.
Результаты. Новая предложенная комбинированная функция потерь представляет собой сумму среднеквадратической ошибки и ошибки межспайкового интервала, и поэтому обладает следующими преимуществами: 1 – учитывает периодичность спайков и межспайковые интервалы, 2 – адекватно реагирует на отсутствие выходного сигнала сети, 3 – наряду с импульсной динамикой учитывает и колебания небольшой амплитуды, что позволяет предсказывать сложные квазипериодические сигналы. Было показано, что градиентный спуск может быть использован для поставленной задачи, но из-за нелинейности функции потерь необходимо использовать несколько начальных условий. Чем больше начальных условий – тем точнее результат.
Заключение. Была успешно решена задача предсказания импульсного (спайкового) сигнала при помощи самозамкнутой рекуррентной нейронной сети, состоящей из систем ФитцХью–Нагумо с запаздывающей обратной связью. Наглядно было показано, какие особенности при этом должна учитывать функция потерь, и каким образом должен быть реализован градиентный спуск.
-
- 76 просмотров