Для цитирования:
Киселев М. В., Ларионов Д. А., Урусов А. М. Импульсный бинарный нейрон - детектор причинно-следственных связей // Известия вузов. ПНД. 2024. Т. 32, вып. 5. С. 589-605. DOI: 10.18500/0869-6632-003121, EDN: MJFDNA
Импульсный бинарный нейрон - детектор причинно-следственных связей
Цель. Распознавание причинно-следственных связей является фундаментальной функцией нейронных сетей, обучающихся целенаправленному поведению, осуществляющих планирование действий и формирующих модели динамики внешнего мира. Эта функциональность особенно важна для реализации обучения с подкреплением. В контексте импульсных нейронных сетей события представлены в виде импульсов (спайков), испускаемых нейронами сети или входными узлами. Обнаружение причинно-следственных связей между этими событиями является необходимым для эффективной реализации обучения с подкреплением.
Методы. В данной работе представлен новый подход к распознаванию причинно-следственных связей с использованием импульсного бинарного нейрона. Этот подход основан на специально разработанных простых и эффективных правилах синаптической пластичности. При этом учитываются временные аспекты обнаруженных причинно-следственных связей, а также то, что спайковые сигналы могут иметь вид как одиночных импульсов, так и плотных последовательностей импульсов (всплесков), как это наблюдается в биологическом мозге. Кроме того, в данном исследовании уделяется большое внимание вопросу эффективной реализации предложенных моделей на современных и перспективных нейропроцессорах.
Результаты. В сравнении с точными методами машинного обучения, такими как алгоритмы деревьев решений и сверточные нейронные сети, наш нейрон демонстрирует удовлетворительную точность, несмотря на свою простоту.
Заключение. В данной работе представлена архитектура импульсной нейронной сети, включающая нейроны описываемого типа, которая может эффективно применяться в более сложных информационных окружениях, что делает ее перспективным кандидатом для реализации обучения с подкреплением в импульсных нейронных сетях.
- Moreno-Bote R., Drugowitsch J. Causal Inference and Explaining Away in a Spiking Network // Scientific Reports. 2015. Vol. 5. P. 17531. DOI: 10.1038/srep17531.
- Lansdell B. J., Kording K. P. Neural spiking for causal inference and learning // PLoS Computational Biology. 2023. Vol. 19, no. 4. P. e1011005. DOI: 10.1371/journal.pcbi.1011005.
- Skatchkovsky N., Jang O., Simeone O. Bayesian continual learning via spiking neural networks // Frontiers in Computational Neuroscience. 2022. Vol. 16. P. 1037976. DOI: 10.3389/fncom.2022. 1037976.
- Friston K. The history of the future of the bayesian brain // Neuroimage. 2012. Vol. 62, no. 2. P. 1230–1233. DOI: 10.1016/j.neuroimage.2011.10.004.
- Kasabov N., Scott N. M., Tu E., Marks S., Sengupta N., Capecci E., Othman M., Doborjeh M. G., Murli N., Hartono R., Espinosa-Ramos J. I., Zhou L., Alvi F. B., Wang G., Taylor D., Feigin V., Gulyaev S., Mahmoud M., Hou Z.-G., Yang J. Evolving spatio-temporal data machines based on the NeuCube neuromorphic framework: Design methodology and selected applications // Neural Networks. 2016. Vol. 78. P. 1–14. DOI: 10.1016/j.neunet.2015.09.011.
- Kasabov N. K. NeuCube: a spiking neural network architecture for mapping, learning and understanding of spatio-temporal brain data // Neural Networks. 2014. Vol. 52. P. 62–76. DOI: 10.1016/j.neunet.2014.01.006.
- Schliebs S., Fiasche M., Kasabov N. Constructing Robust Liquid State Machines to Process Highly Variable Data Streams // International Conference on Artificial Neural Networks ICANN 2012: Artificial Neural Networks and Machine Learning – ICANN. 2012. P. 604–611. DOI: 10.1007/978- 3-642-33269-2_76.
- Doborjeh M., Doborjeh Z., Merkin A., Krishnamurthi R., Enayatollahi R., Feigin V., Kasabov N. Personalized Spiking Neural Network Models of Clinical and Environmental Factors to Predict Stroke // Cognitive Computation. 2022. Vol. 14. P. 2187–2202. DOI: 10.1007/s12559-021-09975-x.
- Fernando C. From blickets to synapses: Inferring temporal causal networks by observation // Cognitive Science. 2013. Vol. 37, no. 8. P. 1426–1470. DOI: 10.1111/cogs.12073.
- Markram H., Gerstner W., Sjostrom P. J.A history of spike-timing-dependent plasticity // Frontiers in Synaptic Neuroscience. 2011. Vol. 3. P. 4. DOI: 10.3389/fnsyn.2011.00004.
- Kerr R. R., Grayden D. B., Thomas D. A., Gilson M., Burkitt A. N. Coexistence of Reward and Unsupervised Learning During the Operant Conditioning of Neural Firing Rates // PLoS ONE. 2014. Vol. 9, no. 1. P. e87123. DOI: 10.1371/journal.pone.0087123.
- Yuan M., Wu X., Yan R., Tang H. Reinforcement Learning in Spiking Neural Networks with Stochastic and Deterministic Synapses // Neural Computation. 2019. Vol. 31, no. 12. P. 2368–2389. DOI: 10.1162/neco_a_01238.
- Mozafari M., Ganjtabesh M., Nowzari-Dalini A., Thorpe S. J., Masquelier T. Bio-Inspired Digit Recognition Using Reward-Modulated Spike-Timing-Dependent Plasticity in Deep Convolutional Networks // Pattern Recognition. 2019. Vol. 94. P. 87–95. DOI: 10.1016/j.patcog.2019.05.015.
- Fremaux N., Sprekeler H., Gerstner W. Functional Requirements for Reward-Modulated SpikeTiming-Dependent Plasticity // The Journal of Neuroscience. 2010. Vol. 30, no. 40. P. 13326–13337. DOI: 10.1523/JNEUROSCI.6249-09.2010.
- Juarez-Lora A., Ponce-Ponce V. H., Sossa H., Rubio-Espino E. R-STDP Spiking Neural Network Architecture for Motion Control on a Changing Friction Joint Robotic Arm // Frontiers in Neurorobotics. 2022. Vol. 16. P. 904017. DOI: 10.3389/fnbot.2022.904017.
- Ivanov D., Chezhegov A., Kiselev M., Grunin A., Larionov D. Neuromorphic artificial intelligence systems // Frontiers in Neuroscience. 2022. Vol. 16. P. 959626. DOI: 10.3389/fnins.2022.959626.
- Kiselev M., Ivanov A., Ivanov D. Approximating Conductance-Based Synapses by Current-Based Synapses // Advances in Neural Computation, Machine Learning, and Cognitive Research IV. Neuroinformatics 2020. Studies in Computational Intelligence. 2020. Vol. 925. P. 394–402. DOI: 10.1007/978-3-030-60577-3_47.
- Kiselev M. V. A Synaptic Plasticity Rule Providing a Unified Approach to Supervised and Unsupervised Learning // Proceedings of International Joint Conference on Neural Networks. 2017. P. 3806–3813. DOI: 10.1109/IJCNN.2017.7966336.
- Ho V. M., Lee J. A., Martin K. C. The cell biology of synaptic plasticity // Science. 2011. Vol. 334, no. 6056. P. 623–628. DOI: 10.1126/science.1209236.
- Citri A., Malenka R. C. Synaptic Plasticity: Multiple Forms, Functions, and Mechanisms // Neuropsychopharmacology Reviews. 2008. Vol. 33. P. 18–41. DOI: 10.1038/sj.npp.1301559.
- Roberts P. D., Leen T. K. Anti-hebbian spike-timing-dependent plasticity and adaptive sensory processing // Frontiers in Computational Neuroscience. 2010. Vol. 4. P. 156. DOI: 10.3389/fncom. 2010.00156.
- Jiajun F. A Review for Deep Reinforcement Learning in Atari: Benchmarks, Challenges, and Solutions // ArXiv:abs/2112.04145. 2022.
- 194 просмотра