Для цитирования:
Малышев Ю. А., Яхно В. Г. Версия биоморфной системы навигации // Известия вузов. ПНД. 2024. Т. 32, вып. 5. С. 606-624. DOI: 10.18500/0869-6632-003107, EDN: BUSCAO
Версия биоморфной системы навигации
Цель настоящей работы состоит в создании и изучении динамики функционирования биорелевантной системы визуальной навигации.
Методы. В работе используются системы одновременной навигации и составления карты RatSLAM и Orb-SLAM. RatSLAM является биорелевантной моделью визуальной навигации в гиппокампе грызунов. Orb-SLAM представляет собой систему одновременной навигации и составления карты, работающую по принципу поиска и отслеживания изменения положения особых точек на изображении.
Результаты. В статье представлена версия модифицированной системы визуальной навигации. Система состоит из модуля визуальной одометрии на основе системы Orb-SLAM, а также модуля составления карты и замыкания циклов на основе системы RatSLAM. Это позволяет сочетать точность локализации систем, работающих по принципу отслеживания особых точек на изображении, и нейронную фильтрацию биорелевантных систем. С помощью построенной системы были получены оценки местоположения на публичных и новых наборах данных.
Заключение. Построенная система визуальной навигации дает оценку местоположения субъекта (видеокамеры) в пространстве, хорошо согласующуюся с истинными данными о местоположении.
- Tolman E. C. Cognitive maps in rats and men // Psychological Review. 1948. Vol. 55, no. 4. P. 189–208. DOI: 10.1037/h0061626.
- McNaughton B. L., Battaglia F. P., Jensen O., Moser E. I., Moser M.-B. Path integration and the neural basis of the “cognitive map” // Nature Reviews Neuroscience. 2006. Vol. 7. P. 663–678. DOI: 10.1038/nrn1932.
- Mittelstaedt H., Mittelstaedt M.-L. Homing by Path Integration. In: Papi F., Wallraff H. G. (eds) Avian Navigation. Proceedings in Life Sciences. Berlin, Heidelberg: Springer, 1982. P. 290–297. DOI: 10.1007/978-3-642-68616-0_29.
- Etienne A. S., Maurer R., Boulens V., Levy A., Rowe T. Resetting the path integrator: a basic condition for route-based navigation // Journal of Experimental Biology. 2004. Vol. 207, iss. 9. P. 1491–508. DOI: 10.1242/jeb.00906.
- O’Keefe J., Dostrovsky J. The hippocampus as a spatial map. Preliminary evidence from unit activity in the freely-moving rat // Brain Research. 1971. Vol. 34, iss. 1. P. 171–175. DOI: 10.1016/0006-8993(71)90358-1.
- Muller R. U, Ranck J. B. Jr, Taube J. S. Head direction cells: properties and functional significance // Current Opinion in Neurobiology. 1996. Vol. 6, iss. 2. P. 196–206. DOI: 10.1016/s0959-4388(96) 80073-0.
- Taube J. S. The head direction signal: Origins and sensory-motor integration // Annual Review of Neuroscience. 2007. Vol. 30. P. 181–207. DOI: 10.1146/annurev.neuro.29.051605.112854.
- Amit D. J. Modeling Brain Function: The World of Attractor Neural Networks. New York, NY: Cambridge University Press, 1989. DOI: 10.1017/CBO9780511623257.
- Moser E. I., Roudi Y., Witter M. P., Kentros C., Bonhoeffer T., Moser M.-B. Grid cells and cortical representation // Nature Reviews Neuroscience. 2014. Vol. 15. P. 466–481. DOI: 10.1038/nrn3766.
- Hafting T., Fyhn M., Molden S., Moser M.B., Moser E. I. Microstructure of a spatial map in the entorhinal cortex // Nature. 2005. Vol. 436. P. 801–806. DOI: 10.1038/nature03721.
- Milford M. J. Robot Navigation from Nature: Simultaneous Localisation, Mapping, and Path Planning Based on Hippocampal Models. Vol. 41. Springer Tracts in Advanced Robotics. Berlin, Heidelberg: Springer, 2008. 196 p. DOI: 10.1007/978-3-540-77520-1.
- Eichenbaum H. The role of the hippocampus in navigation is memory // Journal of Neurophysiology. 2017. Vol. 117, no. 4. P. 1785–1796. DOI: 10.1152/jn.00005.2017.
- Gu Y., Lewallen S., Kinkhabwala A. A., Domnisoru C., Yoon K., Gauthier J. L., Fiete I. R., Tank D. W. A map-like micro-organization of grid cells in the medial entorhinal cortex // Cell. 2018. Vol. 175, iss. 3. P. 736–750. DOI: 10.1016/j.cell.2018.08.066.
- Poulter S., Hartley T., Lever C. The neurobiology of mammalian navigation // Current Biology. 2018. Vol. 28, iss. 17. P. R1023-R1042. DOI: 10.1016/j.cub.2018.05.050.
- Park E., Dvorak D., Fenton A. A. Ensemble place codes in hippocampus: CA1, CA3, and dentate gyrus place cells have multiple place fields in large environments // PLoS One. 2011. Vol. 6, iss. 7. P. e22349. DOI: 10.1371/journal.pone.0022349.
- Goode T. D., Tanaka K. Z., Sahay A., McHugh T. J. An integrated index: Engrams, place cells, and hippocampal memory // Neuron. 2020. Vol. 107, iss. 5. P. 805–820. DOI: 10.1016/j.neuron. 2020.07.011.
- Epstein R. A., Patai E. Z., Julian J. B., Spiers H. J. The cognitive map in humans: spatial navigation and beyond // Nature Neuroscience. 2017. Vol. 20, iss. 11. P. 1504–1513. DOI: 10.1038/nn.4656.
- Sarel A., Finkelstein A., Las L., Ulanovsky N. Vectorial representation of spatial goals in the hippocampus of bats // Science. 2017. Vol. 355, iss. 6321. P. 176–180. DOI: 10.1126/science. aak9589.
- Savelli F., Knierim J. J. Origin and role of path integration in the cognitive representations of the hippocampus: computational insights into open questions // Journal of Experimental Biology. 2019. Vol. 222, iss. 1. P. jeb188912. DOI: 10.1242/jeb.188912.
- Rolls E. T., Stringer S. M., Elliot T. Entorhinal cortex grid cells can map to hippocampal place cells by competitive learning // Network. 2006. Vol. 17, iss. 4. P. 447–65. DOI: 10.1080/095489 80601064846.
- Si B., Treves A. The role of competitive learning in the generation of DG fields from EC inputs // Cognitive Neurodynamics. 2009. Vol. 3, iss. 2. P. 177–187. DOI: 10.1007/s11571-009-9079-z.
- Savelli F., Knierim J. J. Hebbian analysis of the transformation of medial entorhinal grid-cell inputs to hippocampal place fields // Journal of Neurophysiology. 2010. Vol. 103, iss. 6. P. 3167–83. DOI: 10.1152/jn.00932.2009.
- Danjo T., Toyoizumi T., Fujisawa S. Spatial representations of self and other in the hippocampus // Science. 2018. Vol. 359, iss. 6372. P. 213–218. DOI: 10.1126/science.aao3898.
- Lian Y., Burkitt A. N. Learning spatiotemporal properties of hippocampal place cells // eNeuro. 2022. Vol. 9, iss. 4. ENEURO.0519-21.2022. DOI: 10.1523/ENEURO.0519-21.2022.
- Цукерман В. Д., Чешков Г. Н. Основы нелинейной динамики сенсорного восприятия. I. Фазовое кодирование в осцилляторных сетях // Нейрокомпьютеры: разработка, применение. 2002. № 7–8. С. 65–72.
- Цукерман В. Д. Математическая модель фазового кодирования событий в мозге // Математическая биология и биоинформатика. 2006. Т. 1, № 1. С. 97–107. DOI: 10.17537/2006.1.97.
- Цукерман В. Д., Еременко З. С., Каримова О. В., Кулаков С. В., Сазыкин А. А. Когнитивная нейродинамика двух стратегий навигационного поведения организмов // Известия вузов. ПНД. 2011. Т. 19, № 6. С. 96–108. DOI: 10.18500/0869-6632-2011-19-6-96-108.
- Цукерман В. Д., Харыбина З. С., Кулаков С. В. Математическая модель пространственного кодирования в гиппокампальной формации. II. Нейродинамические корреляты ментальных траекторий и проблема принятия решений // Математическая биология и биоинформатика. 2014. Т. 9, № 1. С. 216–256. DOI: 10.17537/2014.9.216.
- Цукерман В. Д. К творческому познанию креативные начала реляционных нейронных сетей с четным циклическим торможением // Труды VII Всероссийской конференции. Нелинейная динамика в когнитивных исследованиях 2021. Нижний Новгород, 20–24 сентября 2021. Нижний Новгород: ИПФРАН, 2021. С. 186–189.
- Mur-Artal R., Montiel J. M. M., Tardos J. D. ORB-SLAM: A Versatile and Accurate Monocular SLAM System. IEEE Transactions on Robotics. 2015. Vol. 31, iss. 5. P. 1147–1163. DOI: 10.1109/ TRO.2015.2463671.
- Quigley M., Conley K., Gerkey B., Faust J., Foote T., Leibs J., Wheeler R., Ng A. Y. ROS: an open-source Robot Operating System // ICRA Workshop on Open Source Software. 2009. Vol. 3, iss. 3.2. P. 5.
- Ball D., Heath S., Wiles J., Wyeth G., Corke P., Milford M. OpenRatSLAM: an open source brain-based SLAM system // Autonomous Robots. 2013. Vol. 34. P. 149–176. DOI: 10.1007/s10514- 012-9317-9.
- Samsonovich A., McNaughton B. L. Path integration and cognitive mapping in a continuous attractor neural network model // The Journal of Neuroscience. 1997. Vol. 17, iss. 15. P. 5900– 5920. DOI: 10.1523/jneurosci.17-15-05900.1997.
- Rublee E., Rabaud V., Konolige K., Bradski G. R. ORB: An efficient alternative to SIFT or SURF. In: IEEE International Conference on Computer Vision, ICCV 2011. Barcelona, Spain, November 6–13, 2011. P. 2564–2571.
- Triggs B., McLauchlan P. F., Hartley R. I., Fitzgibbon A. W. Bundle Adjustment — A Modern Synthesis. In: Triggs, B., Zisserman, A., Szeliski, R. (eds) Vision Algorithms: Theory and Practice. IWVA 1999. Lecture Notes in Computer Science, vol. 1883. Berlin, Heidelberg: Springer, 2000. P. 298–372. DOI: 10.1007/3-540-44480-7_21.
- Galvez-Lopez D., Tardos J. D. Bags of Binary Words for Fast Place Recognition in Image Sequences // IEEE Transactions on Robotics. 2012. Vol. 28, iss. 5. P. 1188–1197. DOI: 10.1109/ TRO.2012.2197158.
- Horn B. K. P. Closed-form solution of absolute orientation using unit quaternions // Journal of the Optical Society of America A. 1987. Vol. 4, iss. 4. P. 629–641. DOI: 10.1364/josaa.4.000629.
- Geiger A., Lenz P., Stiller C., and Urtasun R. Vision meets robotics: the KITTI dataset // The International Journal of Robotics Research. 2013. Vol. 32, iss. 11. P. 1231–1237. DOI: 10.1177/ 0278364913491297.
- Yu F., Wu Y., Ma S., Xu M., Li H., Qu H., Song C., Wang T., Zhao R., Shi L. Brain-inspired multimodal hybrid neural network for robot place recognition // Science RoboticS. 2023. Vol. 8, iss. 78. DOI: 10.1126/scirobotics.abm6996.
- Zhang H., Rich P. D., Lee A. K., Sharpee T. O. Hippocampal spatial representations exhibit a hyperbolic geometry that expands with experience // Nature Neuroscience. 2023. Vol. 26, iss. 1. P. 131–139. DOI: 10.1038/s41593-022-01212-4.
- 402 просмотра