Известия высших учебных заведений

Прикладная нелинейная динамика

ISSN 0869-6632 (Print)
ISSN 2542-1905 (Online)


Статья имеет ранний доступ!

Статья опубликована на условиях лицензии Creative Commons Attribution 4.0 International (CC-BY 4.0).
Полный текст в формате PDF(Ru):
Язык публикации: 
русский
Тип статьи: 
Научная статья
УДК: 
004.78
EDN: 

Сравнительный анализ эффективности трансферного обучения по обобщенным данным ЭЭГ для использования в задаче диагностики депрессии

Авторы: 
Шушарина Наталья Николаевна, Балтийский Федеральный Университет им. И. Канта
Аннотация: 

Цель данной работы заключалась в анализе эффективности различных методов глубокого обучения в задаче диагностирования депрессии на основании данных биоэлектрической активности мозга. В частности, изучение потенциала трансферного обучения с использованием искусственной нейронной сети, обученной на значительном объеме обобщенных данных электроэнцефалографии, в целевой задаче диагностики депрессии по сигналам неинвазивной электроэнцефалограммы.

Методы. В настоящем исследовании использовались такие подходы глубокого обучения, как трансферное и контрастное обучение. Искусственные нейронные сети обучались на открытом наборе данных HBN EO/EC task (The Healthy Brain Network — HBN), содержащем записи сигналов электроэнцефалограммы детей и молодых людей до 21 года с открытыми и закрытыми глазами. В качестве предобученных искусственных нейронных сетей для трансферного обучении использовались архитектуры 1D CNN и EEGNet. С целью проверки качества контрастного обучения набор данных был расширен с помощью аугментации и были отобраны предобученные сети со следующей архитектурой: SimCLR, MoCo, NNCLR, BarlowTwins, DINO.

Результаты. Было установлено, что архитектура EEGNet, используемая в качестве предобученной сети, в силу своих малых размеров не даёт раскрыть полный потенциал алгоритмов контрастного обучения. EEGNet была заменена на архитектуру 1D CNN с большим числом параметров, что привело к росту показателей качества работы моделей.

Заключение. Хотя рассмотренный метод трансферного обучения выглядит перспективным, специфичность сигналов электроэнцефалограммы и решаемых на их основе задач требует масштабной адаптации алгоритмов целевой задаче. В случае применения техник контрастной оптимизации для обучения целевой сети это также справедливо. Следует также отметить решающую роль представительности набора данных для обучения предобученной сети, поскольку именно полнота реальных наблюдений увеличивает эффективность аугментации, что приводит к увеличению числа «полезных» признаков в латентном пространстве сети и наилучшим условиям для трансферного обучения в целевой задаче. Если говорить о диагностике депрессии, то в данных должны быть максимально широко представлены примеры электроэнцефалограммы именно пациентов с выраженной депрессией.
 

Благодарности: 
Работа выполнена при финансовой поддержке Российского научного фонда (проект № 23-71-30010)
Список источников: 
  1. Карпов О. Э., Храмов А. Е. Информационные технологии, вычислительные системы и искусственный интеллект в медицине. М.: ДПК Пресс, 2022. 479 с.
  2. Karpov O. E., Pitsik E. N., Kurkin S. A., Maksimenko V. A., Gusev A. V., Shusharina N. N., Hramov A. E. Analysis of publication activity and research trends in the field of aI medical applications: Network approach // International Journal of Environmental Research and Public Health. 2023. Vol. 20, iss. 7. С. 5335. DOI: 10.3390/ijerph20075335.
  3. Yuan J., Ran X., Liu K., Yao C., Yao Y., Wu H., Liu Q. Machine learning applications on neuroimaging for diagnosis and prognosis of epilepsy: A review // Journal of Neuroscience Methods. 2022. Vol. 15, iss. 368. P. 109441. DOI: 10.1016/j.jneumeth.2021.109441.
  4. Karpov O. E., Grubov V. V., Maksimenko V. A., Kurkin S. A., Smirnov N. M., Utyashev N. P., Andrikov D. A., Shusharina N. N., Hramov A. E. Extreme value theory inspires explainable machine learning approach for seizure detection // Scientific Reports. 2022. Vol. 12. P. 11474. DOI: 10.1038/s41598-022-15675-9.
  5. Karpov O. E., Afinogenov S., Grubov V. V., Maksimenko V., Korchagin S., Utyashev N., Hramov A. E. Detecting epileptic seizures using machine learning and interpretable features of human EEG // The European Physical Journal Special Topics. 2023. Vol. 232, no. 5. P. 673–682. DOI: 10.1140/epjs/s11734-022-00714-3.
  6. Erguzel T. T., Sayar G. H., Tarhan N. Artificial intelligence approach to classify unipolar and bipolar depressive disorders // Neural Computing and Applications. 2016. Vol. 27, iss. 6. P. 1607-1616. DOI: 10.1007/s00521-015-1959-z.
  7. Andreev A. V., Kurkin S. A., Stoyanov D., Badarin A. A., Paunova R., Hramov A. E. Toward interpretability of machine learning methods for the classification of patients with major depressive disorder based on functional network measures // Chaos. 2023. Vol. 33, iss. 6. P. 063140. DOI: 10.1063/5.0155567.
  8. Stoyanov D., Khorev V., Paunova R., Kandilarova S., Simeonova D., Badarin A., Hramov A., Kurkin S. Resting-state functional connectivity impairment in patients with major depressive episode // International Journal of Environmental Research and Public Health. 2022. Vol. 19, iss. 21. P. 14045. DOI: 10.3390/ijerph192114045.
  9. Chaddad A., Li J., Lu Q., Li Y., Okuwobi I. P., Tanougast C., Desrosiers C., Niazi T. Can autism Be diagnosed with artificial intelligence? A narrative review // Diagnostics. 2021. Vol. 11, iss. 11. P. 2032. DOI: 10.3390/diagnostics11112032.
  10. Song D. Y., Kim S. Y., Bong G., Kim J. M., Yoo H. J. The use of artificial intelligence in screening and diagnosis of autism spectrum disorder: a literature review // Journal of the Korean Academy of Child and Adolescent Psychiatry. 2019. Vol. 30. iss. 4. P. 145-152. DOI: 10.5765/jkacap.190027.
  11. Sysoeva O., Maximenko V., Kuc A., Voinova V., Martynova O., Hramov A. Abnormal spectral and scale-free properties of resting-state EEG in girls with Rett syndrome // Scientific Reports. 2023. Vlo. 13. P. 12932. DOI: 10.1038/s41598-023-39398-7.
  12. Zhang Z., Li G., Xu Y., Tang X. Application of artificial intelligence in the MRI classification task of human brain neurological and psychiatric diseases: A scoping review // Diagnostics. 2021. Vol. 11, iss. 8. P. 1402. DOI: 10.3390/diagnostics11081402.
  13. Pitsik E. N., Maximenko V. A., Kurkin S. A., Sergeev A. P., Stoyanov D., Paunova R., Kandilarova S., Simeonova D., Hramov A. E. The topology of fMRI-based networks defines the performance of a graph neural network for the classification of patients with major depressive disorder // Chaos, Solitons & Fractals. 2023. Vol. 167. P. 113041. DOI: 10.1016/j.chaos.2022.113041.
  14. Ramzan F., Khan M. U., Rehmat A., Iqbal S., Saba T., Rehman A., Mehmood Z. A deep learning approach for automated diagnosis and multi-class classification of Alzheimer’s disease stages using resting-state fMRI and residual neural networks // Journal of Medical Systems. 2020. Vol. 44. P. 1-6. DOI: 10.1007/s10916-019-1475-2.
  15. Alorf A., Khan M. U. Multi-label classification of Alzheimer’s disease stages from resting-state fMRI-based correlation connectivity data and deep learning // Computers in Biology and Medicine. 2022. Vol. 151, iss. 6. P. 106240. DOI: 10.1016/j.compbiomed.2022.106240.
  16. Subha D. P., Joseph P. K., Acharya U. R., Lim C. M. EEG signal analysis: a survey // Journal of Medical Systems. 2010. Vol. 34, iss. 2. P. 195-212. DOI: 10.1007/s10916-008-9231-z.
  17. Lotte F., Congedo M., Lecuyer A., Fabrice L., Arnaldi B. A review of classification algorithms for EEG-based brain–computer interfaces // Journal of Neural Engineering. 2007. Vol. 4, iss. 2. P. R1. DOI: 10.1088/1741-2560/4/2/R01.
  18. Kang H., Nam Y., Choi S. Composite common spatial pattern for subject-to-subject transfer // IEEE Signal Processing Letters. 2009. Vol. 16, iss. 8. P. 683-686. DOI: 10.1109/LSP.2009.2022557.
  19. Wan Z., Yang R., Huang M., Zeng N., Liu X. A review on transfer learning in EEG signal analysis // Neurocomputing. 2021. Vol. 421. P. 1-14. DOI: 10.1016/j.neucom.2020.09.017.
  20. Wu D., Xu Y., Lu B.-L. Transfer Learning for EEG-Based Brain-Computer Interfaces: A Review of Progress Made Since 2016 // IEEE Trans. on Cognitive and Developmental Systems. 2022. Vol. 14, iss. 1. P. 4-19. DOI: 10.1109/TCDS.2020.3007453.
  21. Kuc A., Korchagin S., Maksimenko V. A., Shusharina N., Hramov A. E. Combining statistical analysis and machine learning for EEG scalp topograms classification // Frontiers in Systems Neuroscience. 2021. Vol. 15. DOI: 10.3389/fnsys.2021.716897.
  22. Luo Y., Lu B.-L. EEG data augmentation for emotion recognition using a conditional Wasserstein GAN // 2018 40th annual international conference of the IEEE engineering in medicine and biology society (EMBC). IEEE, 2018. P. 2535-2538. DOI: 10.1109/EMBC.2018.8512865.
  23. Weiss K., Khoshgoftaar T. M., Wang D. D. A survey of transfer learning // Journal of Big data. 2016. Vol. 3, iss. 1. P. 1-40. DOI: 10.1186/s40537-016-0043-6.
  24. Azab A. M., Ahmadi H., Mihaylova L., Arvaneh M. Dynamic time warping-based transfer learning for improving common spatial patterns in brain–computer interface // Journal of Neural Engineering. 2020. Vol. 17, iss. 1. P. 016061. DOI: 10.1088/1741-2552/ab64a0.
  25. Raghu S., Natarajan S., Temel Y., Rao S. V., Kubben P. EEG based multi-class seizure type classification using convolutional neural network and transfer learning // Neural Networks. 2020. Vol. 124. P. 202-212. DOI: 10.1016/j.neunet.2020.01.017.
  26. Nejedly P., Cimbalnik J., Klimes P., Plesinger F., Halamek J., Kremen V., Viscor I., Brinkmann B. H., Pail M., Brazdil M., Worrell G., Jurak P. Intracerebral EEG artifact identification using convolutional neural networks // Neuroinformatics. 2019. Vol. 17, iss. 3. P. 225-234. DOI: 10.1007/s12021-018-9397-6.
  27. Hramov A. E., Maksimenko V. A., Pisarchik A. N. Physical principles of brain-computer interfaces and their applications for rehabilitation, robotics and control of human brain states // Physics Reports. 2021. Vol. 918. P. 1-133. DOI: 10.1016/j.physrep.2021.03.002.
  28. Shen X., Liu X., Hu X., Zhang D., Song S., Contrastive learning of subject-invariant EEG representations for cross-subject emotion recognition // IEEE Transactions on Affective Computing. 2023. Vol. 14, no. 3. P. 2496-2511. DOI: 10.1109/TAFFC.2022.3164516.
  29. Chen T., Kornblith S., Norouzi M., Hinton G. A simple framework for contrastive learning of visual representations // International conference on machine learning (PMLR). 2020. P. 1597-1607. arXiv:2002.05709. DOI: 10.48550/arXiv.2002.05709.
  30. Jaiswal A., Babu A. R., Zadeh M. Z., Banerjee D., Makedon F. A survey on contrastive selfsupervised learning // Technologies. 2020. Vol. 9, iss. 1. P. 2. DOI: 10.3390/technologies9010002.
  31. Zygierewicz J., Janik R. A., Podolak I. T., Drozd A., Malinowska U., Poziomska M., Wojciechowski J., Ogniewski P., Niedbalski P., Terczynska I., Rogala J. Decoding working memory-related information from repeated psychophysiological EEG experiments using convolutional and contrastive neural networks // Journal of Neural Engineering. 2022. Vol. 19, iss. 4. P. 046053. DOI: 10.1088/1741- 2552/ac8b38.
  32. Hadsell R., Chopra S., LeCun Y. Dimensionality reduction by learning an invariant mapping // 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Vol. 2 (CVPR’06). IEEE, 2006. P. 1735-1742. DOI: 10.1109/CVPR.2006.100.
  33. He K., Fan H., Wu Y., Xie S., Girshick R. Momentum contrast for unsupervised visual representation learning // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020. P. 9729-9738. DOI: 10.1109/CVPR42600.2020.00975.
  34. Dwibedi D., Aytar Y., Tompson J., Sermanet P., Zisserman A. With a little help from my friends: Nearest-neighbor contrastive learning of visual representations // Proceedings of the IEEE/CVF International Conference on Computer Vision, Montreal, QC, Canada, 2021. P. 9588-9597. DOI: 10.1109/ICCV48922.2021.00945.
  35. Zbontar J., Jing L., Misra I., LeCun Y., Deny S. Barlow twins: Self-supervised learning via redundancy reduction // International Conference on Machine Learning (PMLR), 2021. P. 12310- 12320. arXiv:2103.03230. DOI: 10.48550/arXiv.2103.03230.
  36. Caron M., Touvron H., Misra I., Jegou H., Mairal J., Bojanowski P., Joulin A. Emerging properties in self-supervised vision transformers // Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021. С. 9650-9660. arXiv:2104.14294. DOI: 10.48550/arXiv.2104.14294
  37. Self-supervised Contrastive Learning for Image Classification with Keras [Электронный ресурс]. Дата обращения: 16.01.2024. https://github.com/beresandras/contrastive-classification-keras.
  38. Alexander L. M., Escalera J., Ai L., Andreotti C., Febre K., Mangone A., Vega-Potler N., Langer N., Alexander A., Kovacs M., Litke S., OHagan B., Andersen J., Bronstein B., Bui A., Bushey M., Butler H., Castagna V., Camacho N., Chan E., Citera D., Clucas J., Cohen S., Dufek S., Eaves M., Fradera B., Gardner J., Grant-Villegas N., Green G., Gregory C., Hart E., Harris S., Horton M., Kahn D., Kabotyanski K., Karmel B., Kelly S. P., Kleinman K., Koo B., Kramer E., Lennon E., Lord C., Mantello G., Margolis A., Merikangas K. R., Milham J., Minniti G., Neuhaus R., Levine A., Osman Y., Parra L. C., Pugh K. R., Racanello A., Restrepo A., Saltzman T., Septimus B., Tobe R., Waltz R., Williams A., Yeo A., Castellanos F. X., Klein A., Paus T., Leventhal B. L., Craddock R. C., Koplewicz H. S., Milham M. P. HBN EO/EC task. OpenNeuro Accession Number ds004186. DOI: doi:10.18112/openneuro.ds004186.v2.0.0.
  39. Gramfort A., Luessi M., Larson E., Engemann D. A., Strohmeier D., Brodbeck C., Goj R., Jas M., Brooks T., Parkkonen L., Hamalainen M. MEG and EEG data analysis with MNE-Python // Frontiers in Neuroscience. 2013. Vol. 7. P. 267. DOI: 10.3389/fnins.2013.00267. 
  40. Mumtaz W. MDD Patients and Healthy Controls EEG Data (New). Dataset. 2016. DOI: 10.6084/ m9.figshare.4244171.v2
  41. Cavanagh J. F. EEG: Depression rest. Dataset. 2021. DOI: 10.18112/openneuro.ds003478.v1.1.0.
  42. Cai H., Gao Y., Sun S., Li N., Tian F., Xiao H., Hu B. MODMA dataset: a Multi-modal Open Dataset for Mental-disorder Analysis. arXiv:2002.09283. 2020. http://modma.lzu.edu.cn/data/application/.
  43. van Dijk H., van Wingen G. A., Denys D., Olbrich S., van Ruth R., Arns M. The two decades brainclinics research archive for insights in neurophysiology (TDBRAIN) database // Scientific Data. 2022. Vol. 9, iss. 1. P. 1-10. DOI: 10.1038/s41597-022-01409-z.
  44. Maaten L., Hinton G. Visualizing data using t-sne // Journal of Machine Learning Research. 2008. Vol. 9. P. 2579-2605.
  45. Sandheep P., Vineeth S., Poulose M., Subha D. P. Performance analysis of deep learning CNN in classification of depression EEG signals // TENCON 2019 - 2019 IEEE Region 10 Conference (TENCON), Kochi, India. IEEE, 2019. P. 1339-1344. DOI: 10.1109/TENCON.2019.8929254.
  46. Lawhern V. J., Solon A. J., Waytowich N., Gordon S. M., Hung C. P., Lance B. J. EEGNet: a compact convolutional neural network for EEG-based brain–computer interfaces // Journal of neural engineering. 2018. Vol. 15, iss. 5. P. 056013. DOI: 10.1088/1741-2552/aace8c.
  47. LeCun Y. A., Bottou L., Orr G. B., Muller K.-R. Efficient BackProp // In: Montavon G., Orr G. B., Muller K. R. (eds) Neural Networks: Tricks of the Trade. Lecture Notes in Computer Science, vol. 7700. Berlin, Heidelberg: Springer, 2012. P. 9-48.
  48. van Dijk H., Koppenberg M., Arns M. Towards robust, reproducible, and clinically actionable EEG biomarkers: Large open access EEG Database for discovery and out-of-sample validation // Clinical EEG and Neuroscience. 2022. Vol. 54, iss. 2. DOI: 10.1177/15500594221120516.
  49. Darvishi-Bayazi M.-J., Ghaemi M. S., Lesort T., Arefin Md R., Faubert J., Rish I. Amplifying pathological detection in EEG signaling pathways through cross-dataset transfer learning. arXiv:2309.10910. DOI: 10.48550/arXiv.2309.10910
  50. Zeng H., Li X., Borghini G., Zhao Y., Arico P., Di Flumeri G., Sciaraffa N., Zakaria W., Kong W., Babiloni F. An EEG-based transfer learning method for cross-subject fatigue mental state prediction // Sensors. 2021. Vol. 21, iss. 7. P. 2369. DOI: 10.3390/s21072369.
  51. Zhang K., Xu G., Zheng X., Li H., Zhang S., Yu Y., Liang R. Application of transfer learning in EEG decoding based on brain-computer interfaces: A review // Sensors. 2020. Vol. 20, iss. 21. P. 1-25. DOI: 10.3390/s20216321.
  52. Deep Learning Applications. Vol. 4 / M. Arif Wani, Vasile Palade (eds.). Advances in Intelligent Systems and Computing, Vol. 1434. Singapore: Springer, 2023. 384 p. DOI: 10.1007/978-981- 19-6153-3
  53. Seal A., Bajpai R., Agnihotri J., Yazidi A., Herrera-Viedma E., Krejcar O. DeprNet: A deep convolution neural network framework for detecting depression using EEG // IEEE Transactions on Instrumentation and Measurement. 2021. Vol. 70. P. 1-13. 2505413. DOI: 10.1109/TIM.2021.3053999.
  54. Sharma G., Parashar A., Joshi A. M. DepHNN: A novel hybrid neural network for electroencephalogram (EEG)-based screening of depression // Biomedical Signal Processing and Control. 2021. Vol. 66. P. 102393. DOI: 10.1016/j.bspc.2020.102393.
  55. Uran A., van Gemeren C., van Diepen R., Chavarriaga R., del R. Millan J. Applying transfer learning to deep learned models for EEG analysis. arXiv:1907.01332. DOI: 10.48550/ arXiv.1907.01332.
  56. Osman Berke Guney, Huseyin Ozkan Transfer Learning of an Ensemble of DNNs for SSVEP BCI Spellers without User-Specific Training. arXiv:2209.01511. DOI: 10.48550/arXiv.2209.01511.
  57. Ju C., Gao D., Mane R., Tan B., Liu Y., Guan C. Federated Transfer Learning for EEG Signal Classification // 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC), Montreal, QC, Canada, 2020. P. 3040-3045. DOI: 10.1109/EMBC44109.2020.9175344.
  58. Khosla P., Teterwak P., Wang C., Sarna A., Tian Y., Isola Ph., Maschinot A., Liu C., Krishnan D. Supervised contrastive learning // Advances in Neural Information Processing Systems. 2020. Vol. 33. P. 18661-18673. ArXiv:abs/2004.11362. https://api.semanticscholar.org/CorpusID:216080787.
  59. Lv Z., Zhang J., Epota Oma E. A novel method of emotion recognition from multi-band EEG topology maps based on ERENet // Appl. Sci. 2022. Vol. 12. 10273. DOI: https://doi.org/10.3390/app122010273.
  60. Xiao J., Provenzaa N. R., Asfouric J., Myersa J., Mathuraa R. K., Metzgera B., Adkinsona J. A., Allawalad A.B., Pirtlea V., Oswalta D., Shoftya B., Robinsona M.E., Mathewe S.J., Goodmane W.K., Pouratianf N., Schraterg P. R., Patel A. B., Tolias A. S., Bijankia K. R., Pitkowb X., Sheth S. A. Decoding depression severity from intracranial neural activity // Biological Psychiatry. 2023. Vol. 94, iss. 6. P. 445-453. DOI: 10.1016/j.biopsych.2023.01.020.
Поступила в редакцию: 
02.02.2024
Принята к публикации: 
26.06.2024
Опубликована онлайн: 
09.10.2024