Известия высших учебных заведений

Прикладная нелинейная динамика

ISSN 0869-6632 (Print)
ISSN 2542-1905 (Online)

Для цитирования:

Писарчик А. Н., Хорев В. С., Бадарин А. А., Антипов В. М., Бударина А. О., Храмов А. Е. Методология дизайна нейрофизиологических экспериментов с предъявлением визуальных стимулов для оценки уровня владения иностранным языком // Известия вузов. ПНД. 2023. Т. 31, вып. 2. С. 202-224. DOI: 10.18500/0869-6632-003031, EDN: ETJCBV

Статья опубликована на условиях лицензии Creative Commons Attribution 4.0 International (CC-BY 4.0).
Полный текст в формате PDF(Ru):
Иконка PDF and_2023_2_pisarchik-et-al_202-224.pdf
(загрузок: 0)
Полный текст в формате PDF(En):
Иконка PDF and_2023_2_pisarchik_et_al_eng.pdf
(загрузок: 8)
Язык публикации: 
русский
Рубрика: 
Нелинейная динамика и нейронаука
Тип статьи: 
Обзорная статья
УДК: 
530.182
DOI: 
10.18500/0869-6632-003031
EDN: 
ETJCBV

Методология дизайна нейрофизиологических экспериментов с предъявлением визуальных стимулов для оценки уровня владения иностранным языком

Авторы: 
Писарчик Александр Николаевич, Мадридский политехнический университет, Центр биомедицинских технологий
Хорев Владимир Сергеевич, Университет Иннополис
Бадарин Артем Александрович, Балтийский Федеральный Университет им. И. Канта
Антипов Владимир Михайлович, Университет Иннополис
Бударина Анна Олеговна, Балтийский Федеральный Университет им. И. Канта
Храмов Александр Евгеньевич, Балтийский Федеральный Университет им. И. Канта
Аннотация: 

Цель настоящего исследования - провести сравнение различных экспериментальных парадигм и определить параметры, пригодные для проведения нейрофизиологического эксперимента с предъявлением визуальных стимулов для оценки уровня владения иностранным языком и обеспечивающие проведение дальнейшего анализа временных рядов сигналов электрической активности нейронов головного мозга для выявления специфических биомаркеров.

Методы. В данной работе исследуются возможности и ограничения различных экспериментальных исследований, использующих данную парадигму - метаанализ. Для определения значимости результатов применялись статистические подходы.

Результаты. Проведён обзор современного состояния исследований в области экспериментальных работ, связанных с предъявлением визуальных стимулов и получением вербальных ответов. Были проведены обобщения и аналитические оценки экспериментальных параметров, использованных в исследованиях для формирования рекомендаций к будущим экспериментальным исследованиям.

Заключение. В данной области прикладных исследований был разработан дизайн эксперимента, а также созданы алгоритмы, позволяющие работать с несколькими источниками данных. Кроме того, проведены экспериментальные исследования с использованием энцефалографии, которые позволили выбрать оптимальную временную структуру.

Ключевые слова: 
дизайн эксперимента
метаанализ
нейролингвистика
нейронаука
Нелинейные системы
нейрообразование
Благодарности: 
Работа выполнена при поддержке программы Приоритет-2030 (Головоломка 2022), грант № 260-Л-22
Список источников: 
  1. Feiler J. B., Stabio M. E. Three pillars of educational neuroscience from three decades of literature // Trends in Neuroscience and Education. 2018. Vol. 13. P. 17–25. 10.1016/j.tine. 2018.11.001.
  2. Jolles J., Jolles D. D. On neuroeducation: Why and how to improve neuroscientific literacy in educational professionals // Front. Psychol. 2021. Vol. 12. P. 752151. DOI: 10.3389/fpsyg. 2021.752151.
  3. Букина Т. В., Храмова М. В., Куркин С. А. Современные исследования функционирования мозга детей младшего школьного возраста в процессе обучения: обзор // Известия вузов. ПНД. 2021. T. 29, № 3. C. 449–456. DOI: 10.18500/0869-6632-2021-29-3-449-456.
  4. Costa A., Santesteban M. Lexical access in bilingual speech production: Evidence from language switching in highly proficient bilinguals and L2 learners // Journal of Memory and Language. 2004. Vol. 50, no 4. P. 491–511. DOI: 10.1016/j.jml.2004.02.002.
  5. Verhoef K., Roelofs A., Chwilla D. J. Role of inhibition in language switching: Evidence from event-related brain potentials in overt picture naming // Cognition. 2009. Vol. 110, no. 1. P. 84–99. DOI: 10.1016/j.cognition.2008.10.013.
  6. Roelofs A., Piai V., Rodriguez G. G. Attentional inhibition in bilingual naming performance: evidence from delta-plot analyses // Front. Psychol. 2011. Vol. 2. P. 184. DOI: 10.3389/ fpsyg.2011.00184.
  7. Declerck M., Koch I., Philipp A. M. Digits vs. pictures: The influence of stimulus type on language switching // Bilingualism: Language and Cognition. 2012. Vol. 15, no. 4. P. 896–904. DOI: 10.1017/S1366728912000193.
  8. Parker J. O., Green D. W., Grogan A., Pliatsikas C., Filippopolitis K., Ali N., Lee H. L., Ramsden S., Gazarian K., Prejawa S., Seghier M. L., Price C. J. Where, when and why brain activation differs for bilinguals and monolinguals during picture naming and reading aloud // Cereb. Cortex. 2012. Vol. 22, no. 4. P. 892–902. DOI: 10.1093/cercor/bhr161.
  9. Allen D. B., Conklin K. Cross-linguistic similarity and task demands in Japanese-English bilingual processing // PLoS ONE. 2013. Vol. 8, no. 8. P. e72631. DOI: 10.1371/journal.pone.0072631.
  10. Del Prato P., Pylkkanen L. MEG evidence for conceptual combination but not numeral quantification in the left anterior temporal lobe during language production // Front. Psychol. 2014. Vol. 5. P. 524. DOI: 10.3389/fpsyg.2014.00524.
  11. Чхолак П., Табари Ф., Писарчик А. Н. Выявление нейронной сети, лежащей в основе парадигмы скрытого наименования изображений, с помощью магнитоэнцефалографии // Известия вузов. ПНД. 2022. T. 30, № 1. C. 76–95. DOI: 10.18500/0869-6632-2022-30-1-76-95.
  12. Lensink S. E., Verdonschot R. G., Schiller N. O. Morphological priming during language switching: an ERP study // Front. Hum. Neurosci. 2014. Vol. 8. P. 995. DOI: 10.3389/fnhum.2014.00995.
  13. Conner C. R., Chen G., Pieters T. A., Tandon N. Category specific spatial dissociations of parallel processes underlying visual naming // Cereb. Cortex. 2014. Vol. 24, no. 10. P. 2741–2750. DOI: 10.1093/cercor/bht130.
  14. Sianipar A., Middelburg R., Dijkstra T. When feelings arise with meanings: How emotion and meaning of a native language affect second language processing in adult learners // PLoS ONE. 2015. Vol. 10, no. 12. P. e0144576. DOI: 10.1371/journal.pone.0144576.
  15. Miozzo M., Pulvermuller F., Hauk O. Early parallel activation of semantics and phonology in picture naming: Evidence from a multiple linear regression MEG study // Cereb. Cortex. 2015. Vol. 25, no. 10. P. 3343–3355. DOI: 10.1093/cercor/bhu137.
  16. Durlik J., Szewczyk J., Muszynski M., Wodniecka Z. Interference and inhibition in bilingual language comprehension: Evidence from Polish-English interlingual homographs // PLoS ONE. 2016. Vol. 11, no. 3. P. e0151430. DOI: 10.1371/journal.pone.0151430.
  17. Bastarrika A., Davidson D. J. An event related field study of rapid grammatical plasticity in adult second-language learners // Front. Hum. Neurosci. 2017. Vol. 11. P. 12. DOI: 10.3389/fnhum. 2017.00012.
  18. Bhatia D., Prasad S. G., Sake K., Mishra R. K. Task irrelevant external cues can influence language selection in voluntary object naming: Evidence from Hindi-English bilinguals // PLoS ONE. 2017. Vol. 12, no. 1. P. e0169284. DOI: 10.1371/journal.pone.0169284.
  19. Blanco-Elorrieta E., Pylkkanen L. Bilingual language switching in the laboratory versus in the wild: The spatiotemporal dynamics of adaptive language control // J. Neurosci. 2017. Vol. 37, no. 37. P. 9022–9036. DOI: 10.1523/JNEUROSCI.0553-17.2017.
  20. Mosca M., de Bot K. Bilingual language switching: Production vs. recognition // Front. Psychol. 2017. Vol. 8. P. 934. DOI: 10.3389/fpsyg.2017.00934.
  21. Yang J., Ye J., Wang R., Zhou K., Wu Y. J. Bilingual contexts modulate the inhibitory control network // Front. Psychol. 2018. Vol. 9. P. 395. DOI: 10.3389/fpsyg.2018.00395.
  22. Plat R., Lowie W., de Bot K. Word naming in the L1 and L2: A dynamic perspective on automatization and the degree of semantic involvement in naming // Front. Psychol. 2018. Vol. 8. P. 2256. DOI: 10.3389/fpsyg.2017.02256.
  23. Forseth K. J., Kadipasaoglu C. M., Conner C. R., Hickok G., Knight R. T., Tandon N. A lexical semantic hub for heteromodal naming in middle fusiform gyrus // Brain. 2018. Vol. 141, no. 7. P. 2112–2126. DOI: 10.1093/brain/awy120.
  24. Lavric A., Clapp A., East A., Elchlepp H., Monsell S. Is preparing for a language switch like preparing for a task switch? // Journal of Experimental Psychology: Learning, Memory, and Cognition. 2019. Vol. 45, no. 7. P. 1224–1233. DOI: 10.1037/xlm0000636.
  25. Liu H., Zhang M., Perez A., Xie N., Li B., Liu Q. Role of language control during interbrain phase synchronization of cross-language communication // Neuropsychologia. 2019. Vol. 131. P. 316–324. DOI: 10.1016/j.neuropsychologia.2019.05.014.
  26. Runnqvist E., Strijkers K., Costa A. Error-based learning and lexical competition in word production: Evidence from multilingual naming // PLoS ONE. 2019. Vol. 14, no. 3. P. e0213765. DOI: 10.1371/journal.pone.0213765.
  27. Massa E., Kopke B., El Yagoubi R. Age-related effect on language control and executive control in bilingual and monolingual speakers: Behavioral and electrophysiological evidence // Neuropsychologia. 2020. Vol. 138. P. 107336. DOI: 10.1016/j.neuropsychologia.2020.107336.
  28. Zhang Y., Cao N., Yue C., Dai L., Wu Y. J. The interplay between language form and concept during language switching: A behavioral investigation // Front. Psychol. 2020. Vol. 11. P. 791. DOI: 10.3389/fpsyg.2020.00791.
  29. Zhu J. D., Seymour R. A., Szakay A., Sowman P. F. Neuro-dynamics of executive control in bilingual language switching: An MEG study // Cognition. 2020. Vol. 199. P. 104247. DOI: 10.1016/ j.cognition.2020.104247.
  30. Hofweber J., Marinis T., Treffers-Daller J. Experimentally induced language modes and regular code-switching habits boost bilinguals executive performance: Evidence from a within-subject paradigm // Front. Psychol. 2020. Vol. 11. P. 542326. DOI: 10.3389/fpsyg.2020.542326.
  31. Tabassi Mofrad F., Jahn A., Schiller N. O. Dual function of primary somatosensory cortex in cognitive control of language: Evidence from resting state fMRI // Neuroscience. 2020. Vol. 446. P. 59–68. DOI: 10.1016/j.neuroscience.2020.08.032.
  32. Schramm S., Tanigawa N., Tussis L., Meyer B., Sollmann N., Krieg S. M. Capturing multiple interaction effects in L1 and L2 object-naming reaction times in healthy bilinguals: a mixed-effects multiple regression analysis // BMC Neurosci. 2020. Vol. 21, no. 1. P. 3. DOI: 10.1186/s12868- 020-0549-x.
  33. Weiss Lucas C., Pieczewski J., Kochs S., Nettekoven C., Grefkes C., Goldbrunner R., Jonas K. The cologne picture naming test for language mapping and monitoring (CoNaT): An open set of 100 black and white object drawings // Front. Neurol. 2021. Vol. 12. P. 633068. DOI: 10.3389/fneur. 2021.633068.
  34. Wu R., Struys E. Language dominance and sociolinguistic experience are related to language control and domain-general monitoring control: An investigation in bilinguals who live in a minority/majority sociolinguistic setting // Front. Psychol. 2021. Vol. 12. P. 594648. DOI: 10.3389/ fpsyg.2021.594648.
  35. Kang X., Matthews S., Yip V., Wong P. C. M. Language and nonlanguage factors in foreign language learning: evidence for the learning condition hypothesis // npj Science of Learning. 2021. Vol. 6, no. 1. P. 28. DOI: 10.1038/s41539-021-00104-9.
  36. Liu C., Li L., Jiao L., Wang R. Bilingual language control flexibly adapts to cultural context // Front. Psychol. 2021. Vol. 12. P. 744289. DOI: 10.3389/fpsyg.2021.744289.
  37. Radman N., Jost L., Dorood S., Mancini C., Annoni J.-M. Language distance modulates cognitive control in bilinguals // Sci. Rep. 2021. Vol. 11, no. 1. P. 24131. DOI: 10.1038/s41598-021-02973-x.
  38. Honari-Jahromi M., Chouinard B., Blanco-Elorrieta E., Pylkkanen L., Fyshe A. Neural representation of words within phrases: Temporal evolution of color-adjectives and object-nouns during simple composition // PLoS ONE. 2021.Vol. 16, no. 3. P. e0242754. DOI: 10.1371/journal.pone.0242754.
  39. Verdonschot R. G., Phudng H. T. L., Tamaoka K. Phonological encoding in Vietnamese: An experimental investigation // Quarterly Journal of Experimental Psychology. 2022. Vol. 75, no. 7. P. 1355–1366. DOI: 10.1177/17470218211053244.
  40. Visani E., Sebastiano D. R., Duran D., Garofalo G., Magliocco F., Silipo F., Buccino G. The semantics of natural objects and tools in the brain: A combined behavioral and MEG study // Brain Sci. 2022. Vol. 12, no. 1. P. 97. DOI: 10.3390/brainsci12010097.
  41. Busch J. L., Haeussler F. S., Domahs F., Timmermann L., Weber I., Oehrn C. R. German normative data with naming latencies for 283 action pictures and 600 action verbs // Behavior Research Methods. 2022. Vol. 54, no. 2. P. 649–662. DOI: 10.3758/s13428-021-01647-w.
  42. Krautz A. E., Keuleers E. LinguaPix database: A megastudy of picture-naming norms // Behavior Research Methods. 2022. Vol. 54, no. 2. P. 941–954. DOI: 10.3758/s13428-021-01651-0.
  43. Wu R., Struys E. A domain-general monitoring account of bilingual language control in recognition: The role of language dominance and bilingual experience // Front. Psychol. 2022. Vol. 13. P. 854898. DOI: 10.3389/fpsyg.2022.854898.
  44. Yang W., Gu Y., Fang Y., Sun Y. Mental representations of time in English monolinguals, Mandarin monolinguals, and Mandarin–English bilinguals // Front. Psychol. 2022. Vol. 13. P. 791197. DOI: 10.3389/fpsyg.2022.791197.
  45. Baker D. H., Vilidaite G., Lygo F. A., Smith A. K., Flack T. R., Gouws A. D., Andrews T. J. Power contours: Optimising sample size and precision in experimental psychology and human neuroscience // Psychological Methods. 2021. Vol. 26, no. 3. P. 295–314. DOI: 10.1037/met0000337. 
  46. Walker G. M., Basilakos A., Fridriksson J., Hickok G. Beyond percent correct: Measuring change in individual picture naming ability // Journal of Speech, Language, and Hearing Research. 2022. Vol. 65, no. 1. P. 215–237. DOI: 10.1044/2021_JSLHR-20-00205.
  47. Welford A. T. Choice Reaction Time: Basic Concepts. New York: Academic Press, 1980. 128 p.
  48. Jain A., Bansal R., Kumar A., Singh K. D. A comparative study of visual and auditory reaction times on the basis of gender and physical activity levels of medical first year students // International Journal of Applied and Basic Medical Research. 2015. Vol. 5, no. 2. P. 124–127. DOI: 10.4103/2229-516X.157168.
  49. Fritsche M., Lawrence S. J. D., de Lange F. P. Temporal tuning of repetition suppression across the visual cortex // J. Neurophysiol. 2020. Vol. 123, no. 1. P. 224–233. DOI: 10.1152/jn.00582.2019.
  50. Боровков А. А. Математическая статистика. Оценка параметров. Проверка гипотез: учебное пособие для мат. и физ. спец. вузов. М.: Наука, 1984. 472 с.
  51. Kostandov E. A., Cheremushkin E. A., Yakovenko I. A., Petrenko N. E. Induced synchronization of the alpha rhythm during the pauses between visual stimuli with different levels of cognitive set plasticity // Neuroscience and Behavioral Physiology. 2015. Vol. 45, no. 2. P. 154–163. DOI: 10.1007/s11055-015-0053-4.
  52. Babiloni C., Miniussi C., Babiloni F., Carducci F., Cincotti F., Del Percio C., Sirello G., Fracassi C., Nobre A. C., Rossini P. M. Sub-second "temporal attention" modulates alpha rhythms. A high-resolution EEG study // Cognitive Brain Research. 2004. Vol. 19, no. 3. P. 259–268. DOI: 10.1016/j.cogbrainres.2003.12.010.
  53. Coull J. T., Nobre A. C. Where and when to pay attention: The neural systems for directing attention to spatial locations and to time intervals as revealed by both PET and fMRI // J. Neurosci. 1998. Vol. 18, no. 18. P. 7426–7435. DOI: 10.1523/JNEUROSCI.18-18-07426.1998.
  54. D'Esposito M. From cognitive to neural models of working memory // Phil. Trans. R. Soc. B. 2007. Vol. 362, no. 1481. P. 761–772. DOI: 10.1098/rstb.2007.2086.
  55. Gazzaley A., Nobre A. C. Top-down modulation: bridging selective attention and working memory // Trends Cogn. Sci. 2012. Vol. 16, no. 2. P. 129–135. DOI: 10.1016/j.tics.2011.11.014.
  56. Ivry R. B., Schlerf J. E. Dedicated and intrinsic models of time perception // Trends Cogn. Sci. 2008. Vol. 12, no. 7. P. 273–280. DOI: 10.1016/j.tics.2008.04.002.
  57. Alavash M., Tune S., Obleser J. Dynamic large-scale connectivity of intrinsic cortical oscillations supports adaptive listening in challenging conditions // PLoS Biol. 2021. Vol. 19, no. 10. P. e3001410. DOI: 10.1371/journal.pbio.3001410.
  58. Liu H., Hu Z., Guo T., Peng D. Speaking words in two languages with one brain: Neural overlap and dissociation // Brain Research. 2010. Vol. 1316. P. 75–82. DOI: 10.1016/j.brainres.2009.12.030.
  59. Smets E. M. A., Garssen B., Cull A., De Haes J. C. J. M. Application of the multidimensional fatigue inventory (MFI-20) in cancer patients receiving radiotherapy // British Journal of Cancer. 1996. Vol. 73, no. 2. P. 241–245. DOI: 10.1038/bjc.1996.42.
  60. Lee K. A., Hicks G., Nino-Murcia G. Validity and reliability of a scale to assess fatigue // Psychiatry Research. 1991. Vol. 36, no. 3. P. 291–298. DOI: 10.1016/0165-1781(91)90027-M.
  61. Sato S. D., Choi J. T. Corticospinal drive is associated with temporal walking adaptation in both healthy young and older adults // Front. Aging Neurosci. 2022. Vol. 14. P. 920475. DOI: 10.3389/fnagi.2022.920475.
  62. Hoonakker P., Carayon P., Gurses A. P., Brown R., Khunlertkit A., McGuire K., Walker J. M. Measuring workload of ICU nurses with a questionnaire survey: the NASA Task Load Index (TLX) // IIE Transactions on Healthcare Systems Engineering. 2011. Vol. 1, no. 2. P. 131–143. DOI: 10.1080/19488300.2011.609524.
  63. Mouze-Amady M., Raufaste E., Prade H., Meyer J.-P. Fuzzy-TLX: using fuzzy integrals for evaluating human mental workload with NASA-Task Load indeX in laboratory and field studies // Ergonomics. 2013. Vol. 56, no. 5. P. 752–763. DOI: 10.1080/00140139.2013.776702.
  64. Said S., Gozdzik M., Roche T. R., Braun J., Rossler J., Kaserer A., Spahn D. R., Nothiger C. B., Tscholl D. W. Validation of the raw National Aeronautics and Space Administration Task Load Index (NASA-TLX) questionnaire to assess perceived workload in patient monitoring tasks: Pooled analysis study using mixed models // J. Med. Internet Res. 2020. Vol. 22, no. 9. P. e19472. DOI: 10.2196/19472.
  65. English Vocabulary Level Test [Electronic resource]. Oxford Online English, 2011. Available from: https://www.oxfordonlineenglish.com/english-level-test/vocabulary.
  66. Gentilucci M., Bernardis P., Crisi G., Dalla Volta R. Repetitive transcranial magnetic stimulation of Broca’s area affects verbal responses to gesture observation // Journal of Cognitive Neuroscience. 2006. Vol. 18, no. 7. P. 1059–1074. DOI: 10.1162/jocn.2006.18.7.1059.
Поступила в редакцию: 
05.12.2022
Принята к публикации: 
12.12.2022
Опубликована онлайн: 
20.03.2023
Опубликована: 
31.03.2023
  • 1552 просмотра