Метод интеллектуальной локализации взгляда на основе анализа ЭЭГ с использованием носимой головной повязки

Обложка

Цитировать

Полный текст

Аннотация

В стремительно развивающейся цифровой эпохе интерфейсы человеко-машинного взаимодействия непрерывно совершенствуется. Традиционные методы взаимодействия с компьютером, такие как мышь и клавиатура, дополняются и даже заменяются более интуитивными способами, которые включают технологии отслеживания глаз. Обычные методы отслеживания глаз используют камеры, которые отслеживают направление взгляда, но имеют свои ограничения. Альтернативным и многообещающим подходом к отслеживанию глаз является использование электроэнцефалографии, техники измерения активности мозга. Исторически ЭЭГ была ограничена в основном лабораторными условиями. Однако мобильные и доступные устройства для ЭЭГ появляются на рынке, предлагая более универсальное и эффективное средство для регистрации биопотенциалов. В данной статье представлен метод локализации взгляда с использованием электроэнцефалографии, полученной с помощью мобильного регистратора ЭЭГ в виде носимой головной повязки (компании BrainBit). Это исследование направлено на декодирование нейрональных паттернов, связанных с разными направлениями взгляда, с использованием продвинутых методов машинного обучения, в частности, нейронных сетей. Поиск паттернов выполняется как с использованием данных, полученных с помощью носимых очков с камерой для отслеживания глаз, так и с использованием неразмеченных данных. Полученные в исследовании результаты демонстрируют наличие зависимости между движением глаз и ЭЭГ, которая может быть описана и распознана с помощью предсказательной модели. Данная интеграция мобильной технологии ЭЭГ с методами отслеживания глаз предлагает портативное и удобное решение, которое может быть применено в различных областях, включающих медицинские исследования и разработку более интуитивных компьютерных интерфейсов.

Об авторах

В. Р Романюк

Санкт-Петербургский Федеральный исследовательский центр Российской академии наук (СПб ФИЦ РАН)

Автор, ответственный за переписку.
Email: romaniukvr@yandex.ru
14-я линия В.О. 39

А. М Кашевник

Санкт-Петербургский Федеральный исследовательский центр Российской академии наук (СПб ФИЦ РАН)

Email: alexey@iias.spb.su
14-я линия В.О. 39

Список литературы

  1. Holmqvist K., Nystrom M., Mulvey F. Eye tracker data quality: What it is and how to measure it // Proceedings of the Eye Tracking Research and Applications Symposium (ETRA). 2012. pp. 45–52.
  2. Jagla F., Jergelova M., Riecansky I. Saccadic eye movement related potentials. Physiological Research. 2007. vol. 56. no. 6. pp. 707–713. doi: 10.33549/physiolres.931368.
  3. Krigolson O.E., Williams C.C., Norton A., Hassall C.D., Colino F.L. Choosing MUSE: Validation of a Low-Cost, Portable EEG System for ERP Research // Frontiers in Neuroscience. 2017. vol. 11. doi: 10.3389/fnins.2017.00109.
  4. Brainbit. Brainbit Manual. URL: http://brainbit.com/ (accessed 09/01/2023).
  5. Georgiadis K., Kalaganis F.P., Riskos K., Matta E., Oikonomou V.P., Yfantidou I., Chantziaras D., Pantouvakis K., Nikolopoulos S., Laskaris N.A., Kompatsiaris I.. NeuMa – the absolute Neuromarketing dataset en route to an holistic understanding of consumer behaviour // Scientific Data. 2023. vol. 10(1). no. 508. doi: 10.1038/s41597-023-02392-9.
  6. Plochl M., Ossandon J., Konig P. Combining EEG and eye tracking: identification, characterization, and correction of eye movement artifacts in electroencephalographic data // Frontiers in Human Neuroscience. 2012. vol. 6. no. 278. URL: https://www.frontiersin.org/articles/10.3389/fnhum.2012.00278.
  7. Antoniou E., Bozios P., Christou V., Tzimourta K.D., Kalafatakis K.G. Tsipouras M., Giannakeas N., Tzallas A.T. EEG-Based Eye Movement Recognition Using Brain-Computer Interface and Random Forests // Sensors. 2021. vol. 21. no. 7. no. 2339. doi: 10.3390/s21072339.
  8. Shahbakhti M., Beiramvand M., Nazari M., Broniec-Wojcik A., Augustyniak P., Rodrigues A.S., Wierzchon M., Marozas V. VME-DWT: An Efficient Algorithm for Detection and Elimination of Eye Blink From Short Segments of Single EEG Channel // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2021. vol. 29. pp. 408–417.
  9. Stone D.B., Tamburro G., Fiedler P., Haueisen J., Comani S. Automatic Removal of Physiological Artifacts in EEG: The Optimized Fingerprint Method for Sports Science Applications // Frontiers in Human Neuroscience. 2018. vol. 12. no. 96.
  10. Maddirala A.K., Veluvolu K. Eye-blink artifact removal from single channel EEG with k-means and SSA // Scientific Reports. 2021. vol. 11(1). no. 11043.
  11. Klug M., Jeung S., Wunderlich A., Gehrke L., Protzak J., Djebbara Z., Argubi-Wollesen A., Wollesen B., Gramann K. The BeMoBIL Pipeline for automated analyses of multimodal mobile brain and body imaging data // bioRxiv. 2022. doi: 10.1101/2022.09.29.510051.
  12. Han J., Jiang G., Ouyang G., Li X. A Multimodal Approach for Identifying Autism Spectrum Disorders in Children // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2022. vol. 30. pp. 2003–2011.
  13. Ahtola E., Stjerna S., Stevenson N., Vanhatalo S. Use of eye tracking improves the detection of evoked responses to complex visual stimuli during EEG in infants // Clinical Neurophysiology Practice. 2017. vol. 2. pp. 81–90. URL: https://www.sciencedirect.com/science/article/pii/S2467981X17300070.
  14. Wang Y., Yu S., Ma N., Wang J., Hu Z., Liu Z., He J. Prediction of product design decision Making: An investigation of eye movements and EEG features // Advanced Engineering Informatics. 2020. vol. 45. no. 101095. doi: 10.1016/j.aei.2020.101095.
  15. Reiser J., Wascher E., Arnau S. Recording mobile EEG in an outdoor environment reveals cognitive-motor interference dependent on movement complexity // Scientific Reports. 2019. vol. 9(1). no. 13704.
  16. Buerkle A., Bamber T., Lohse N., Ferreira P. Feasibility of Detecting Potential Emergencies in Symbiotic Human-Robot Collaboration with a mobile EEG // Robotics and Computer-Integrated Manufacturing. 2021. vol. 72. no. 102179.
  17. Klug M., Gramann K. Identifying key factors for improving ICA-based decomposition of EEG data in mobile and stationary experiments // European Journal of Neuroscience. 2021. vol. 54. no. 12. pp. 8406–8420.
  18. Chiu N.-T., Huwiler S., Ferster M.L., Karlen W., Wu H.-T., Lustenberger C. Get rid of the beat in mobile EEG applications: A framework towards automated cardiogenic artifact detection and removal in single-channel EEG // Biomedical Signal Processing and Control. 2022. vol. 72. no. 103220. doi: 10.1016/j.bspc.2021.103220.
  19. Barz M., Sonntag D. Automatic Visual Attention Detection for Mobile Eye Tracking Using Pre-Trained Computer Vision Models and Human Gaze // Sensors. 2021. vol. 21(12). no. 4143. doi: 10.3390/s21124143.
  20. Zhou C., Shi Z., Huang T., Zhao H., Kaner J. Impact of swiping direction on the interaction performance of elderly-oriented smart home interface: EEG and eye-tracking evidence // Frontiers in Psychology. 2023. vol. 14.
  21. Tonsen M., Baumann C., Dierkes K. A High-Level Description and Performance Evaluation of Pupil Invisible. arXiv preprint arXiv:2009.00508. 2020.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML

Согласие на обработку персональных данных

 

Используя сайт https://journals.rcsi.science, я (далее – «Пользователь» или «Субъект персональных данных») даю согласие на обработку персональных данных на этом сайте (текст Согласия) и на обработку персональных данных с помощью сервиса «Яндекс.Метрика» (текст Согласия).