Сенсорные особенности операторов в задачах управления эргатическими системами при отсутствии зрительной обратной связи

Обложка

Цитировать

Полный текст

Аннотация

Целью исследования было выяснить влияние зрительной обратной связи на качество работы пользователей с рядом интерфейсов “человек–компьютер”, а также на освоение интерфейсов. В результате работы были оценены особенности генерации управляющих команд операторами эргатических систем с использованием окулографического интерфейса, интерфейсов управления движениями руки и головы. Наличие зрительной обратной связи оказалось важным для точной генерации команд во всех случаях. Однако при управлении головой и глазами наличие зрительной обратной связи приводило у необученных пользователей к большему отклонению от идеальной траектории и увеличению дистанции, которую проходил курсор до достижения цели. Анализ типичных реакций во всех экспериментах позволил выделить три типа управления, отличающихся для движения глаз и головы, но не для движения рук в режиме эргатической системы. Первый и второй типы проявляли большее количество ошибок при наличии обратной связи по сравнению с третьим типом. Полученные результаты могут быть использованы при разработке перспективных интерфейсов для эргатических систем, включая определение необходимых компонентов зрительной обратной связи для данного класса технических устройств.

Полный текст

ВВЕДЕНИЕ

Расширение требований к эргатическим системам управления, т.е. человеко-машинным системам, где человек включен в контур управления, требует одновременного развития и систем подготовки операторов для таких систем, причем подготовки c учетом особенностей функционирования самой системы. Одной из таких особенностей является использование новых каналов генерации команд человеком-оператором. Кроме классического подхода, основанного на использовании клавиатур и джойстик-подобных устройств, делаются разнообразные попытки применения иных каналов генерации команд. К таким каналам можно отнести голосовой канал (Cohenetal, 2004), акселерометрические решения, интерфейсы “мозг–компьютер” (Мельк, 2020; Полубаров и др., 2022; Туровский и др., 2020; Wolpaw, Wolpaw, 2012), миографические интерфейсы (Туровский, Боронников, 2020) и интерфейсы, обеспечивающие генерацию управляющих команд c помощью движения головы (Орлов и др., 2018) или движения глаз (Турицын и др., 2016; Туровский, Алексеев, 2023). При этом, как и в большинстве классических подходов, важную роль играет обратная связь по каналу зрения (Туровский и др., 2017). Иными словами, оператор использует зрение для контроля, например за положением управляющей конечности по отношению к консоли управления или управляемого им курсора на плоскости графического интерфейса. В то же время в целом ряде случаев оператор эргатической системы вынужден генерировать команды, не используя канала зрения для контроля. Очевидно, что в общем случае снижение контроля за подобной генерацией, выражающееся в отсутствии зрительного контроля, снижает точность работы оператора. При этом возникает и следующая проблема — не развиты механизмы оценки «слепого управления» даже с использованием классических подходов в генерации оператором управляющих команд. В ситуации же использования альтернативных интерфейсов (окулографического, миографического, акселерометрического) автоматизация оценки способности оператора к генерации заданных команд является ключевым механизмом не только профессионального отбора, но задач обучения пользователя, создания эргономически обоснованных систем управления. Очевидно, что в большинстве случаев с использованием альтернативных интерфейсов “человек–компьютер” (окулографических, миографических, акселерометрически и подобных) отсутствие канала зрительной обратной связи компенсируется моторной памятью (Корнеев, Курганский, 2017). Иными словами, получая в ходе работы данные от мышц, связок и сухожилий об их состоянии, пользователь должен сформировать картину, соответствующую генерации тех или иных управляющих команд. Очевидно, что формирование этой картины, по сути энграммы (Солодов, 2018), — процесс, растянутый по времени и подвергающийся постоянной коррекции с учетом опыта пользователя. Тем не менее его оценка применительно к тем интерфейсам “человек–компьютер”, которые основаны на мышечной активности, представляет значительный интерес в аспекте оценки потенциала данных устройств в работе в условиях ограниченного зрительного канала обратной связи и, следовательно, в оценке требований к формированию этого и других каналов обратной связи.

Цель работы — изучение проприоцептивных компонентов формирования моторной памяти для оценки возможности оператора генерировать управляющие команды для эргатической системы в условиях отсутствия зрительного контроля оператором процесса управления.

МАТЕРИАЛЫ И МЕТОДЫ

В эксперименте приняли участие 30 испытуемых в возрасте от 17 до 26 лет (21 мужчина и 9 женщин), медианный возраст составил 21 год. В рамках эксперимента проверялась способность испытуемого генерировать управляющие команды в ходе работы новым интерфейсам “человек–компьютер” как в условиях контроля генерации по зрительному каналу, так и в отсутствие зрительного канала с опорой на проприоцептивную информацию. Было выбрано три интерфейса. Первый — максимально близкий к классическим — представлял собой виртуальную клавиатуру, где пользователь, меняя положение верхней конечности, набирал определенные команды (РИ). Второй — генерировал команды движением головы пользователя, положение которой определялось, как и в первом случае, методами машинного зрения (ГИ). В третьем интерфейсе использовался оригинальный оптико-окулографический интерфейс (ОИ) (Туровский, Алексеев, 2023). Для проверки качества эксперимент с каждым из интерфейсов проводился в две фазы: первая в режиме обратной связи (ОС), когда пользователь видит реакцию системы на его действия, и вторая — без обратной связи, когда визуальное отображение результатов взаимодействия испытуемого с интерфейсом отсутствует. Каждый из испытуемых проходил в один день эксперимент со всеми тремя типами интерфейсов, порядок которых определялся случайным образом.

Программно-аппаратная платформа была общая для всех трех экспериментов. В каждом эксперименте испытуемый тем или иным образом управлял оранжевым маркером, отображаемым на мониторе перед ним. Монитор с диагональю 22 дюйма и разрешением 1 920 × 1 080 пикселей располагался перед оператором на удобном для него расстоянии. На экране были иные маркеры в сетке 3 × 3, за каждым из которых была закреплена числовая команда от 1 до 9; из них один был маркером цели, к которому испытуемому требовалось подвести как можно ближе свой маркер, а остальные пассивно отображались (рис. 1).

 

Рис. 1. Пример работы интерфейса, управляемого пальцем испытуемого: а — круглый маркер, без обозначений — маркер испытуемого. Нумерованный маркер центрального поля по цвету отличается от остальных нумерованных маркеров, так как является целевым; б — целевым является маркер под номером 5. Поскольку эксперимент проходил без обратной связи по зрительному каналу, маркер испытуемого и видео положения руки отсутствуют.

 

По умолчанию маркер цели имел красный цвет, остальные — серый. В случае фазы эксперимента с обратной связью проводили поиск маркера, ближайшего к управляемому пользователем. Если данный маркер был маркером цели, он менял свой цвет на зеленый, информируя таким образом испытуемого о том, что система произвела захват маркера пользователя так, что он совпал с областью маркера цели. В случае фазы эксперимента без обратной связи изменение цвета маркером, как и отображение управляемого испытуемым маркера, не проводилось. Все маркеры в случайном порядке становились маркером-целью, всего каждый из маркеров становился целью четыре раза за один этап эксперимента. Смена маркера-цели проводили по истечении 3 с, отводимых на выполнение команды, либо после корректного выполнения пользователем команды в течение 1 с. Выполнение команды в некоторый момент считается корректным, когда для маркера, управляемого пользователем, ближайшим является маркер цели. Корректность выполнения за 1 с времени засчитывается, если доля ошибок, т.е. выхода управляемого маркера за пределы поля маркера-цели, не превышает 5% времени.

Всего производилось испытание трех видов интерфейсов, использующих в качестве исходных данных:

  • координаты перемещения кончика указательного пальца испытуемого по плоской поверхности;
  • координаты смещения и вращения головы испытуемого в пространстве;
  • регистрируемые интерфейсом инфракрасной окулографии данные о движении правого глаза испытуемого.

В эксперименте, когда для управления использовался указательный палец руки испытуемого, веб-камера Logitech HD Webcam C615 (частота регистрации 30 кадров в секунду) была закреплена сверху над поверхностью, по которой испытуемый перемещал руку, и направлена на нее. Поверх транслируемого изображения с камеры во время эксперимента с обратной связью накладывалась сетка с девятью маркерами (рис. 1, а), а координаты кончика указательного пальца в пикселях на потоковом видео принимались за координаты управляемого испытуемым маркера. В режиме работы без обратной связи пользователю демонстрировалось статичное изображение (рис. 1, б) с сеткой из девяти маркеров.

В эксперименте, когда для управления использовалась голова пользователя, данные о ее движении и вращении регистрировались веб-камерой Logitech HD Webcam C615, расположенной перед испытуемым. Эти координаты, изначально представленные в локальной системе координат камеры, переводились в глобальную систему координат, в которой были предварительно указаны координаты камеры и экрана, на котором испытуемый проходил эксперимент. В дальнейшем строился луч, начинающийся на кончике носа пользователя и направленный от лица вперед. Трехмерные координаты пересечения построенного луча и экрана переводились в пиксельные координаты окна программы, в которой проводился эксперимент, и принимались за координаты управляемого испытуемым маркера (рис. 2).

 

Рис. 2. Общая схема управления маркером движением головы.

 

В эксперименте для управления маркером c помощью интерфейса инфракрасной окулографии оригинальной конструкции (Туровский, Алексеев, 2023), обеспечивающeй фиксацию положения зрачка с частотой 70 Гц, после калибровки по каждому из представленных на экране маркеров проводилось непосредственное предсказание координат в пикселях, соответствующих точке на экране в центре поля зрения испытуемого. Во время эксперимента испытуемый был неподвижен, шея была зафиксирована для нивелирования непроизвольных поворотов головы вслед за смещением поля зрения, что могло привести к целому ряду артефактов, включая вестибуло-окулографические рефлексы (Туровский и др., 2023; Hampton, 2023).

В расчетах использовались следующие показатели: время выполнения задания, которое, согласно протоколу эксперимента, не могло превышать 3 с, и расстояние, которое проходил управляемый пользователем курсор. С учетом того, что управление осуществлялось на экране монитора, расстояние определялось в пикселях. Скорость перемещения управляемого курсора и среднеквадратическое отклонение (СКО) траектории пользователя от идеальной траектории (ИТ), представляющей собой отрезок с началом в точке начального положения курсора и концом в точке, соответствующей исполняемой команде (рис. 3).

 

Рис. 3. Пример построения идеальной траектории движения курсора по реально полученной траектории оператора.

 

В статистическом анализе использовали методы дескриптивной статистики, критерии Крускала–Уоллеса, Манна–Уитни, Вилкоксона для парных случаев, при этом параметр a принимался равным 5%. Для анализа категориальных переменных использовали точный критерий Фишера и критерий χ2. Для статистического изучения связи между явлениями использовали непараметрический метод — коэффициент ранговой корреляции Спирмена. Учитывался эффект множественных сравнений на основе FDR-подхода (Benjamini, Hochberg, 1995; Туровский и др. 2021). Для кластерного анализа применили метод К-средних. Использовались статистические пакеты Statistica 8.0 и выше и разработанное авторами программное обеспечение.

РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ

Значения частот успешных и неуспешных экспериментов показано на рис. 4.

 

Рис. 4. Распределение числа экспериментов по интерфейсам со зрительной обратной связью и без (ОИ – окулографический интерфейс, РИ — интерфейс управления рукой, ГИ — интерфейс управления головой, ОС — управление в режиме обратной связи, без ОС — управление в режиме без обратной связи).

 

Из рисунка следует, что наличие обратной связи ожидаемо приближает к 100% точность выполнения задач при генерации сигналов движением верхней конечности и головы, поскольку произвольное управление в течение длительного времени и головой, и верхними конечностями представляет собой типовую задачу, неоднократно и каждодневно решаемую. Однако при использовании окулографических интерфейсов точность была существенно ниже, достигая только 62%, что объясняется как отсутствием опыта у испытуемых, так и ограниченным временем на набор команды. В эксперименте без обратной связи точность выполнения задачи ожидаемо упала: для генерации команд движением руки она составила 44% (р << 0.001, χ2 = 821), для генерации команд движением головы 41% (р << 0.001, χ2 = 814) и 45% (р << 0.001, χ2 = 61,7) для окулографического интерфейса. Таким образом, удаление из контура управления визуального канала обратной связи приводит к тому, что точность движения верхней конечности приближается к точности движения глаза (Toreini et al., 2020) и головы, формируя очень схожие по точности показатели, демонстрирующие ошибки проприоцептивного канала обратной связи.

Распределение числа успешных экспериментов, т.е. тех, где пользователь достигал поставленной экспериментатором цели, распределялось следующим образом: для ОИ процент успешных экспериментов при наличии обратной связи составил для каждой из позиций маркера-цели 54, 71, 67, 59, 60, 66, 52, 64, 63% (р = 0.04, χ2 = 16.08); для экспериментов без обратной связи 38, 46, 31, 53, 45, 69, 30, 47, 45% (р << 0.001, χ2 = 53.76). Иными словами, точность выполнения заданий напрямую связана с локализацией изображения, что согласуется с работой (Alonso et al., 2013). При этом вполне ожидаемо наличие обратной связи для ОИ повышает эффективность взаимодействия с интерфейсом, чему посвящено значительное количество работ самого разного дизайна (Eisma et al., 2021), включая не только ОИ, но и гибридные интерфейсы, где данный подход основан на совместном использовании ОИ с другими системами (Kim et al., 2014). Для интерфейса, основанного на движении верхней конечности (РИ), процент успешных экспериментов составил 100, 98, 100, 100, 98, 98, 98, 100, 100% (р = 0.33, χ2 = 9.05) при наличии зрительной обратной связи и 21, 38, 68, 30, 22, 49, 82, 80, 90% (р << << 0.001, χ2 = 191) без ОС. Для интерфейса, основанного на движении головы оператора (ГИ), процент успешных экспериментов при ОС составил 98, 97, 96, 98, 97, 98, 95, 98, 100% (р = 0.42, χ2 = 8.03), а без ОС — 53, 37, 43, 42, 44, 35, 37, 37, 38% (р = = 0.155, χ2 = 11.9). Таким образом, удаление из схемы эксперимента визуального канала обратной связи приводит для РИ и ГИ к резкому ухудшению точности работы, сопровождаемому появлением паттернов успешного выполнения задания, когда точность для одной цели может значительно превышать точность для другой (в случае РИ).

Корреляционный анализ экспериментов с обратной связью показал, что для всех исследуемых видов интерфейсов есть тесная взаимосвязь между исследуемыми величинами (r = 0.81, 0.53, 0.56 для пар «время выполнения команд» — «дистанция между началом движения и целью», «время выполнения команд» — «СКО», «СКО» — «дистанция между началом движения и целью» соответственно для ОИ; 0.62, 0.46, 052 — для аналогичных пар переменных РИ, 0.66, 0.62, 0.69 — для ГИ; во всех случаях p < 0.01). Если корреляция между временем выполнения задания и дистанцией, на которую будет перемещен курсор, очевидна, то связь с этими показателями СКО, вероятно, может означать, что с ростом дистанции при наличии обратной связи увеличивается и разброс движения управляемого оператором маркера относительно идеальной траектории. Отсюда можно предположить, что большие дистанции перемещения курсора в большей степени влияют на число генерации ошибочных команд, что в итоге отражает процесс обучения управлением курсором не имевшего ранее опыта оператора. Для попыток, где цель не была достигнута, значения коэффициента корреляции составили: 0.75, 0.25, 0.35 для ОИ, порядок пар корреляции здесь и далее соответствует указанному ранее; 0.34, 0.18, 0.49 — для РИ; 0.04, 0.24, 0.63 — для всех значений, кроме выделенного курсором, p < 0.01.

Рассмотрим количественные данные о результатах выполнения задания. Общие результаты представлены в табл. 1.

 

Таблица 1. Результаты работы операторов для трех исследуемых типов интерфейсов “человек–компьютер” в зависимости от успешности выполнения задания и зрительной ОС (М, m, Q25, Me, Q75)

Результат

Успешно

Тип эксперимента

ОИ

ГИ

РИ

Обратная связь

ОС

Без ОС

ОС

Без ОС

ОС

Без ОС

Время

1.52***

0.02

1.24

1.35

1.73

1.41

0.02

1.20

1.29

1.47

1.72

0.01

1.54

1.70

1.93

1.70

0.02

1.53

1.70

1.90

1.52

0.01

1.38

1.49

1.65

1.50

0.02

1.37

1.49

1.65

Дистанция

3 641***

61

2 614

3 297

4 288

3 256

53

2 575

3 121

3 726

895***

13

622

870

1 174

844

22

577

831

1 116

704***

9

499

678

899

918

21

570

876

1 218

СКО

59.51

2.37

23.10

40.39

72.87

55.89

2.47

22.61

39.69

69.97

32.10***

0.84

12.44

24.21

44.47

25.71

1.18

10.26

19.79

35.76

15.71*

0.48

5.38

10.82

20.81

19.07

0.90

6.66

12.61

25.30

Скорость

2 376

25

1 953

2 352

2 739

2 335

27

1 979

2 300

2 683

500***

6

380

491

640

479

12

321

479

625.

453***

5

339

441

552

605

13

399

571

757

Результат

Неуспешно

Время

2.98

0.00

2.98

2.99

2.99

2.98

0.00

2.99

2.99

2.99

2.91

0.01

2.89

2.91

2.92

2.92

0.00

2.89

2.92

2.95

2.97

0.01

2.96

2.97

2.99

2.97

0.00

2.96

2.96

2.99

Дистанция

7 936***

127

6 271

7 767

9 457

7 246

95

5 566

7 235

8 698

1 512***

96

1 071

1 474

1 860

979

35

617

869

1 267

1 851*

372

1 333

1 577

1 885

1 268

25

892

1 196

1 558

СКО

125.04***

5.04

52.39

92.46

168.46

81.68

3.11

30.71

55.27

111.47

111.65***

19.09

62.71

100.32

160.21

34.04

2.10

13.71

24.91

43.63

49.06*

9.04

23.61

57.49

63.32

29.82

1.49

8.13

16.39

40.43

Скорость

2 659***

42

2 099

2 599

3 167

2 428

32

1 863

2 422

2 918

520***

33

367

508

637

335

12

210

300

434

623*

126

450

530

630

427

8

300

403

523

*** р ≪ 0.0001; * р < 0.05 — различия между экспериментами с обратной связью и без обратной связи для каждого из интерфейсов.

 

Различия по ОИ в попытках, которые завершились успешно, были ожидаемо связаны с временем выполнения команды: без обратной связи оно меньше, чем с обратной связью (р << 0.0001), при этом короче и траектория управляемого курсора (р = 0.03). Отклонения от идеальной траектории не различались вне зависимости от наличия или отсутствия обратной связи, аналогично не различались и скорости перемещения управляемого курсора. Наиболее вероятной причиной является время на обработку зрительной информации о положении управляемого курсора. Большее время, затрачиваемое оператором, было связано и с большей дистанцией, которую проходил курсор под управлением ОИ. Вероятным объяснением может быть то, что ни одни из испытуемых не работал раньше с окулографическим интерфейсом. Таким образом, не имея навыка работы с данным устройством, пользователь, используя канал обратной связи, пытается корректировать движение глаза. При этом формирование навыка управления недостаточно, чтобы оперативно корректировать положение глаза, генерирующего управляющие команды. При отсутствии обратной связи пользователь реализует управление «как есть», т.е. исходя из полученных им в фазе работы с обратной связью моторных навыков и, следовательно, не совершая дополнительных движений, инициируемых контуром обратной связи, вызывающим дополнительное отклонение с учетом задержки реакции пользователя из-за недостатка навыков.

Аналогичные отклонения в дистанции движения курсора наблюдались и в тех экспериментах, которые закончились неуспешно. При этом меньшие значения СКО в целом показывают, что наличие обратной связи вызывает и в этом случае дополнительные движения курсора, порожденные движениями глаз пользователя. При этом в отличие от успешного выполнения задания наличие обратной связи вызывает большую скорость движения. Таким образом, наличие обратной связи вызывает более быстрые движения глаза, не сказывающиеся в то же время на точности генерации команд.

Рассматривая движения головы как способ генерации управляющих команд, можно отметить следующее. Наличие обратной связи, как в случае успешного выполнения задания, приводило к большей дистанции, на которую перемещался курсор, большей скорости перемещения и большему отклонению от идеальной траектории. Таким образом, мы видим, что и в этом случае обратная связь, хотя и способствует генерации верных команд в большем проценте случаев, по факту приводит к более длинным перемещениям курсора, управляемым положением головы.

В случае же классического подхода, связанного с генерацией команд движением верхней конечности, зависимости были иными. При успешном выполнении задания отклонение от идеальной траектории, длина траектории и скорость были меньше при наличии обратной связи, чем при ее отсутствии. В то же время при неуспешном выполнении наличие обратной связи приводило к большей траектории, большему отклонению и большей скорости перемещения, чем при отсутствии ОС.

Рассмотрим различия траекторий с ОС и без ОС, исходя из цели перемещения управляемого курсора. В случае ОИ и успешного выполнении команд ни скорость, ни СКО от идеальной траектории не отличались для имеющих разные позиции цели, аналогично не было различия и для режима без ОС. Таким образом, локализация требуемой целевой позиции не влияет на работу ОИ вне зависимости от наличия ОС. Следовательно, механизм формирования данных, связанных с моторной памятью в отношении положения глаза, не имеет при заданном уровне точности привязки к локализации цели.

Иная картина сложилась при генерации команд с использованием движения головы (рис. 5).

 

Рис. 5. Диаграмма размаха с наблюдаемыми минимумом и максимумом, не превышающим 1.5 интерквартильного размаха для следующих величин: а — СКО в зависимости от номера цели при работе в режиме генерации команд движением головы. При наличии ОС p ≪ 0.0001, без ОС p = 0.004; б — скорости в зависимости от номера цели при работе в режиме генерации команды движением головы. При наличии ОС (критерий Краскейла–Уоллеса), без ОС p = 0.17.

 

На рисунке видно, что цели, вызывающие наибольшие отклонения, и скорости при выполнении заданий, сгруппированы по периферии центральной, ближе к нижней кромке экрана. Расположение полей целей представлено на рис. 2.

Для интерфейса с использованием руки, являющегося по сути эталонным, поскольку управление с его использованием является традиционным, при имеющемся уровне технического развития выявлены следующие особенности. При управлении с обратной связью различия в зависимости от целевой области достоверны от идеальной траектории и для СКО (р = 0.005), и для скорости выполнения команды (р << 0.001). В то же время при отсутствии обратной связи различия сохранялись только для скорости (р << 0.001). В данном случае можно говорить, что моторная память, связанная с активностью верхней конечности, обеспечивает достаточную точность в аспекте отклонения от идеальной траектории, но недостаточную для достижения цели. Иными словами, само целевое поле в системе координат пользователя перемещается от истинного к иному положению, но это иное положение достигается с достаточным уровнем контроля со стороны проприоцептивного анализатора.

Рассмотрим результаты кластерного анализа, примененного для выявления индивидуально-типологических особенностей генерации команд (рис. 6).

 

Рис. 6. Распределение среднего отклонения от идеальной траектории по трем кластерам (ОИ – окулографический интерфейс, РИ — интерфейс управления рукой, ГИ — интерфейс управления головой, ОС — управление в режиме обратной связи, без ОС — управление в режиме без обратной связи).

 

Кластеризацию осуществляли по мерам СКО в каждом эксперименте, упорядоченном по номеру попытки. При этом результаты, содержащие «выбросы» в виде маргинальных значений исследуемой величины, были удалены, если они встречались хотя бы в одном из шести экспериментов у любого пользователя. Сформированный массив данных перед кластеризацией был нормализован методом yeo-johnson (Yeo, Johnson, 2000).

Исходя их полученных данных, видно, что можно выделить 34.2% экспериментов, составивших первый кластер, при котором отсутствие обратной связи в режиме генерации команд движениями руки сопровождалось значительно более высокими значениями СКО, чем с ОС.

Во втором кластере (33.6% экспериментов) наблюдаются более высокие средние значения СКО для ОИ по сравнению с остальными кластерами; значения СКО для экспериментов, управляемых рукой, как и в первом кластере, сопровождались более высокими значениями СКО для режима без ОС. Отсутствие различий между кластерами для генерации команд верхней конечностью в режиме с ОС, очевидно, объясняется тем, что работа, как с ОС так и без ОС в виде перемещения пальцев и кисти, является типовой задачей, обучение которой проходит с ранних лет и в дальнейшем поддерживается широким спектром различных повседневных ситуаций. В то же время ситуации, требующие формирования управляющих команд движениями головы или, особенно, глаз, несмотря на современный уровень развития техники, представляют собой редко встречающиеся события.

В третьем кластере (32.2% экспериментов) сохранены более высокие значения СКО для любого типа эксперимента в режиме без ОС, однако менее выражено по сравнению с остальными кластерами. В экспериментах, управляемых ОИ и движениями головы, также характерны более высокие значения СКО для экспериментов без ОС.

Оценивая распределение успешных экспериментов по кластерам, получим следующую картину (табл. 2).

 

Таблица 2. Распределение успешных экспериментов по кластерам

Тип интерфейса

Номер кластера

ОС

Без ОС

Неуспешно, %

Успешно, %

Неуспешно, %

Успешно, %

ОИ

1

30.54***

69.45

47.83*

52.16

2

56.75*

43.25

68.31***

31.68

3

25.94***

74.06

47.83*

52.1

РИ

1

0.81

99.19

61.08*

38.92

2

0.83

99.17

58.68*

41.32

3

0

100

48.70*

51.30

ГИ

1

2.43*

97.57

51.89*

48.11

2

3.58*

96.41

65.56*

34.44

3

0.57*

99.42

59.37*

40.63

*** р ≪ 0.0001; * р < 0.05 — различия между средним значением СКО успешных и неуспешных экспериментов.

 

Полученные результаты в целом демонстрируют связь высоких значений СКО с неуспешными экспериментами, когда испытуемый не смог сгенерировать команды, обеспечивающие перемещение управляемого курсора в требуемые области пространства экрана.

ЗАКЛЮЧЕНИЕ

В работе оценены особенности генерации оператором эргатической системы управляющих команд с использованием трех интерфейсов, использующих разные механизмы генерации управляющих сигналов: движение верхней конечности, головы, глаз. Во всех случаях обратная связь осуществлялась на основе зрительного канала. При отсутствии обратной связи пользователь мог рассчитывать на моторную память, сформированную в процессе обучения, и в случае движения головы — на данные с вестибулярного анализатора. Во всех случаях наличие зрительного канала обратной связи важно для качественной генерации команд в аспекте точности. В то же время в первую очередь для генерации команд движением головы и глаз наличие канала обратной связи приводит к большему отклонению от идеальной траектории и большей дистанции, которую проходит управляемый курсор до попадания в цель. Локализация требуемой целевой позиции не влияет на работу ОИ вне зависимости от наличия ОС. Для ОИ механизм формирования данных, связанных с моторной памятью в отношении положения глаза, не имеет значения при заданном уровне точности привязки к локализации цели, в отличие от движения головы и верхней конечности. Выделение типовых реакций для совокупности всех экспериментов позволило выделить три типа управления (кластера), различающихся для движения глаз и головы, но не различающихся для движения рук в режиме ОС. Для первого и второго типов характерно большее число ошибок, чем для третьего, и разное относительно друг друга число ошибок, в первую очередь для управления рукой. Полученные результаты могут быть использованы в задачах конструирования перспективных интерфейсов эргатических систем, в том числе и в оценке необходимых компонентов визуальной обратной связи для данного класса технических устройств.

ИСТОЧНИК ФИНАНСИРОВАНИЯ

Исследование выполнено при поддержке гранта Российского научного фонда № 23–19–00664, https://rscf.ru/project/23–19–00664/.

КОНФЛИКТ ИНТЕРЕСОВ

Авторы данной статьи подтвердили отсутствие конфликта интересов, о котором необходимо сообщить.

СОБЛЮДЕНИЕ ЭТИЧЕСКИХ НОРМ

Все процедуры, выполненные в исследованиях с участием людей, соответствуют этическим стандартам национального комитета по исследовательской этике и Хельсинкской декларации 1964 г. и ее последующим изменениям или сопоставимым нормам этики. От каждого из включенных в исследование участников было получено информированное добровольное согласие.

УЧАСТИЕ АВТОРОВ

Руководство работой, постановка целей и задач, статистическая обработка результатов, разработка окулографического интерфейса выполнены Я. А. Туровским. Разработку программно-аппаратных решений для интерфейсов “человек–компьютер” осуществлял В. Ю. Алексеев. Эксперименты проведены Р. А. Токаревым.

×

Об авторах

Я. А. Туровский

Институт проблем управления им. В. А. Трапезникова Российской академии наук; Воронежский государственный университет

Автор, ответственный за переписку.
Email: yaroslav_turovsk@mail.ru
Россия, 117997, Москва, ул. Профсоюзная, 65; 394018, Воронеж, Университетская площадь, 1

В. Ю. Алексеев

Воронежский государственный университет

Email: yaroslav_turovsk@mail.ru
Россия, 394018, Воронеж, Университетская площадь, 1

Р. А. Токарев

Воронежский государственный университет

Email: yaroslav_turovsk@mail.ru
Россия, 394018, Воронеж, Университетская площадь, 1

Список литературы

  1. Корнеев А. А., Курганский А. В. Внутренняя репрезентация серии движений при воспроизведении статического рисунка и траектории движущегося объекта. Журнал высшей нервной деятельности им. И. П. Павлова. 2013. Т. 63. № 4. С. 437–450. https://doi.org/10.7868/S0044467713040060
  2. Мельк А. Ю. Обзор интерфейса мозг — компьютер. Научный аспект. 2020. Т. 5. № 3. С. 704–707.
  3. Орлов И. В., Столбков Ю. К., Герасименко Ю. П. Управление устройствами для двигательной реабилитации человека. Физиология человека. 2018. Т. 44. № 6. С. 93–103. https://doi.org/10.1134/S0131164618050120
  4. Полубаров А. А., Кашин Д. А., Абдрахманов Д. Ф. Применение алгоритмов машинного обучения в интерфейсе мозг — компьютер на волне p300. Вопросы устойчивого развития общества. 2022. № 8. С. 929–941. https://doi.org/10.34755/IROK.2022.26.86.021
  5. Солодов А. В. Эмоции в процессах памяти, когнитивных процессах и образовании. European Research: сборник статей XVI Международной научно-практической конференции. В 2 ч. Под ред. Г. Ю. Гуляева. Пенза: Наука и просвещение, 2018. Ч. I. С. 190–194.
  6. Турицын М. И., Анохин А. Н., Воловод Д. А., Герасимчук И. С., Машковцева Р. И. Исследование характеристик и возможностей применения бюджетного айтрекера в эргономических задачах. Человеческий фактор в сложных технических системах и средах. Под ред. А. Н. Анохина, П. И. Падерно, С. Ф. Сергеева. СПб: Северная звезда, 2016. С. 107–113.
  7. Туровский Я. А., Алексеев В. Ю. Сравнение подходов к отслеживанию распределения внимания операторов с использованием окулографических интрефейсов. Программная инженерия. 2023. Т. 14. № 3. С. 137–145. https://doi.org/10.17587/prin.14.137–145
  8. Туровский Я. А., Алексеев А. В., Ипполитов Ю. А. Информационная система дополнительного канала обратной связи для видеоокулографических интерфейсов “человек–компьютер”. Вестник новых медицинских технологий. 2017. Т. 24. № 2. C. 152–157. https://doi.org/10.12737/article_5947d43a55d805.86585568
  9. Туровский Я. А., Алексеев В. Ю., Мурадова Л. Г., Миронкин А. П. Особенности генерации команд для окулографических интерфейсов в условиях вестибулярных воздействий. Сенсорные системы. 2023. Т. 37. № 1. С. 49–59. https://doi.org/10.31857/S0235009223010080
  10. Туровский Я. А., Боронников А. И. Влияние обратной связи на характеристики освоения команд, генерируемых в задачах миографических интерфейсов. Технологии живых систем. 2020. Т. 17. № 2. С. 39–45. https://doi.org/10.18127/j20700997-202002-04
  11. Туровский Я. А., Борзунов С. В., Вахтин А. А. Алгоритм оценки результатов статистического анализа данных биомедицинской природы в условиях эффекта множественных сравнений. Программная инженерия. 2021. Т. 1. № 9. С. 470–474. https://doi.org/10.17587/prin.12.470-474
  12. Туровский Я. А., Борзунов С. В., Данилова А. В., Глаголева Е. П. Динамика непроизвольного формирования корреляционных паттернов ЭЭГ по механизму биологической обратной связи. Ульяновский медико-биологический журнал. 2020. № 2. С. 90–99. https://doi.org/10.34014/2227-1848-2020-2-90-99
  13. Alonso R., Causse M., Vachon F., Parise R., Dehais F., Terrier P. Evaluation of head-free eye tracking as an input device for air traffic control. Ergonomics. 2013. V. 56(2). P. 246–255. https://doi.org/10.1080/00140139.2012.744473
  14. Benjamini Y., Hochberg Y. Controlling the false discovery rate: a practical and powerful approach to multiple testing. Journal of the Royal Statistical Society, Series B. 1995. V. 57(1). P. 289–300. https://doi.org/10.2307/2346101
  15. Cohen M. H., Giangola J. P., Balogh J. Voice User Interface Design. Addison Wesley Publisher. 2004. 368 p.
  16. Eisma Y., Borst C., Paassen R., Winter J. Augmented Visual Feedback: Cure or Distraction? Human Factors. 2021. V. 63(7). P. 1156–1168. https://doi.org/10.1177/0018720820924602
  17. Hampton L. Refrexes. https://www.physio-pedia.com/Reflexes
  18. Kim B., Kim M., Jo S. Quadcopter flight control using a low-cost hybrid interface with EEG-based classification and eye tracking. Computers in Biology and Medicine. 2014. V. 51. P. 82–92. https://doi.org/10.1016/j.compbiomed.2014.04.020
  19. Toreini P., Langner M., Maedche A. Using Eye-Tracking for Visual Attention Feedback. Information Systems and Neuroscience. Lecture Notes in Information Systems and Organisation. Cham. Springer, 2020. V. 32. https://doi.org/10.1007/978-3-030-28144-1_29
  20. Wolpaw J., Wolpaw E. W. Brain-computer interfaces: principles and practice. Oxford University Press, 2012. P. 424.
  21. Yeo I. K., Johnson R. A. A new family of power transformations to improve normality or symmetry. Biometrika. 2000. V. 87(4). P. 954–959. https://doi.org/10.1093/biomet/87.4.954

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
2. Рис. 1. Пример работы интерфейса, управляемого пальцем испытуемого: а — круглый маркер, без обозначений — маркер испытуемого. Нумерованный маркер центрального поля по цвету отличается от остальных нумерованных маркеров, так как является целевым; б — целевым является маркер под номером 5. Поскольку эксперимент проходил без обратной связи по зрительному каналу, маркер испытуемого и видео положения руки отсутствуют.

3. Рис. 2. Общая схема управления маркером движением головы.

Скачать (125KB)
4. Рис. 3. Пример построения идеальной траектории движения курсора по реально полученной траектории оператора.

Скачать (207KB)
5. Рис. 4. Распределение числа экспериментов по интерфейсам со зрительной обратной связью и без (ОИ – окулографический интерфейс, РИ — интерфейс управления рукой, ГИ — интерфейс управления головой, ОС — управление в режиме обратной связи, без ОС — управление в режиме без обратной связи).

Скачать (329KB)
6. Рис. 5. Диаграмма размаха с наблюдаемыми минимумом и максимумом, не превышающим 1.5 интерквартильного размаха для следующих величин: а — СКО в зависимости от номера цели при работе в режиме генерации команд движением головы. При наличии ОС p ≪ 0.0001, без ОС p = 0.004; б — скорости в зависимости от номера цели при работе в режиме генерации команды движением головы. При наличии ОС (критерий Краскейла–Уоллеса), без ОС p = 0.17.

Скачать (377KB)
7. Рис. 6. Распределение среднего отклонения от идеальной траектории по трем кластерам (ОИ – окулографический интерфейс, РИ — интерфейс управления рукой, ГИ — интерфейс управления головой, ОС — управление в режиме обратной связи, без ОС — управление в режиме без обратной связи).

Скачать (297KB)

© Российская академия наук, 2024

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».