статья. Статья Вы ошибаетесь! Автоматическое обнаружение ошибок взаимодействия от волн мозга

• Название: Статья Вы ошибаетесь! Автоматическое обнаружение ошибок взаимодействия от волн мозга
• Дата: 17.05.2018
• Размер: 318.34 Kb.
• Имя файла: статья.docx
• Тип: Статья; #44037

Статья «Вы ошибаетесь! - Автоматическое обнаружение ошибок взаимодействия от волн мозга» Пьера У. Ферреза, Хосе дель Р. Миллана

Вступление

Интерфейс «мозг-компьютер» (BCI) представляет собой систему, которая преобразует намерение субъекта, представленного его мозговыми волнами (как правило, сигналы электроэнцефалограммы), в управляющий сигнал без использования активности любых мышц или периферических нервов. Электроэнцефалограмма (EEG) регистрируется не инвазивно с помощью электродов, помещенных на кожу головы. Затем некоторые функции извлекаются из ЭЭГ и отправляются в классификатор, ответ которого преобразуется в какое-то действие, что делает возможным совершать умственный контроль над различными устройствами. Например, недавние исследования показали, что после нескольких дней обучения, субъекты могут контролировать миниатюрного робота в помещении с несколькими комнатами, коридорами и дверными проемами только с использованием сигналов, полученных из BCI на основе ЭЭГ. Эта же система может использоваться для приведения в движение инвалидной коляски, чтобы субъект, страдающий серьезными двигательными нарушениями, но с неповрежденными познавательными способностями, мог получить большую автономию. Другие приложения, такие как виртуальная клавиатура, могли бы в целом обеспечить альтернативный способ общения с внешним миром.

Тем не менее, BCI, как и любая другая модальность взаимодействия, основанная на физиологических сигналах и каналах тела (например, мышечная активность, речь и жесты), подвержены ошибкам в распознавании намерения субъекта, и эти ошибки могут быть частыми. Действительно, даже хорошо подготовленные субъекты редко достигают 100% успеха. Возможный способ уменьшения ошибок состоит в процедуре проверки, при которой каждый результат состоит из двух противоположных испытаний, и для подтверждения результата требуется успех. Даже если этот метод значительно снижает ошибки, он требует гораздо больше умственных усилий от субъекта и снижает скорость связи.

В отличие от других модальностей взаимодействия, уникальная особенность «канала мозга» заключается в том, что он передает как информацию, из которой мы можем выводить команды умственного контроля для управления устройством, управляемым мозгом, так и информацию о когнитивных состояниях, которые имеют решающее значение для целенаправленного взаимодействия, все это происходит за миллисекунды. Одним из этих состояний является осознание ошибочных ответов, которые в последнее время начали изучать несколько групп, чтобы улучшить работу BCI. С конца 1980-х годов различные физиологические исследования показали наличие связанных с ошибками потенциалов (ErrP) в ЭЭГ, записанных сразу после того, как люди осознают, что сделали ошибку. Тем не менее, большинство из этих исследований показывают наличие ErrP в типичных задачах реакции выбора. В таких задачах субъекту предлагается как можно быстрее реагировать на стимул, а ErrP (иногда называемый «ответ ErrP») возникают после ошибок из-за неправильного действия двигателя субъекта (например, субъект нажал клавишу с левой рукой, когда он должен был ответить правой рукой). Совсем недавно в других исследованиях также было показано присутствие ErrP в типичных задачах обучения с подкреплением, где субъекту предлагается сделать выбор, и ErrP (иногда называемая «обратная связь ErrP») возникает после представления стимула, который указывает на неправильную работу.

В обоих случаях, ответ ErrP и обратная связь ErrP, наблюдался отрицательный потенциал в ЭЭГ с фронто-центральным распределением скальпа, когда испытуемые совершают ошибки. Этот отрицательный потенциал, скорее всего, генерируется в области мозга, называемой передней корой черепной кости, что имеет решающее значение для регулирования эмоциональных реакций.

Важным аспектом двух описанных ErrP является то, что они всегда следуют за ошибкой самого субъекта. Сначала субъект делает выбор, а затем ErrP возникает либо просто после возникновения ошибки (задача выбора ответа), либо после обратной связи, указывающей на ошибку (задача обучения усиления). Однако в контексте BCI или взаимодействия человека и компьютера в целом главный вопрос:

«Вызван ли ErrP при ошибке, возникающей в интерфейсе во время распознавания намерения субъекта?»

Чтобы рассмотреть все последствия этого вопроса, давайте представим, что цель субъекта состоит в том, чтобы заставить робота достичь цели слева. Что произойдет, если интерфейс не сможет распознать намеченную команду, и робот начнет вращаться в неправильном направлении? Являются ли ErrP все еще присутствующими, даже если объект не сделал никакой ошибки, но только понимает, что интерфейс работает неправильно?

Целью настоящего документа является исследование того, как ErrP может использоваться для улучшения производительности BCI. Таким образом, мы сначала исследуем, следует ли ErrP следить за обратной связью, указывающей на неправильные ответы интерфейса, и больше не вызывает ошибок самого субъекта.

Если в этом случае также обнаружены ErrP, то мы могли бы интегрировать их в BCI следующим образом, как показано на рисунке: после перевода намерения субъекта в управляющую команду BCI обеспечивает обратную связь этой команды, которая будет фактически Выполняется только в том случае, если ErrP не следует обратной связи. Это должно значительно повысить надежность BCI, как мы увидим позже. Конечно, этот новый протокол взаимодействия зависит от способности обнаруживать ErrP больше не в средних количествах большого количества испытаний, а в каждом отдельном испытании с использованием короткого окна, следующего за обратной связью, которая показывает ответ классификатора, встроенного в BCI.



В этой статье сообщаются экспериментальные результаты с тремя волонтерскими субъектами во время простого взаимодействия человека с роботом (т. е. приведение робота в левую или правую сторону комнаты), которые, наглядно показывают новый вид ErrP, являющийся удовлетворительно признанным в одиночных испытаниях. Эти показатели распознавания значительно улучшают производительность интерфейса.

Экспериментальная установка:

Чтобы проверить присутствие ErrP после обратной связи, указывающей на ошибки, допущенных интерфейсом в распознавании намерения субъекта, мы моделировали реальное взаимодействие с роботом, где субъект хотел привести робота в одну сторону комнаты (влево или вправо), доставляя повторяющиеся команды, пока робот не достигнет цели. Это виртуальное взаимодействие осуществляется с помощью двух горизонтальных индикаторов хода, каждый состоящий из 10 шагов. Одна из полосок идет от центра экрана к левой стороне (левая панель), а другая полоса переходит в правую сторону (правая панель). На рисунке показаны левые и правые горизонтальные индикаторы хода, используемые в качестве обратной связи.



Левая и правая горизонтальные полосы хода. Цель эксперимента по взаимодействию состоит в том, чтобы заполнить одну из полосок, которая имитирует реальное взаимодействие с роботом, который должен достигнуть одной стороны комнаты (слева или справа). Система заполняет полоски с частотой ошибок 20%; т. е. на каждом шаге была вероятность 20%, что робот совершил движение в неправильном направлении.

Потенциалы ЭЭГ были приобретены с помощью переносной системы (Biosemi ActiveTwo), колпачка с 32 интегрированными электродами, покрывающими весь скальп и расположенных в соответствии со стандартной международной системой 10/20. Частота дискретизации составляла 512 Гц, и сигналы измерялись при полном постоянном токе. Сырые ЭЭГ-потенциалы сначала пространственно фильтровались путем вычитания из каждого электрода среднего потенциала (по 32 каналам) на каждом временном шаге. Цель этой процедуры повторной ссылки заключается в подавлении средней активности мозга, которая может рассматриваться как базовая фоновая активность, чтобы сохранить информацию, поступающую из местных источников ниже каждого электрода. Затем мы применили полосовой фильтр 1-10 Гц, поскольку, как известно, ErrP является относительно медленным корковым потенциалом. Наконец, перед классификацией для всех сигналов ЭЭГ были произведены подвыборки с 512 Гц до 128 Гц (т. е. мы взяли одну точку из 4), что было полностью основано на временных характеристиках.

Действительно, фактический вектор ввода для статистического классификатора, описанный ниже, представляет собой окно 1/2 секунды, начинающееся через 150 мс после обратной связи и заканчивающееся через 650 мс после обратной связи для каналов C_z и F_z. Выбор этих каналов следует за тем, что ErrP характеризуются фронто-центральным распределением вдоль средней линии. Таким образом, размерность входного вектора равна 128, т.е. объединение двух окон по 64 очка (потенциалы ЭЭГ) каждый.

Не применялся алгоритм отклонения артефакта (для удаления или фильтрации глазных или мышечных движений), и все испытания были проведены для анализа. Следует, однако, отметить, что после визуальной апостериорной проверки испытаний, мы не обнаружили признаков мышечных артефактов, которые могли бы загрязнить одно условие от другого.

Статистический классификатор:

Различные классы распознаются гауссовым классификатором, обученным классифицировать отдельные испытания как «правильные» или «ошибки». Результатом этого статистического классификатора является оценка распределения вероятности апостериорного класса для одного испытания; т. е. вероятность того, что данный однопроцессор принадлежит классу «правильный» или «ошибка». Настоящий классификатор очень похож на предложенный Милланом. В рамках BCI, основанных на ЭЭГ, основное различие заключается в правилах обновления. В этом статистическом классификаторе каждая единица Гаусса представляет прототип одного из классов, подлежащих распознаванию. Мы используем несколько прототипов на умственную задачу, например:



где - центр i-го прототипа класса C_k, ∑_k - ковариационная матрица класса C_k, |∑_k| - определитель этой матрицы. Обычно каждый прототип имеет свою собственную ковариационную матрицу .

Чтобы уменьшить количество параметров, мы ограничиваем нашу модель диагональной ковариационной матрицей ∑_k, которая является общей для всех прототипов класса C_k. Теперь, задняя вероятность y_k класса C_k равна:



где a_k - активность класса C_k, а A - общая активность сети. Ответ классификатора для входного вектора x является просто классом с наивысшей вероятностью.

Для инициализации центра прототипов класса C_k выполняется алгоритм кластеризации, как правило, самоорганизующиеся карты. Затем мы инициализируем диагональную ковариационную матрицу ∑_k класса C_k, устанавливаем:



где S_k - множество обучающих выборок, принадлежащих классу C_k, |S_k| - мощность этого множества, а i^* - ближайший прототип этого класса к образцу x.

Во время обучения мы улучшаем эти первоначальные оценки итеративно стохастическими градиентными спусками, чтобы минимизировать среднеквадратичную ошибку:



где t_k - k-я компонента вектора-мишени в виде 1-of-c; Например, целевой вектор для «ошибки» класса кодируется как (0; 1). Взятие градиента функции ошибки дает:



и



где α и β являются скоростями обучения и e_k(x) = (t_k(x) - y_k(x)) - ∑_j ∙ y_j(x) ∙ (t_j(x) - y_j(x)). После обновления и для каждой обучающей выборки ковариационные матрицы всех прототипов того же класса усредняются для получения общей ковариационной матрицы классов ∑_k.

В итоге, эта простая операция приводит к лучшей производительности, чем, если отдельные матрицы ковариации, которые сохраняются для каждого отдельного прототипа. Стоит также отметить, что из-за небольшого числа обучающих выборок для класса «ошибка» иногда предпочтительнее иметь единую ковариационную матрицу, общую для всех классов, которая получается путем усреднения всех отдельных ∑_k.

Результаты эксперимента:

В этом протоколе сначала необходимо исследовать ErrP, а точнее проверить, что ErrP больше не реагирует на ошибку, допущенную самим объектом, но в ответ на ошибочный ответ интерфейс, обозначенный обратной связью, визуализирует намерение признанного субъекта. На рисунке показаны различные кривые (ошибка, правильная и разностная погрешность-минус-правильная) для канала C_z, для трех субъектов плюс наилучшее среднее из трех предметов. Первый резкий отрицательный пик (N_e) можно отчетливо видеть через 270 мс после обратной связи (за исключением субъекта 2). Поздний положительный пик (P_e) появляется от 350 до 450 мс после обратной связи. Наконец, появляется дополнительный отрицательный пик >550 мс после обратной связи. На рисунке также показаны топологии потенциалов скальпа для большой средней ЭЭГ трех субъектов при возникновении максимума N_e и P_e: первая центральная отрицательность появляется после 270 мс, за которой следует фронто-центрическая положительность при 350 мс.



Одиночная пробная классификация:

Чтобы изучить возможность обнаружения однонаправленных ошибочных ответов, мы провели 10-кратное исследование перекрестной проверки, в котором набор тестов состоит из записанных сеансов. Таким образом, тестирование всегда выполняется на другом сеансе записи для тех, которые используются для обучения модели. Это дает лучшую оценку фактических возможностей обобщения, поскольку активность мозга, естественно, изменяется со временем, как показано на рисунке. На верхних панелях показана средняя ЭЭГ двух последовательных серий (по 5 экспериментов по взаимодействию) на канале C_z для объекта 3, а на нижних панелях показаны образцы одиночных испытаний этих серий. Их изменчивость довольно очевидна.



Таблица 1: Процент правильно распознанных ошибок и правильные испытания для 3 предметов и их среднее значение:



В таблице 1 приведены показатели распознавания (среднее и стандартное отклонения) для трех субъектов плюс их среднее значение. Различные гиперпараметры, т. е. скорости обучения центров и диагональные ковариационные матрицы, количество прототипов и общие/одиночные ковариационные матрицы для каждого класса, были выбраны выбором модели в наборах обучения. Что касается уровней обучения, то для этих значений обычные значения составляли от 10-4 до 10-6, а для отклонений - от 10-6 до 10-8, в то время как обычное количество прототипов было довольно небольшим (от 2 до 4).

Эти результаты показывают, что однократное распознавание ошибочных ответов составляет в среднем почти 80%, а скорость распознавания правильных ответов несколько лучше (82,4%). Весьма важно, что даже для субъекта с худшими показателями обнаружения они составляют около 75%. Но ключевым моментом для использования автоматического распознавания ошибок взаимодействия является то, что они переводят на фактическое улучшение производительности BCI, которое мы можем измерить с точки зрения скорости передачи битов.

Улучшение скорости передачи:

Традиционной мерой производительности системы является скорость передачи битов, количество информации, передаваемой в единицу времени. Битовая скорость обычно выражается в битах на пробу (бит на выбор). Если одно испытание имеет N_c возможных результатов, если вероятность p, что этот результат верен (точность BCI), и если, наконец, каждый из других результатов имеет одинаковую вероятность выбора (т. е. (1 - p)/(N_c - 1)), тогда скорость передачи информации в битах за пробу (BpT - bits per trial) равна:



Рассмотрим теперь, как изменяется производительность BCI после введения ErrP и что система обнаруживает долю ошибочных испытаний и долю c правильных испытаний. В общем случае, после обнаружения ошибочного испытания, результат интерфейса просто прекращается и не отправляется на устройство, управляемое мозгом. Новая точность p’ BCI становится p’ = p ∙ c/ p_t, где p_t = p ∙ c + (1 - p) ∙ (1 - e). Теперь новая скорость передачи информации в битах за испытание (BpT):



В случае 2-классного BCI (N_c = 2), после обнаружения ошибочного испытания, можно было бы заменить «неправильный» результат на «противоположный».

Посредством точности p’’ = p ∙ c + (1 - p) ∙ e. Скорость передачи информации в этом случае вычисляется путем замены p на p’’, поскольку теперь нет остановленного результата.

В таблице 2 приводятся данные о BCI, которые объединяют ErrP для 3 предметов и их среднее значение, где мы приняли точность 80% в признании намерения субъекта. Эти цифры следует сравнивать с производительностью стандартного BCI (т. е. Без интеграции ErrP). Мы также сообщали о действиях в случае Nc = 3, как робот, контролируемый разумом, описанный Милланом. В случае стандартного BCI 2-класса и 3-го класса их характеристики равны 0:28 и 0:66 бит за испытание (BpT - bits per trial) соответственно. Результаты показывают, что в случае прекращения исходов наблюдается значительное улучшение показателей, что выше 70% в среднем и выше 90% для одного из испытуемых. Неожиданно замещение приводит к меньшим улучшениям, а в случае субъекта 2 - даже к значительному ухудшению.



Вывод:

В этой статье мы представили первые результаты об обнаружении нейронного коррелята ошибок в повышении эффективности и надежности интерфейсов мозга и компьютера. В частности, мы нашли то, что, по-видимому, представляет собой новый вид связанного с ошибкой потенциала, вызванного реакцией на ошибочное признание намерения субъекта. Что еще более важно, мы продемонстрировали возможность обнаружения однонаправленных ошибочных ответов интерфейса, что приводит к значительным улучшениям скорости передачи информации BCI.

Учитывая многообещающие результаты, полученные при моделировании человеко-робота, мы в настоящее время работаем в интеграции обнаружения ErrP в нашу систему BCI. Параллельно, мы изучаем, как повысить узнаваемость скорости однократных ошибочных и правильных ответов. Основная проблема заключается в том, чтобы найти, какая обратная связь вызывает самое сильное «взаимодействие ErrP». Обратная связь может быть очень различной природно-визуальной, слуховой, соматосенсорной или даже смешанной из этих разных типов. Более того, нам нужно будет сосредоточить внимание на альтернативных методах, чтобы в лучшем случае использовать текущее «взаимодействия ErrP». В этом отношении недавно разработан метод, который оценивает так называемые локальные потенциалы поля (т. е. синхронной активности небольшого нейронного населения) во всем человеческом мозге от ЭЭГ кожи головы.

Кроме того, последние результаты показывают значительные улучшения в классификации бимануальных моторных задач с использованием оцененных локальных потенциалов поля (LFP) в отношении ЭЭГ кожи головы. Следовательно, мы планируем использовать ELECTRA - Метод наилучшего распознавания ошибочных и правильных ответов. На самом деле ключевым вопросом успеха в вышеупомянутом исследовании был выбор тех соответствующих вокселей внутри мозга, чья оценка LFP была более дискриминирующей. Оказывается, что источники ErrP, по-видимому, очень хорошо локализованы в передней коре головного мозга, и поэтому мы можем ожидать значительное улучшение показателей распознавания, сосредоточившись на LFP, оцененном в этой конкретной области мозга.