Нейроэстетика // Якоря ИсследованияЛайв и сессия
NeuroArt

Как провести исследование

С момента, когда компьютер включён. Всё по шагам.

Сначала выберите прибор

Страницы общие для двух приборов: обруча Neiry Headband и повязки Muse (S Athena; другие модели Muse тоже подойдут, но с меньшим набором сигналов). Работает один за раз. Какой выбран сейчас — написано на плашке внизу справа и в строке «Прибор: …» над этим блоком.

Как сменить. Нажмите плашку — откроется панель «Прибор». Выберите в ней Neiry или Muse: страница перезагрузится, подписи, датчики и настройки станут такими, как у этого прибора. Выбор запоминается.

Меняйте прибор до записи. Смена останавливает идущую запись и сбрасывает калибровку: после неё калибровку нужно пройти заново.

Шаги ниже написаны для выбранного прибора. Текст для другого — переключателем: он меняет только показ инструкции, сам прибор не трогает. Чем приборы отличаются — в таблице; как запустить мост со страницы сервера — в разделе «Если мост не запущен».

Инструкция для:
  1. Включите обручВключите Muse

    Держите кнопку на обруче, пока не загорится индикатор. Обруч должен быть заряжен.

    Не подключайте его в настройках Bluetooth Windows. Обруч находит и подключает сама программа. Если он уже сопряжён вручную — удалите его из списка устройств Windows.
    Закройте Mind Tracker на телефоне и CapsuleImgui на компьютере: обруч видит только одна программа за раз.

    Нажмите кнопку на повязке: светодиод мигает — она ищет компьютер. Повязка должна быть заряжена.

    Сопрягать её в настройках Bluetooth Windows не нужно. Повязку находит и подключает сама программа.
    Закройте приложения Muse и Mind Monitor на телефоне и на компьютере: повязку видит только одна программа за раз.
  2. Включите Bluetooth на компьютере

    Пуск → Параметры → «Bluetooth и устройства» → переключатель Bluetooth в положение «Вкл». Больше там ничего делать не нужно.

  3. Наденьте обручНаденьте повязку

    Надпись Front (она на внутренней стороне) должна лечь на середину лба. Затылочные электроды и те, что над ушами, продвиньте сквозь волосы до кожи и прижмите ленту. Сухим электродам нужно 1–3 минуты, чтобы кожа под ними увлажнилась; если спешите — каплю воды на кожу под электродом.

    Два датчика на лбу — AF7 и AF8 — на чистую кожу по обе стороны от середины: уберите чёлку, при необходимости протрите кожу. Два датчика за ушами — TP9 и TP10 — на кожу, а не на волосы: отведите волосы и дужки очков, прижмите повязку.

    Режим посадки программа выбирает сама. Есть контакт за ушами — режим «лоб + уши»: альфа считается за ушами, мышцы и моргание — на лбу. Нет — режим «только лоб»: всё работает, но альфа слабее. До калибровки режим ещё может смениться, если контакт за ушами появился или пропал на 15 секунд; в начале калибровки он выбирается заново и после неё держится до следующей.

  4. Откройте страницу

    Лайв и сессияСписок исследований

    Ничего запускать не нужно: программа стартует сама при входе в Windows. Если страница не открывается — запустите ярлык «Нейролаборатория» с рабочего стола (на компьютерах со старой установкой он называется «Нейроэстетика»): он запустит программу и сам откроет страницу. В интерфейсе эта программа называется «мост»: она связывает обручповязку с браузером.

    Если вы запускали ярлык вручную, в чёрном окне должна появиться строка Нейролаборатория · прибор: … и адрес http://localhost:8765/. При автозапуске окна нет — это нормально, проверяйте по самой странице (шаг 5).

    Открыли страницу сервера, а не этого компьютера? Тогда мост запускается кнопкой на плашке внизу справа — см. раздел «Если мост не запущен».

  5. Проверьте, что всё видно

    Справа вверху страницы должно быть написано «поток данных» и показаны каналы T3 · T4 · O1 · O2 и заряд батареи.

    Ниже, в блоке «Контакт электродов», есть схема обруча: показано, где сидит каждый электрод и что с ним сейчас. Голубой кружок — контакт хороший, оранжевый с кольцом — терпимо, серый пунктиром с перечёркиванием — поправьте электрод. Готово, когда ни одного серого и все числа меньше 1500 кОм.

    Если стоит ∞ или «не на коже» — электрод не касается кожи. Сдвиньте его на пару миллиметров, прижмите ленту, уберите волосы. Стрелка ↓ рядом с числом означает, что сопротивление падает — тогда просто подождите 1–3 минуты.

    Справа вверху страницы должно быть написано «поток данных» и показаны датчики AF7 · AF8 · TP9 · TP10 (в режиме «только лоб» — AF7 · AF8) и заряд батареи.

    Ниже, в блоке «Контакт датчиков», есть схема повязки: где сидит каждый датчик и что с ним сейчас. Килоомов у Muse нет: контакт оценивается по самому сигналу и подписан словом. Голубой кружок — «хорошо», оранжевый с кольцом — «терпимо», серый пунктиром с перечёркиванием — «плохо». Готово, когда ни одного серого. Датчики, которых текущий режим не использует (за ушами в режиме «только лоб»), стоят серыми с пометкой «не используется» — их поправлять не нужно.

    Если «плохо» — датчик не касается кожи или на нём помеха. Отведите волосы, уберите чёлку и дужки очков, прижмите повязку; на лбу протрите кожу. Зубы и мимика дают «плохо» на секунду-две — это не поломка, подождите.

    То же самое коротко написано вверху любой страницы, и на этой тоже: статус калибровки и рядом отметка о контактах. Голубая галочка — контакты в порядке. Оранжевая точка и «контакты терпимо» — работать можно. Мигающий треугольник с восклицательным знаком и надпись «проверьте контакты» — какой-то электроддатчик отошёл. Наведите на надпись мышь: всплывёт список электродов, у каждого его сопротивление в килоомахдатчиков, у каждого — «хорошо», «терпимо» или «плохо». На планшете и телефоне нажмите на неё — откроется окно калибровки, там то же самое подробнее.

  6. Пройдите калибровку

    Нажмите на статус калибровки вверху страницы. Поверх неё откроется окно калибровки; кнопка «в отдельном окне ↗» уносит его в отдельное окно браузера — удобно, когда на основном экране идёт сфера или лайв. Окно ведёт по шагам само:

    шагчто происходит
    1 · Контактыта же схема обручаповязки, что в шаге 5, и советы, какой электроддатчик поправить
    2 · Фон60 секунд: участник сидит спокойно, глаза открыты, смотрит в одну точку
    3 · Калибровкапо сигналу глаза закрыты (45 секунд), потом по сигналу открыты и ещё 30 секунд спокойного взгляда. Точные секунды и что сказать участнику написаны прямо на этом шаге
    3 · Калибровкапо сигналу глаза закрыты (30–45 секунд): по ним программа находит личную частоту альфа-ритма; потом по сигналу открыты и ещё 30 секунд спокойного взгляда — снимаются опорные значения индекса усилия. Точные секунды и что сказать участнику написаны прямо на этом шаге
    Готовоокно можно закрыть; статус вверху страницы сменится на «калибровка готова»

    Сигналы подаёт окно калибровки. До начала нажмите в нём «🔔 проверить звук»: если колокольчик не слышен участнику, прибавьте громкость.

    Новый участник — новая калибровка. Альфа-ритм и опорные значения у каждого свои, от прошлого участника они не годятся. Смена прибора тоже сбрасывает калибровку.

    Без калибровки индекс усилия и утомление считаются без личного покоя участника и ненадёжны.

  7. Перейдите на вкладку «Сессия»

    Там четыре шага:

    шагчто происходит
    1 · Калибровкапройдена ли она; если нет, кнопка открывает то же окно калибровки
    2 · Объектысколько объектов и как они называются
    3 · Участникимя (или выбрать из списка), заметка, режим исследования
    4 · Запись«Начать запись», перед каждым объектом «Старт», после — «Стоп», в конце «Остановить запись»

    Клавиши во время записи: S — старт объекта, E — стоп, A и B — маркеры A и B для любых отметок по вашему протоколу, N — заметка.

  8. Посмотрите результат

    После «Остановить запись» появляется кнопка «Воспроизвести» — запись открывается в том же окне: мозг, сигналы, таймлайн и раздел «Интерпретация» с таблицами по объектам. Все записи лежат в списке исследований.

    У каждой записи в списке стоит метка прибора — Neiry или Muse. Воспроизведение показывает датчики того прибора, которым запись сделана, даже если сейчас выбран другой.

Чем отличаются приборы

Neiry HeadbandMuse S Athena
Что надеваютобруч: надпись Front — на середину лбаповязка: два датчика на лбу, два за ушами
ДатчикиT3 · T4 · O1 · O2: два над ушами, два на затылкеAF7 · AF8 на лбу, TP9 · TP10 за ушами. Нет контакта за ушами — режим «только лоб»
Контактсопротивление электродов, кОм: до 500 хорошо, до 1500 терпимооценка по самому сигналу, словами: хорошо, терпимо, плохо
Главный индекс«индекс внимания» Neiry: считает Capsule, отстаёт от действий на 4–11 с«индекс усилия» Muse: альфа и тета участника к его собственному покою, отстаёт на 2–4 с; 50 — покой
Альфа-ритмна затылке (O1, O2) — сильный сигналза ушами (TP9, TP10) — средний; на лбу, в режиме «только лоб», — слабый
Мышцы: зубы, мимиканад ушами (T3, T4)на лбу (AF7, AF8) — сильнее, чем у Neiry
Морганиенетесть: размах сигнала на лбу
Пульсфотоплетизмограмма на лбуоптика на лбу, лучший из 16 каналов
Кровенаполнение лба (fNIRS)нетесть, меняется медленно: отстаёт на 5–8 с
Показатель «контроль»естьнет
Программа прибораCapsule; закройте Mind Tracker и CapsuleImguiBrainFlow; закройте приложения Muse и Mind Monitor
Записиобщие: у каждой сессии метка прибора, при воспроизведении показываются датчики того прибора, которым она записана

Если мост не запущен

Прибор подключён к компьютеру, и с ним работает программа-«мост». Страницы можно открывать на этом же компьютере (http://localhost:8765) или на сервере проекта — с телефона, планшета, другого компьютера. Со страницы сервера мост у прибора запускается кнопкой.

  1. Откройте страницу сервера на компьютере с Windows, к которому подключён прибор. Если мост не подключён, плашка внизу справа покажет «Мост не запущен».

  2. Нажмите плашку — откроется панель «Прибор». В блоке «Мост» нажмите «Запустить мост здесь». Браузер спросит, открыть ли «Нейролабораторию», — разрешите. Через несколько секунд плашка сменится на название прибора и имя компьютера: мост подключился.

  3. Мост не отозвался — вероятно, на этом компьютере он ещё не установлен. В той же панели нажмите «Скачать установщик моста» (файл NeiroLab-Setup.exe), запустите его и после установки снова нажмите «Запустить мост здесь». Установка нужна один раз на компьютер.

  4. Мост уже работает на другом компьютере (в панели написано «Подключён: компьютер …»)? Нажмите «Перенести мост на этот компьютер»: мост запустится здесь, а сервер перейдёт к нему. Мост у сервера один: пока первый подключён, второй ждёт очереди.

Прибор выбирают в той же панели, сверху. Сервер без моста помнит выбор и показывает страницы под этот прибор. Мост, запущенный кнопкой «Запустить мост здесь», стартует с этим прибором; мост из автозапуска стартует с прибором, выбранным на его компьютере в прошлый раз, и сервер переходит на него — сменить прибор можно здесь же.

Кнопки запуска и переноса есть только на компьютерах с Windows: на телефоне и планшете плашка показывает лишь состояние.

Установщик можно скачать и сразу: NeiroLab-Setup.exe.

Эта страница открыта на самом компьютере с мостом — кнопки запуска моста появляются на странице сервера.

Лаборатория инструкций

На странице «Лаборатория инструкций» идёт отдельное долгое исследование: какие действия человека сдвигают показатели обруча. Обруч надетповязки. Повязка надета, калибровка пройдена — дальше так:

  1. Впишите, кто в обручеповязке, или нажмите «Новый гость».

  2. Для знакомства откройте вкладку «Прогон гостя» и запустите «Знакомство»: три короткие пробы, после которых человек видит, что обручповязка откликается на его действия. Потом — «Рычаги концентрации».

  3. В каждой пробе сначала покой, по сигналу — действие, по двойному сигналу — конец. Говорить, вставать и поправлять обручповязку во время пробы нельзя. Если это случилось, нажмите «Это брак» — проба уйдёт из счёта.

  4. В конце прогона страница покажет личный список: что у этого человека поднимает концентрациюумственное усилие и что опускает. С этой парой инструкций ведите его к Сфере, Кандинскому или в Дуэт с Кандинским, где фигуру на картине выбирают поворотом головы.

Каждая проба сама ложится в общую статистику. Правила счёта описаны на вкладке «Как считаем».

Журнал: что сработало

Каждое действие с прибором оставляет след на сервере, даже без кнопки «Запись»: какую страницу открыли, какую сцену или настройку выбрали, какую инструкцию озвучили, что произошло в игре, — и как в это время двигались показатели, секунда за секундой. Нет интернета — мост копит всё у себя и отправит, когда связь вернётся; закрытая вкладка тоже ничего не теряет.

На странице «Что сработало» всё это собрано в таблицу: для каждого события — сколько раз оно было, у скольких людей, и как в среднем сдвинулись показатели за полминуты после него по сравнению с двадцатью секундами до. Зелёный — сдвиг в сторону расслабления. Щелчок по строке раскрывает отдельные случаи и график вокруг каждого.

NeuroArt: сценарии генеративного арта

Раздел NeuroArt в шапке открывает четыре сценария на 10–12 минут: Атлас внутренней погоды, Нейропартитура, Кинцуги, Путь к вершине. Каждый с нуля собирает законченную работу из того, как человек провёл сессию, и заканчивается расшифровкой и файлами для печати.

  1. Откройте сценарий и нажмите «Начать». Гость читает, что сохраняется, и соглашается.

  2. «Наденьте обручНаденьте повязку Muse»: когда контакт держится 10 секунд, начинается настройка отклика — 2 минуты: посадка, спокойно с открытыми глазами, с закрытыми (открыть по сигналу), счёт в уме.

  3. Инструкция сценария → «Начать». Дальше работа идёт сама: плохой контакт или движение не портят её, картина просто переходит в спокойный режим и ждёт.

  4. После фиксации — расшифровка. «Скачать» отдаёт архив: работа в высоком разрешении, PDF для печати, расшифровка, описание сессии. Копия архива ложится у моста в live\art\<дата>\.

Без обручаMuse — демо. На заставке сценария переключатель «С обручемС Muse / Демо без обручаДемо без Muse»; в меню NeuroArt у каждого сценария есть ссылка «демо». В демо сигнал даёт виртуальный участник: он проходит настройку, собирается и отвлекается, как человек. Длительность демо — полная, 3 минуты или 1 минута. Во время сессии участником можно управлять: 1 — собраться, 2 — отвлечься, 0 — сам, G — закрыть или открыть глаза, M — движение головой, J — сжать зубы; то же и пульс — в пульте на панели оператора. Работа из демо помечена «демо без обручаMuse» на расшифровке и в подписи. Если на шаге «Наденьте обруч» обручпервом шаге Muse не отвечает, страница сама предложит продолжить в демо.

Панель оператора — клавиша O или точки в правом нижнем углу: связь, контакт по каналам, качество сигнала, команды (пауза, повтор шага калибровки, завершить сейчас, повторить экспорт). Без обручаMuse сценарий открывается в демо-режиме с виртуальным участником.

Если что-то не так

что видночто делать
«нет связи с мостом»Подождите несколько секунд: связь восстанавливается сама. Не вернулась — запустите ярлык «Нейролаборатория» с рабочего стола (в старой установке — «Нейроэстетика»).
Плашка «Мост не запущен»Страница открыта на сервере, а мост у прибора к нему не подключён. Нажмите плашку → «Запустить мост здесь» (раздел «Если мост не запущен»).
«обруч не найден»Обруч выключен или разряжен; Bluetooth выключен; открыт Mind Tracker на телефоне или CapsuleImgui на компьютере. Поиск повторяется сам каждые 10 секунд.
«Muse не найден»Muse выключен или разряжен; Bluetooth выключен; открыто приложение Muse или Mind Monitor на телефоне или на компьютере. Поиск повторяется сам каждые 10 секунд.
Мигает «проверьте контакты»Какой-то электроддатчик отошёл от кожи. Наведите мышь на надпись (на планшете — нажмите), увидите, какой, и поправьте его. Если плохи все четыре сразу, прижмите обручповязку ко лбу: там опорный электрод, от него отсчитываются остальные.
Контакт ∞ или «не на коже»Электрод не достаёт до кожи. Сдвиньте его сквозь волосы и прижмите ленту. Рядом с числом стрелка ↓ — подождите 1–3 минуты; спешите — каплю воды на кожу под электродом.
Датчик «плохо» или серыйДатчик не касается кожи или на нём помеха. Отведите волосы, уберите чёлку и дужки очков, прижмите повязку. Подождите минуту: сигналу нужно время, чтобы установиться. Зубы и мимика дают «плохо» на секунду-две — это нормально.
Режим «только лоб», хотя повязка надетаЗа ушами нет контакта: поправьте TP9 и TP10 (волосы, дужки очков). До калибровки мост сам перейдёт в «лоб + уши» после 15 секунд хорошего контакта; после калибровки режим держится до следующей — тогда калибровку нужно пройти заново.
«калибровка не удалась»Чаще всего причина — «слишком много артефактов»: участник двигался или контакт плохой. Поправьте электродыдатчики и повторите калибровку.
«Альфа-реактивность слабая»Затылочные электроды сидят плохо. Поправьте O1 и O2, повторите фон и калибровку.
«Альфа-реактивность слабая»Датчики сидят плохо или альфа у участника низкая; в режиме «только лоб» она слабее всегда. Поправьте датчики за ушами (TP9, TP10), повторите фон и калибровку.
Картинка замерлаВозможно, нажата кнопка «⏸ Стоп» — она останавливает только показ. Нажмите «▶ Продолжить». Запись при этом не прерывалась.
Нужно всё выключитьЗапустите файл neiry_stop.bat из папки программы.

Что важно помнить

Запись всегда идёт на компьютер рядом с обручемMuse. Если пропал интернет — пропадёт только картинка на удалённом экране, данные останутся целыми.
Записи сами уезжают на сервер. Как только вы нажали «Остановить запись», сессия кладётся в очередь и уходит на сервер — даже если вы работаете на локальной странице. В списке исследований у каждой записи написано, где она: «на сервере» или «только здесь». Если связи не было, отправка повторится сама.
Смотреть можно откуда угодно. Страницу сервера открывают с телефона, планшета или другого компьютера — ставить туда ничего не надо.
Проект Центра Искусств Москва при поддержке Neiry · Разработчик Тим Болгов