Удивительную систему создали компьютерные специалисты из Дартмутского колледжа (Dartmouth College). Называется новинка "Нейрофон" (NeuroPhone, PDF-документ). Она считывает мозговую деятельность, чтобы управлять приложениями телефона.
В качестве поставщика информации об активности нейронов авторы проекта использовали последнее поколение считывателя мозговых волн EPOC headset от американской компании Emotiv Systems, пионера в коммерческих компьютерно-мозговых интерфейсах (BCI).
Высокое разрешение сигналов, обеспечиваемое EPOC, дало учёным возможность вволю поэкспериментировать с интерпретацией откликов разума на различные внешние воздействия.
Понятно, что чем больше нейрофизиологи узнают о закономерностях в работе коры головного мозга, тем шире круг опытов, которые можно поставить с машинным распознаванием мыслей. В том же мобильнике подобный принцип мог бы быть применён к решению разных задач. Но в данном случае авторы системы, для примера, решили сосредоточить своё внимание на наборе номера.
Для распознавания желаемого человека в списке контактов, оформленного в виде набора фотографий, программа "Нейрофона" использует детекцию так называемого сигнала P300 - свидетельства узнавания заданного объекта.
Этот пик на ЭЭГ возникает в центрально-теменной области мозга с задержкой в 300 миллисекунд после стимула (отсюда и название сигнала), и его можно найти с той или иной степенью выраженности на большинстве каналов считывателя. (Кстати, этот же самый сигнал среди других использовался для управления инструментами в мозговом оркестре.)
Фотографии абонентов попеременно подсвечиваются или выделяются каким-то иным способом. В этот момент человек смотрит на экран телефона и думает о том, кому хочет позвонить. При совпадении перебора вариантов с желаемым звонком мозг выдаёт P300. Его выделяет среди потока данных специальная программа в телефоне. Она и активирует набор номера.
Тут следует сделать оговорку: сначала данные со считывателя попадают на ноутбук, который проводит предварительную обработку сырого сигнала, выделяя из всего потока ту часть информации, которая потребуется именно в данном приложении.
Лэптоп через Wi-Fi передаёт этот "промежуточный результат" на iPhone, а тот уже завершает цикл обработки. Использование одного только телефона было бы затруднительным: переваривание всего массива сигналов с сенсоров ЭЭГ - это довольно ресурсоёмкая задача. Впрочем, перед нами только опытная система, указывающая в "светлое будущее" BCI.
Американские умельцы продемонстрировали в работе и второй вариант выбора нужного человека: когда подсвечивается "та" фотография, пользователь подмигивает ей. Заметим, комплекс NeuroPhone определяет не само движение век, а опять-таки - характерный импульс ЭЭГ, чётко ассоциируемый с морганием.
Тест показал, что такой выбор номера работает надёжнее, чем первый вариант. Особенно этот приём выгоден в условиях, когда какие-то внешние факторы отвлекают человека.
Так точность распознавания "Нейрофоном" выбранного лица в случае моргающего режима колебалась от 86% до 99,4%, в зависимости от того, сидел человек или ходил. Выбор номера чистой мыслью, без моргания, давал разброс совпадений от 33,3% до 88,9% - тут влияли условия опыта, например были помехи в виде музыки, и длительность просмотра мигающих снимков.
Авторы "Нейрофона" признают, что другие технологии управления приложениями мобильника (вроде программ распознавания речи) могут в ряде случаев оказаться удобнее, но зато мысленное управление пригодится там, где нужно подать несколько команд телефону беззвучно и по-прежнему в режиме hands-free.
Разработчики придумали дополнительные варианты использования своей технологии. Ведь в обширных сигналах, идущих из мозга, можно выловить массу ценных сведений, если только знать - куда смотреть.
Представьте ситуацию, когда "Нейрофонами" обладают все студенты в группе изучения иностранных языков. Преподаватель, задавая вопрос, может в реальном времени увидеть на экране своего мобильника, кто из подопечных понял его, а кто нет. Программа расставит соответствующие знаки напротив портретов.
Другое следствие из распространения "Нейрофонов" ещё удивительнее. Представьте, что человек с таким мобильником входит в клуб или бар, дом, где собирается компания. И у других гостей тоже включены гарнитуры "мозговых считывателей".
Сразу после того как наш персонаж переступил порог дома, он получает на свой телефон информацию о... настроении присутствующих: веселы они или напряжённы, грустно им, не скучают ли? Быть может, они настроены враждебно к очередному визитёру? Такое распознавание доступно считывателям ЭЭГ уже сейчас.
Учёные отмечают, что на пути распространения технологии NeuroPhone стоит ещё немало препятствий. Более-менее приемлемые по цене и весу считыватели мозговых волн всё же уступают в точности и насыщенности информации большим лабораторным установкам "исследовательского класса".
А это в свою очередь приводит к тому, что большое внимание приходится уделять фильтрации нужных мозговых сигналов среди шумов, а также - машинному обучению, помогающему софту корректно работать с конкретным пользователем.
Тем не менее развивать это направление, по мнению авторов "Нейрофона", - ещё как стоит. Оно сулит повышение удобства и безопасности пользования мобильником во время ходьбы по оживлённой улице, вождения автомобиля или велосипеда и так далее.
В будущем, предполагают исследователи из Дартмутского колледжа, считыватели ЭЭГ станут ещё компактнее и дешевле. Тогда они смогут быть интегрированы в обычные беспроводные наушники, в шапки и бейсболки, мотоциклетные или велосипедные шлемы. Нынешний NeuroPhone - первый шаг к этой мечте.