В 2017 году Марк Цукерберг напугал мир парой громких заявлений на конференции F8 (которая тогда проходила отдельно от Oculus Connect; обе теперь объединены в ежегодный Meta Connect). Одним из заявлений был план создания устройства типа шапочки, которое могло бы распознавать слова из мыслей. Несколько дней назад компания опубликовала два исследования, посвящённых чтению этих мыслей – правда, до шапочки ещё далеко.
Компания использовала традиционную электроэнцелографию (ЭЭГ) с технологией магнитоэнцефалографии (МЭГ) – большим устройством, которое ловит слабейшие магнитные поля, создаваемые нейронами. Из-за этого испытуемый должен находиться в комнате, изолированной от магнитного поля Земли, и не должен шевелиться, но зато процедура не требует вживления электродов.
Так как обычная речь заставляет работать мышцами лица, сигналы от которых мешают считыванию, исследователи решили считывать мозги машинисток во время печати на клавиатуре. Два исследования дали два важных результата.
Первое исследование позволило создать модель глубокого обучения Brain2Qwerty, которая научилась преобразовывать МЭГ- и ЭЭГ-сигналы мозга в нажатия клавиш с процентом ошибок 32%, что оказалось точнее считывания только ЭЭГ-сигналов (с ними процент ошибок был 67%). Несмотря на то, что модель больше опиралась на сигналы движения мышц из моторной коры, ошибки модели дали понять, что та нащупала в сигналах и более высокие когнитивные процессы.
Второе исследование позволило найти в сигналах мозга не только соответствие их буквам, но и отдельные звукам, словам и целым идеям в контексте. Исследователи узнали, что предложения в голове действительно собираются от общего к частному – сначала формируется общая мысль, потом слова, потом звуки и буквы. Авторы заявляют, что это первое исследование такого рода.
До Цукерберга, считывающего мысли на расстоянии с точностью до буквы, ещё далеко.
Источники:
