Ещё несколько лет назад глава Meta Марк Цукерберг показывал, как компания научилась распознавать печатание по виртуальной клавиатуре, наложенной на стол. Он смог печатать со скоростью 100 слов в минуту, но демонстрация была с нюансами. Тогда отслеживание Quest-а было зафиксировано метками, а модель распознавания печати работала на компьютере. И, конечно, печать по столу так и не стала доступна миру.
На днях группа студентов ETH Zurich и стажёров Meta представила альтернативный подход решения проблемы – систему TouchInsight на базе нейросети TransformerXL, которая способна точно определять касания пальцев любых поверхностей и которая может быть обучена под любые клавиатуры и панели ввода. Она полагается на заранее записанное распределение координат касаний виртуальных клавиш и возвращает вероятности нажатых клавиш. Они передаются в дополнительную систему уточнения символа и всего слова по предыдущим символам, которая использует небольшую языковую модель.
Вся эта система использует стандартное отслеживание пальцев гарнитур Quest 2/3 и работает автономно без ПК.
Но появится ли эта система слепой печати на гарнитурах Quest – неизвестно.
Источники:
