Год назад все гарнитуры Quest получили функцию почти что отслеживания ног – оценку положения ног по положению головы и рук без дополнительных трекеров. Похоже, что компания Pico не собирается отставать, несмотря на то, что продаёт свои трекеры тела.
Исследователи компании Bytedance, университетов Шанхая и Южной Калифорнии опубликовали раннюю версию статьи про нейросеть EnvPoser. В отличие от ранних моделей, которые пытались угадать положение ног и тела только по положению головы и контроллеров, новая модель использует и картинку с камер, пусть та и не видит ноги. Нейросеть пытается посмотреть на окружение в комнате и понять, что делает пользователь гарнитуры.
В тестах модель показала себя точнее конкурентов, в том числе моделей Meta. Но авторы исследования не стали уточнять, насколько быстро работает их новая система и может ли она быть запущена на самой гарнитуре. Скорее всего, исследование находится ещё на ранних стадиях, и в следующей прошивке гарнитур трекинг ног по камерам не появится, хотя кто знает.
Источники:
