Исследователи Meta Reality Labs и университета Карнеги – Меллона опубликовали на конференции CVPR 2024 совместное исследование, посвящённое симуляции отслеживания ног по камерам гарнитуры Quest 2 и даже по камерам умных очков Project Aria (который вышли на рынок как Meta Smart Glasses).
Несмотря на то, что новый алгоритм на самом деле отслеживает ноги, видя их на картинке с камер, учёные всё равно называют его симуляцией, потому что ноги не всегда видны на картинке, и алгоритм одновременно симулирует положение тела человека для более точного трекинга. Но результаты говорят сами за себя – алгоритм определяет, как человек машет ногами и быстро бегает. Алгоритм не смущает даже мельтешащий фон, который исследователи использовали для тренировки модели.
Но у алгоритма ещё есть запинки – буквальные: если ноги пропадают из кадра или человек идёт слишком необычно, ноги могут начать волочиться по полу, потому что математика пытается поддержать тело в стоячем состоянии. Исследователи продолжают развивать свои алгоритмы и надеются, что их исследование когда-нибудь появится в гарнитурах Quest или в AR-очках.
Исходные коды алгоритма уже доступны; правда, без доступа к камерам Quest с ним мало что получится сделать.
Источники:
