Сотрудник Meta Dev Rob, который занимается всеми открытыми демками для гарнитуры Quest, опубликовал документацию и туториалы на долгожданное API доступа с камерам гарнитуры, или Passthrough API.
Новое API действительно хорошо подходит для анализа пространства вокруг себя. Оно совместимо со стандартным Camera2 API из Android и даёт доступ к картинке и характеристикам камеры гарнитуры, но только с левого либо правого глаза камеры в 30Гц и с задержкой в 40-60 миллисекунд (4-6 кадров). Из-за этого картинку трудно использовать для, например, мгновенной замены картинки мира, будет небольшая задержка. Кроме того, API пока доступно только на гарнитурах Quest 3 и 3S, а приложения с этим API пока нельзя публиковать в магазине Quest.
Но несмотря на эти ограничения, новое API позволяет делать приложения, которые раньше нельзя было создавать. Так, на гарнитуру теперь можно спокойно запускать системы машинного зрения – распознавание QR-кодов и объектов в комнате, поиск базовых станций в помещении, перенос цвета пипеткой из реального мира в виртуальный. Кроме того, API позволяет запускать поверх картинки мира шейдеры, изменяя окружение вокруг, – правда, картинка не будет объёмной и будет двигаться с задержкой.
API доступно на прошивке v74. Изучить документацию, посмотреть туториал и потыкать примеры кода (C++ и C#/Unity) можно уже сейчас.
Источники:
