Исследователи из Google и Университета Миннесоты представили концепцию «прокси» — масштабных цифровых копий реальных объектов, которые могут упростить взаимодействие с недоступными или удалёнными предметами в смешанной реальности.

Через систему Reality Proxy, гарнитура с помощью ИИ, камер и карты помещения создаёт миниатюрные 3D-реплики зон интереса — как в домашнем масштабе (например, взять копию книги с полки, не вставая с дивана), так и в промышленном (управлять роем дронов, выделяя их кубом, как в стратегии).

Прокси сохраняют привычную логику прямого управления, позволяя выделять, группировать, масштабировать и взаимодействовать с объектами жестами. Система помогает работать с загромождёнными, далёкими или частично закрытыми предметами, добавляя функции множественного выбора, семантической группировки и «пространственного зума».

Исследование опубликовано в рамках конференции ACM UIST 2025 в Корее. Авторы: Xiaoan Liu, Difan Jia, Mar Gonzalez-Franco и другие.