SurCorp - VR AR технологии

Новый инструмент от Meta* позволяет быстро тестировать игры на Quest с помощью ИИ Компания Meta* представила Meta XR Operator, экспериментальный инструмент, разработанный для того, чтобы агенты ИИ, занимающиеся программированием, могли автономно создавать, тестировать, отлаживать и визуально проверять VR-приложения. XR Operator позволяет любому ИИ-агенту, совместимому с протоколом Model Context Protocol (MCP), взаимодействовать с запущенными VR-приложениями в Meta XR Simulator, позволяя им автономно создавать сцены Unity, запускать их, делать скриншоты, выявлять проблемы, исправлять их и сразу проверять правильность исправления. Помимо быстрой итерации и отладки, Meta* заявляет, что XR Operator включает в себя тестирование на естественном языке, так что разработчики могут описать сценарий тестирования, а агент выполнит его, предоставив подтверждение прохождения/непрохождения теста со скриншотами. Компания Meta* заявляет, что проводила раннее тестирование совместно с командой Beat Saber, Beat Games, а также с другими разработчиками, использующими SDK Meta XR. В числе первых тестов было создание интерактивного приложения «Крестики-нолики» в виртуальной реальности, где агент писал игровую логику, направлял виртуальный контроллер на клетки, нажимал кнопку «A» для размещения фигур и играл до полного завершения игры (победа/поражение). Это пока не «полное» решение для проверки, поскольку есть несколько существенных недостатков. Operator XR не может слышать звук, корректно оценивать анимацию/движение, использовать отслеживание отдельных пальцев или надежно обнаруживать незначительные визуальные дефекты. Взаимодействие с движущимися объектами также затруднено, поскольку система работает слишком медленно для взаимодействия в реальном времени, так как, по словам Meta, она лучше всего работает со «статичными, детерминированными сценариями». Кроме того, это работает только в Meta XR Core SDK для Unity, хотя Meta* заявляет, что если вы используете другой игровой движок, поддерживающий OpenXR, включая Godot и Unreal Engine, вы можете загрузить автономный пакет и выполнить собственную интеграцию. * Meta — организация, признанная экстремистской на территории РФ. #info