Mobile / iOS · Pose tracking

Rapty — танцевальная битва, где играет тело

Задача

Мобильная игра, в которой не нажимают кнопки, а танцуют: камера телефона следит за игроком, и его движения решают исход танцевальной битвы аватаров.

Танцевальная битва для iOS: игрок собирает до четырёх карточек-движений, делает ставку и сражается с соперником, которого подбирает сервер.
15 карточек-танцев с редкостью, ценой открытия и ценой использования — от Thriller до Ice Ice Baby.
3D-аватары Ready Player Me для игрока и соперника, загружаемые во время игры.
Вход через Apple, профиль, коллекция карточек, подготовка, битва, итоги и таблица лидеров.
Редактор QTE: покадровая прокрутка танцевального клипа и расстановка моментов, где игрок должен повторить движение.

Оценка позы тела в реальном времени прямо на телефоне: BlazePose через NatML, 13 суставов, зеркалирование под фронтальную камеру.
Оценка движения: сустав должен пройти заданное расстояние в направлении стрелки, балл от 1 до 4, анимация ждёт игрока.
QTE-события встраиваются в анимационные клипы во время игры, клипы подменяются на лету.
Камера Cinemachine следит за суставом, которым игрок должен двинуть.

Альфа-сборка для iOS (v0.3), 2023.

Unity 2021, URP, NatML (BlazePose), VideoKit, Ready Player Me, Cinemachine, PHP API