ИССЛЕДОВАНИЕ · RESEARCH · #2604
GHARP: анимация 3D головы в реальном времени на базе приора реконструкции
GHARP — это двухэтапный метод: офлайн-стадия строит представление личности (геометрию и внешний вид), а лёгкая сетевая стадия в реальном времени предсказывает зависимые от мимики поправки в семантически структурированном латентном пространстве предобученной модели реконструкции. В работе предложена сеть выравнивания тела для устранения неоднозначности в областях тела/одежды; авторы сообщают SOTA на бенчмарке Ava-256 и до 13× более быструю работу на A100 с 8× меньшим числом гауссиан.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- GHARP — это двухэтапный метод: офлайн-стадия строит представление личности (геометрию и внешний вид), а лёгкая сетевая стадия в реальном времени предсказывает зависимые от мимики поправки в семантически структурированном латентном пространстве предобученной модели реконструкции.
- В работе предложена сеть выравнивания тела для устранения неоднозначности в областях тела/одежды; авторы сообщают SOTA на бенчмарке Ava-256 и до 13× более быструю работу на A100 с 8× меньшим числом гауссиан.
- Подход позволяет получить более качественную и низколатентную анимацию 3D‑головы для реального времени и мобильных приложений за счёт разделения дорогостоящей реконструкции и лёгкой стадии анимации с уменьшением вычислительных затрат.
ПОЧЕМУ ЭТО ВАЖНО
Подход позволяет получить более качественную и низколатентную анимацию 3D‑головы для реального времени и мобильных приложений за счёт разделения дорогостоящей реконструкции и лёгкой стадии анимации с уменьшением вычислительных затрат.