НОВОСТЬ · MODELS · #2842
Демонстрация NVIDIA «MonsterHouse» использует Nemotron Voice Agent с Bolt E4B 4GB и Magpie TTS
MonsterHouse — интерактивная хэллоуин-инсталляция, созданная сотрудником NVIDIA, использующая конвейер Nemotron Voice Agent: nemotron-speech-streaming-en-0.6b.gguf для ASR, Nemotron 3.5 Bolt E4B 4GB как локальную LLM (с LoRA-адаптером), Magpie TTS Zeroshot для голоса, Audio2Face-3D для анимации губ и Nemotron 3 Nano Omni вместе с YOLO/ByteTrack для описания костюмов и трекинга, всё на одном рабочем месте.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- MonsterHouse — интерактивная хэллоуин-инсталляция, созданная сотрудником NVIDIA, использующая конвейер Nemotron Voice Agent: nemotron-speech-streaming-en-0.6b.gguf для ASR, Nemotron 3.5 Bolt E4B 4GB как локальную LLM (с LoRA-адаптером), Magpie TTS Zeroshot для голоса, Audio2Face-3D для анимации губ и Nemotron 3 Nano Omni вместе с YOLO/ByteTrack для описания костюмов и трекинга, всё на одном рабочем месте.
- Демонстрация показывает полностью локальный мультимодальный конвейер в реальном времени с открытой малой LLM (Bolt E4B 4GB) и компонентами Nemotron, иллюстрируя практическое развертывание разговорного персонажа на устройстве.
ПОЧЕМУ ЭТО ВАЖНО
Демонстрация показывает полностью локальный мультимодальный конвейер в реальном времени с открытой малой LLM (Bolt E4B 4GB) и компонентами Nemotron, иллюстрируя практическое развертывание разговорного персонажа на устройстве.