ИССЛЕДОВАНИЕ · RESEARCH · #1643
Offline AI Modules (arXiv:2610.07026v1): голосовой офлайн‑стек, аппаратный эталон и бенчмаркинг квантизации
Статья Offline AI Modules (arXiv:2610.07026v1) описывает модульную голосовую офлайн‑архитектуру, недорогой аппаратный эталон и воспроизводимую пайплайн‑квантизацию и бенчмаркинг для инструкционно‑настроенных моделей 2–5B, ориентированных на африканские языковые сообщества. Авторы приводят первое сквозное сравнение на двух аппаратных уровнях (NVIDIA Jetson Orin NX — TierB и Raspberry Pi5 — TierA) для трёх моделей и четырёх форматов квантизации; Q4_K_M показал наилучший компромисс размера и качества (например, gemma‑4‑E2B‑it: 28.8 t/s и 89.2% точности классификации тем на TierB), все три модели уместились в 16 ГБ на TierA, а ASR оценивался через Ethio‑ASR для амхарского и оромо и качество — на MasakhaNEWS.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья Offline AI Modules (arXiv:2610.07026v1) описывает модульную голосовую офлайн‑архитектуру, недорогой аппаратный эталон и воспроизводимую пайплайн‑квантизацию и бенчмаркинг для инструкционно‑настроенных моделей 2–5B, ориентированных на африканские языковые сообщества.
- Авторы приводят первое сквозное сравнение на двух аппаратных уровнях (NVIDIA Jetson Orin NX — TierB и Raspberry Pi5 — TierA) для трёх моделей и четырёх форматов квантизации; Q4_K_M показал наилучший компромисс размера и качества (например, gemma‑4‑E2B‑it: 28.8 t/s и 89.2% точности классификации тем на TierB), все три модели уместились в 16 ГБ на TierA, а ASR оценивался через Ethio‑ASR для амхарского и оромо и качество — на MasakhaNEWS.
- Работа показывает прикладные методы офлайн‑развёртывания и квантизации инструкционно‑настроенных моделей для голосовых сценариев в условиях ограниченной связи (особенно для африканских языков), указывая на реалистичные аппаратные цели и рекомендованный формат квантизации (Q4_K_M).
ПОЧЕМУ ЭТО ВАЖНО
Работа показывает прикладные методы офлайн‑развёртывания и квантизации инструкционно‑настроенных моделей для голосовых сценариев в условиях ограниченной связи (особенно для африканских языков), указывая на реалистичные аппаратные цели и рекомендованный формат квантизации (Q4_K_M).