ИССЛЕДОВАНИЕ · RESEARCH · #2873
GAUSS: аналитический и Монте-Карло симулятор, учитывающий нагрузку, для LLM-инференса
GAUSS — это симулятор, учитывающий нагрузку (arXiv:2610.37989v1), который предсказывает полные распределения времени до первого токена (TTFT) и времени между токенами (TBT), а также устойчивую пропускную способность для инференса LLM. Он сочетает фазовые латентностные поверхности для prefill и decode с моделью очередей на основе рекуррентного соотношения Линдли и использует ансамблевый метод Монте‑Карло для учёта хвостовых задержек и оценки рабочих точек, маршрутизации и политики планирования без воспроизведения одного трейсa.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- GAUSS — это симулятор, учитывающий нагрузку (arXiv:2610.37989v1), который предсказывает полные распределения времени до первого токена (TTFT) и времени между токенами (TBT), а также устойчивую пропускную способность для инференса LLM.
- Он сочетает фазовые латентностные поверхности для prefill и decode с моделью очередей на основе рекуррентного соотношения Линдли и использует ансамблевый метод Монте‑Карло для учёта хвостовых задержек и оценки рабочих точек, маршрутизации и политики планирования без воспроизведения одного трейсa.
- За счёт моделирования фазовых латентностей и ансамблевого метода Монте‑Карло GAUSS может предсказывать хвостовые задержки и компромиссы по ёмкости, которые недооценивают симуляторы, основанные на трассах, помогая при выборе развертывания и политик планирования.
ПОЧЕМУ ЭТО ВАЖНО
За счёт моделирования фазовых латентностей и ансамблевого метода Монте‑Карло GAUSS может предсказывать хвостовые задержки и компромиссы по ёмкости, которые недооценивают симуляторы, основанные на трассах, помогая при выборе развертывания и политик планирования.