GAUSS: аналитический и Монте-Карло симулятор, учитывающий нагрузку, для LLM-инференса
GAUSS — это симулятор, учитывающий нагрузку (arXiv:2610.37989v1), который предсказывает полные распределения времени до первого токена (TTFT) и времени между токенами (TBT), а также устойчивую пропускную способность для инференса LLM. Он сочетает фазовые латентностные поверхности для prefill и decode с моделью очередей на основе рекуррентного соотношения Линдли и использует ансамблевый метод Монте‑Карло для учёта хвостовых задержек и оценки рабочих точек, маршрутизации и политики планирования без воспроизведения одного трейсa.