Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #17457

decode phase

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

GAUSS: аналитический и Монте-Карло симулятор, учитывающий нагрузку, для LLM-инференса

GAUSS — это симулятор, учитывающий нагрузку (arXiv:2610.37989v1), который предсказывает полные распределения времени до первого токена (TTFT) и времени между токенами (TBT), а также устойчивую пропускную способность для инференса LLM. Он сочетает фазовые латентностные поверхности для prefill и decode с моделью очередей на основе рекуррентного соотношения Линдли и использует ансамблевый метод Монте‑Карло для учёта хвостовых задержек и оценки рабочих точек, маршрутизации и политики планирования без воспроизведения одного трейсa.

7.0

CODING · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker описывает оптимизацию fused-MoE кернелов с учётом ограничений WGMMA на NVIDIA Hopper

Инженеры Amazon SageMaker описывают оптимизации на уровне кернелов для fused Mixture-of-Experts (MoE), сосредоточенные на узких местах производительности из-за WGMMA-инструкции NVIDIA Hopper, фиксирующей размерность M равной 64. В материале объясняется, как рабочие нагрузки на этапе декодирования (часто M=1) в сочетании с большим N у fused MoE (например, topk=8 объединяет многих экспертов) создают асимметрию форм операндов и недогружают Tensor Core, а также приведены реализованные оптимизации и их эффект на примере модели.

7.0