Глава Momento Хаваджа Шамс с докладом «Serving LLMs at Scale: The Hidden KV Cache Advantage» на QCon AI
Хаваджа Шамс (сооснователь и CEO Momento) на QCon AI изложил подходы из области распределённых систем для эффективного масштабирования инференса LLM, сосредоточившись на использовании GPU, «провалах» памяти KV‑кэша, многоуровневом хранении, снижении хвостовой латентности и разделённых архитектурах prefill/decode. Он представил эти приёмы как способы повысить производительность, экономичность и доступность LLM‑флота в продакшне.