Совместная проработка разреженного внимания: оптимизации индексера и объединённого Top-k для инференса с длинным контекстом
Технический материал объясняет, как совместно проектировать модельный уровень разреженного внимания и GPU-ядра, чтобы ускорить инференс с длинным контекстом. Разбираются индексер (батчевый matmul с объединённым эпилогом), Top-k отбор, параметры голов и размерностей (KH, Hsz, число query‑голов), а также оптимизации на уровне ядра (FP16/FP8, объединённый Top-k) с измеренными улучшениями, в том числе ускорением 2.1×–2.4× при повторном использовании выбора из предыдущего шага.