Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #35808

Tensor Core

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

MODELS · 1 ИСТОЧН. · NVIDIA Developer

Совместная проработка разреженного внимания: оптимизации индексера и объединённого Top-k для инференса с длинным контекстом

Технический материал объясняет, как совместно проектировать модельный уровень разреженного внимания и GPU-ядра, чтобы ускорить инференс с длинным контекстом. Разбираются индексер (батчевый matmul с объединённым эпилогом), Top-k отбор, параметры голов и размерностей (KH, Hsz, число query‑голов), а также оптимизации на уровне ядра (FP16/FP8, объединённый Top-k) с измеренными улучшениями, в том числе ускорением 2.1×–2.4× при повторном использовании выбора из предыдущего шага.

7.0