НОВОСТЬ · CODING · #2213
NVIDIA cuTile и Jane Street оптимизировали прямой проход Mamba‑2 тремя ядрами для Tensor Core
Jane Street реализовала модель последовательностей Mamba‑2 с использованием Python‑DSL NVIDIA CUDA Tile (cuTile) и совместно с NVIDIA оптимизировала три пользовательских ядра прямого прохода — chunk_cumsum, fwd_pass_state и compute_out — под Tensor Core. Оптимизации включают тильную реализацию в регистрах с приведением к TF32, подсказки задержки DRAM, маршрутизацию операндов в Tensor Memory, макеты памяти, удобные для TMA, и автотюнер параметров блоков и загрузки для каждой формы входа.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Jane Street реализовала модель последовательностей Mamba‑2 с использованием Python‑DSL NVIDIA CUDA Tile (cuTile) и совместно с NVIDIA оптимизировала три пользовательских ядра прямого прохода — chunk_cumsum, fwd_pass_state и compute_out — под Tensor Core.
- Оптимизации включают тильную реализацию в регистрах с приведением к TF32, подсказки задержки DRAM, маршрутизацию операндов в Tensor Memory, макеты памяти, удобные для TMA, и автотюнер параметров блоков и загрузки для каждой формы входа.
- Демонстрирует практическое применение cuTile, где совместная оптимизация ядер и учёт особенностей аппаратуры значительно ускоряют путь инференса современного рекуррентного/пространственного по состоянию (state‑space) модели на GPU NVIDIA.
ПОЧЕМУ ЭТО ВАЖНО
Демонстрирует практическое применение cuTile, где совместная оптимизация ядер и учёт особенностей аппаратуры значительно ускоряют путь инференса современного рекуррентного/пространственного по состоянию (state‑space) модели на GPU NVIDIA.