NVIDIA cuTile и Jane Street оптимизировали прямой проход Mamba‑2 тремя ядрами для Tensor Core
Jane Street реализовала модель последовательностей Mamba‑2 с использованием Python‑DSL NVIDIA CUDA Tile (cuTile) и совместно с NVIDIA оптимизировала три пользовательских ядра прямого прохода — chunk_cumsum, fwd_pass_state и compute_out — под Tensor Core. Оптимизации включают тильную реализацию в регистрах с приведением к TF32, подсказки задержки DRAM, маршрутизацию операндов в Tensor Memory, макеты памяти, удобные для TMA, и автотюнер параметров блоков и загрузки для каждой формы входа.