Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #5706

FlashAttention

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

CODING · 1 ИСТОЧН. · InfoQ AI, ML & Data Engineering

Meta разработала Triton Low-Level Extensions (TLX) для явного управления исполнением на GPU

Meta разработала расширение TLX для компилятора Triton, открывающее низкоуровневые возможности исполнения на GPU через новую модель MIMW (Multiple Instructions, Multiple Warps). По данным Meta, TLX дополняет Triton в областях оркестрации warp‑групп, синхронизации, управления памятью, кластерного исполнения и опциональных раскладок; в продакшене сообщаются ускорения (например, 20–25% MFU и до 2× ускорения прямого прохода на Blackwell, 4× для линейного ядра на H100), и планируется расширение поддержки архитектур и интеграция с torch.compile.

8.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

RBS-Attention: адаптивный по радиусу двухветвевой разреженный prefill для LLM с длинным контекстом

Препринт arXiv:2609.20971v1 представляет RBS-Attention — обучение-не требующий метод разреженного prefill с двумя ветвями: базовой на центроиде и «спасающей» на основе радиуса, чтобы избежать «усредняющего разведения» при выборе блоков для attention с длинным контекстом. На H100 заявлены ускорения: до 20.65× для standalone prefill-attention, 11.92× для vLLM prefill-attention и 5.97× ускорение времени до первого токена при 128K на Qwen3-30B-A3B-Instruct-2507-FP8 с сохранением близкой плотной точности (88.65 vs 89.52 по RULER на Qwen3-32B); также использованы наборы LongBench-v2, InfiniteBench и Video-MME.

7.0