ИССЛЕДОВАНИЕ · RESEARCH · #2550
Статья HyScale представляет HyTopK и selection replay для ускорения обучения кустистой внимательности на длинных контекстах
HyScale (arXiv:2610.32057v1) предлагает систему для масштабирования обучения с длинными контекстами в архитектурах с изучаемой разреженной внимательностью, рассматривая результаты выбора как множества индексов и вводя HyTopK (поиск точного top-k на лету) и selection replay для отказа от полной таблицы скоринга и повторного выбора. Авторы приводят до 2.07× ускорения при обучении GLM-5.1 на последовательностях в 1 млн токенов по сравнению с Megatron-LM на 512 H20 GPU, а также 2.01× и 1.57× ускорения для CSA-слоёв DeepSeek-V4-Flash и QSA-слоёв Qwen3.8-Flash-Next на 1 млн токенов на 32 H800 GPU.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- HyScale (arXiv:2610.32057v1) предлагает систему для масштабирования обучения с длинными контекстами в архитектурах с изучаемой разреженной внимательностью, рассматривая результаты выбора как множества индексов и вводя HyTopK (поиск точного top-k на лету) и selection replay для отказа от полной таблицы скоринга и повторного выбора.
- Авторы приводят до 2.07× ускорения при обучении GLM-5.1 на последовательностях в 1 млн токенов по сравнению с Megatron-LM на 512 H20 GPU, а также 2.01× и 1.57× ускорения для CSA-слоёв DeepSeek-V4-Flash и QSA-слоёв Qwen3.8-Flash-Next на 1 млн токенов на 32 H800 GPU.
- Это предлагает практичные системные приёмы для устранения узкого места выбора в миллионно-токенных изучаемых разреженных внимательностях, что существенно ускоряет обучение моделей с очень длинными контекстами.
ПОЧЕМУ ЭТО ВАЖНО
Это предлагает практичные системные приёмы для устранения узкого места выбора в миллионно-токенных изучаемых разреженных внимательностях, что существенно ускоряет обучение моделей с очень длинными контекстами.