ИССЛЕДОВАНИЕ · RESEARCH · #2893
LRMoE: перекалибровка нагрузки на стороне спроса для экономной по памяти тренировки MoE
Новая статья на arXiv (arXiv:2610.37720v1) представляет LRMoE — систему тренировки MoE, учитывающую ограниченную память: она планирует квоты удержания и перекалибровывает обратную нагрузку, сокращая коммуникацию, вычисления и потребление буферов на GPU с ограниченной памятью. В экспериментах на Qwen3-30B-A3B и GLM4.5-106B-A12B LRMoE, по заявлению авторов, уменьшает суммарное время тренировки MoE-слоёв до заданных потерь на 21.2–44.8% по сравнению с SYMI.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Новая статья на arXiv (arXiv:2610.37720v1) представляет LRMoE — систему тренировки MoE, учитывающую ограниченную память: она планирует квоты удержания и перекалибровывает обратную нагрузку, сокращая коммуникацию, вычисления и потребление буферов на GPU с ограниченной памятью.
- В экспериментах на Qwen3-30B-A3B и GLM4.5-106B-A12B LRMoE, по заявлению авторов, уменьшает суммарное время тренировки MoE-слоёв до заданных потерь на 21.2–44.8% по сравнению с SYMI.
- Повышение эффективности по памяти и коммуникации при обратном распространении может существенно сократить время и стоимость тренировки больших разреженных MoE-моделей на устройствах с ограниченной памятью.
ПОЧЕМУ ЭТО ВАЖНО
Повышение эффективности по памяти и коммуникации при обратном распространении может существенно сократить время и стоимость тренировки больших разреженных MoE-моделей на устройствах с ограниченной памятью.