LRMoE: перекалибровка нагрузки на стороне спроса для экономной по памяти тренировки MoE
Новая статья на arXiv (arXiv:2610.37720v1) представляет LRMoE — систему тренировки MoE, учитывающую ограниченную память: она планирует квоты удержания и перекалибровывает обратную нагрузку, сокращая коммуникацию, вычисления и потребление буферов на GPU с ограниченной памятью. В экспериментах на Qwen3-30B-A3B и GLM4.5-106B-A12B LRMoE, по заявлению авторов, уменьшает суммарное время тренировки MoE-слоёв до заданных потерь на 21.2–44.8% по сравнению с SYMI.