Attention-Aware Routing (AAR) для MoE-моделей (arXiv:2609.20974v1)
В статье предложен Attention-Aware Routing (AAR): роутер MoE дополняется временными и спектральными признаками, получаемыми из скользящего окна весов внимания, при этом базовый трансформер остаётся замороженным, а обучаются только параметры роутинга. На OLMoE AAR даёт +3.37 процентных пункта по GSM8K относительно SFT-базовой модели, показывает, что изменения в роутинге через остаточный поток формируют внимание на следующем слое без прямых правок механизма внимания, сокращает длинные разветвлённые генерации неправильных ответов и демонстрирует сильную чувствительность к глубине слоёв, разделяющую поведение извлечения фактов и рассуждения.