Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #5703

transformer

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

BOS Summary: метод без дообучения, позволяющий BOS-токену нести контекст входа и улучшать рассуждения

Статья предлагает BOS Summary — метод без дообучения, который на этапе prefill в одном слое трансформера ослабляет каузальную маску для строки запроса BOS, позволяя ей агрегировать все визуальные и текстовые входы в специфичное представление контекста; остальные токены сохраняют стандартное каузальное внимание. Метод не требует дополнительных параметров или накладных расходов при декодировании, улучшает многшаговое рассуждение в разных LLM/LVLM и бенчмарках, превосходя прямые и CoT-подсказки и недавние методы борьбы с sink, а анализ показывает ослабление доминирования BOS и перераспределение внимания в пользу содержательных токенов.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Attention-Aware Routing (AAR) для MoE-моделей (arXiv:2609.20974v1)

В статье предложен Attention-Aware Routing (AAR): роутер MoE дополняется временными и спектральными признаками, получаемыми из скользящего окна весов внимания, при этом базовый трансформер остаётся замороженным, а обучаются только параметры роутинга. На OLMoE AAR даёт +3.37 процентных пункта по GSM8K относительно SFT-базовой модели, показывает, что изменения в роутинге через остаточный поток формируют внимание на следующем слое без прямых правок механизма внимания, сокращает длинные разветвлённые генерации неправильных ответов и демонстрирует сильную чувствительность к глубине слоёв, разделяющую поведение извлечения фактов и рассуждения.

7.0