ИССЛЕДОВАНИЕ · RESEARCH · #3971
BOS Summary: метод без дообучения, позволяющий BOS-токену нести контекст входа и улучшать рассуждения
Статья предлагает BOS Summary — метод без дообучения, который на этапе prefill в одном слое трансформера ослабляет каузальную маску для строки запроса BOS, позволяя ей агрегировать все визуальные и текстовые входы в специфичное представление контекста; остальные токены сохраняют стандартное каузальное внимание. Метод не требует дополнительных параметров или накладных расходов при декодировании, улучшает многшаговое рассуждение в разных LLM/LVLM и бенчмарках, превосходя прямые и CoT-подсказки и недавние методы борьбы с sink, а анализ показывает ослабление доминирования BOS и перераспределение внимания в пользу содержательных токенов.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья предлагает BOS Summary — метод без дообучения, который на этапе prefill в одном слое трансформера ослабляет каузальную маску для строки запроса BOS, позволяя ей агрегировать все визуальные и текстовые входы в специфичное представление контекста; остальные токены сохраняют стандартное каузальное внимание.
- Метод не требует дополнительных параметров или накладных расходов при декодировании, улучшает многшаговое рассуждение в разных LLM/LVLM и бенчмарках, превосходя прямые и CoT-подсказки и недавние методы борьбы с sink, а анализ показывает ослабление доминирования BOS и перераспределение внимания в пользу содержательных токенов.
- Простое вмешательство на этапе инференса, которое перенаправляет путь BOS, может заметно улучшить многшаговое рассуждение и показывает, что изменение содержимого sink влияет на перераспределение внимания в трансформерах.
ПОЧЕМУ ЭТО ВАЖНО
Простое вмешательство на этапе инференса, которое перенаправляет путь BOS, может заметно улучшить многшаговое рассуждение и показывает, что изменение содержимого sink влияет на перераспределение внимания в трансформерах.