Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3971

BOS Summary: метод без дообучения, позволяющий BOS-токену нести контекст входа и улучшать рассуждения

Статья предлагает BOS Summary — метод без дообучения, который на этапе prefill в одном слое трансформера ослабляет каузальную маску для строки запроса BOS, позволяя ей агрегировать все визуальные и текстовые входы в специфичное представление контекста; остальные токены сохраняют стандартное каузальное внимание. Метод не требует дополнительных параметров или накладных расходов при декодировании, улучшает многшаговое рассуждение в разных LLM/LVLM и бенчмарках, превосходя прямые и CoT-подсказки и недавние методы борьбы с sink, а анализ показывает ослабление доминирования BOS и перераспределение внимания в пользу содержательных токенов.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Статья предлагает BOS Summary — метод без дообучения, который на этапе prefill в одном слое трансформера ослабляет каузальную маску для строки запроса BOS, позволяя ей агрегировать все визуальные и текстовые входы в специфичное представление контекста; остальные токены сохраняют стандартное каузальное внимание.
  2. Метод не требует дополнительных параметров или накладных расходов при декодировании, улучшает многшаговое рассуждение в разных LLM/LVLM и бенчмарках, превосходя прямые и CoT-подсказки и недавние методы борьбы с sink, а анализ показывает ослабление доминирования BOS и перераспределение внимания в пользу содержательных токенов.
  3. Простое вмешательство на этапе инференса, которое перенаправляет путь BOS, может заметно улучшить многшаговое рассуждение и показывает, что изменение содержимого sink влияет на перераспределение внимания в трансформерах.

ПОЧЕМУ ЭТО ВАЖНО

Простое вмешательство на этапе инференса, которое перенаправляет путь BOS, может заметно улучшить многшаговое рассуждение и показывает, что изменение содержимого sink влияет на перераспределение внимания в трансформерах.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1