BOS Summary: метод без дообучения, позволяющий BOS-токену нести контекст входа и улучшать рассуждения
Статья предлагает BOS Summary — метод без дообучения, который на этапе prefill в одном слое трансформера ослабляет каузальную маску для строки запроса BOS, позволяя ей агрегировать все визуальные и текстовые входы в специфичное представление контекста; остальные токены сохраняют стандартное каузальное внимание. Метод не требует дополнительных параметров или накладных расходов при декодировании, улучшает многшаговое рассуждение в разных LLM/LVLM и бенчмарках, превосходя прямые и CoT-подсказки и недавние методы борьбы с sink, а анализ показывает ослабление доминирования BOS и перераспределение внимания в пользу содержательных токенов.