Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #37987

BOS Summary

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

BOS Summary: метод без дообучения, позволяющий BOS-токену нести контекст входа и улучшать рассуждения

Статья предлагает BOS Summary — метод без дообучения, который на этапе prefill в одном слое трансформера ослабляет каузальную маску для строки запроса BOS, позволяя ей агрегировать все визуальные и текстовые входы в специфичное представление контекста; остальные токены сохраняют стандартное каузальное внимание. Метод не требует дополнительных параметров или накладных расходов при декодировании, улучшает многшаговое рассуждение в разных LLM/LVLM и бенчмарках, превосходя прямые и CoT-подсказки и недавние методы борьбы с sink, а анализ показывает ослабление доминирования BOS и перераспределение внимания в пользу содержательных токенов.

7.0