ИССЛЕДОВАНИЕ · RESEARCH · #3446
Weighted State Souping для эффективного поиска в длинном контексте (PALM @ NeurIPS 2026)
В статье предложен метод weighted state souping, который обучает веса, зависящие от запроса, для комбинирования закэшироованных состояний моделей пространств состояний (SSM). Авторы отмечают существенное улучшение на задачах с длинным контекстом (одно- и многопереходные вопросы, «иголка в стоге сена», отслеживание переменных, использование инструментов), предлагают разрежённый вариант с почти постоянной стоимостью кодирования и приводят теоретический анализ; работа принята на воркшоп PALM в NeurIPS 2026.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье предложен метод weighted state souping, который обучает веса, зависящие от запроса, для комбинирования закэшироованных состояний моделей пространств состояний (SSM).
- Авторы отмечают существенное улучшение на задачах с длинным контекстом (одно- и многопереходные вопросы, «иголка в стоге сена», отслеживание переменных, использование инструментов), предлагают разрежённый вариант с почти постоянной стоимостью кодирования и приводят теоретический анализ; работа принята на воркшоп PALM в NeurIPS 2026.
- Weighted state souping сочетает переиспользуемые представления состояний SSM с селективным, зависящим от запроса поиском, улучшая рассуждение по длинному контексту при низких затратах на кодирование.
ПОЧЕМУ ЭТО ВАЖНО
Weighted state souping сочетает переиспользуемые представления состояний SSM с селективным, зависящим от запроса поиском, улучшая рассуждение по длинному контексту при низких затратах на кодирование.