Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3446

Weighted State Souping для эффективного поиска в длинном контексте (PALM @ NeurIPS 2026)

В статье предложен метод weighted state souping, который обучает веса, зависящие от запроса, для комбинирования закэшироованных состояний моделей пространств состояний (SSM). Авторы отмечают существенное улучшение на задачах с длинным контекстом (одно- и многопереходные вопросы, «иголка в стоге сена», отслеживание переменных, использование инструментов), предлагают разрежённый вариант с почти постоянной стоимостью кодирования и приводят теоретический анализ; работа принята на воркшоп PALM в NeurIPS 2026.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. В статье предложен метод weighted state souping, который обучает веса, зависящие от запроса, для комбинирования закэшироованных состояний моделей пространств состояний (SSM).
  2. Авторы отмечают существенное улучшение на задачах с длинным контекстом (одно- и многопереходные вопросы, «иголка в стоге сена», отслеживание переменных, использование инструментов), предлагают разрежённый вариант с почти постоянной стоимостью кодирования и приводят теоретический анализ; работа принята на воркшоп PALM в NeurIPS 2026.
  3. Weighted state souping сочетает переиспользуемые представления состояний SSM с селективным, зависящим от запроса поиском, улучшая рассуждение по длинному контексту при низких затратах на кодирование.

ПОЧЕМУ ЭТО ВАЖНО

Weighted state souping сочетает переиспользуемые представления состояний SSM с селективным, зависящим от запроса поиском, улучшая рассуждение по длинному контексту при низких затратах на кодирование.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1