Weighted State Souping для эффективного поиска в длинном контексте (PALM @ NeurIPS 2026)
В статье предложен метод weighted state souping, который обучает веса, зависящие от запроса, для комбинирования закэшироованных состояний моделей пространств состояний (SSM). Авторы отмечают существенное улучшение на задачах с длинным контекстом (одно- и многопереходные вопросы, «иголка в стоге сена», отслеживание переменных, использование инструментов), предлагают разрежённый вариант с почти постоянной стоимостью кодирования и приводят теоретический анализ; работа принята на воркшоп PALM в NeurIPS 2026.