Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3029

StateBench: бенчмарк для отслеживания изменения состояний в длинных документах для LLM

StateBench — новый бенчмарк, оценивающий способность языковых моделей отслеживать изменения состояний сущностей в длинных документах; он включает четыре уровня сложности (r-trivial, aperiodic, soluble, general finite), соответствующие разным типам присвоений переменных. Авторы показывают, что рекуррентные и гибридные архитектуры (например, Gated DeltaNet) обобщают дальше по этим задачам, тогда как передовые модели, включая Gemini 3.8 Flash, Claude Opus 5.5 и GPT-6 Sol/Luna, всё ещё терпят сбои на самых сложных задачах с длинными зависимостями.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. StateBench — новый бенчмарк, оценивающий способность языковых моделей отслеживать изменения состояний сущностей в длинных документах; он включает четыре уровня сложности (r-trivial, aperiodic, soluble, general finite), соответствующие разным типам присвоений переменных.
  2. Авторы показывают, что рекуррентные и гибридные архитектуры (например, Gated DeltaNet) обобщают дальше по этим задачам, тогда как передовые модели, включая Gemini 3.8 Flash, Claude Opus 5.5 и GPT-6 Sol/Luna, всё ещё терпят сбои на самых сложных задачах с длинными зависимостями.
  3. Это важно, поскольку StateBench выявляет практические ошибки на длинных контекстах и даёт структуру для сравнения архитектур (трансформеры vs рекуррентные/гибридные) по задачам отслеживания состояний, важным для кода и повествований.

ПОЧЕМУ ЭТО ВАЖНО

Это важно, поскольку StateBench выявляет практические ошибки на длинных контекстах и даёт структуру для сравнения архитектур (трансформеры vs рекуррентные/гибридные) по задачам отслеживания состояний, важным для кода и повествований.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1