ИССЛЕДОВАНИЕ · RESEARCH · #3029
StateBench: бенчмарк для отслеживания изменения состояний в длинных документах для LLM
StateBench — новый бенчмарк, оценивающий способность языковых моделей отслеживать изменения состояний сущностей в длинных документах; он включает четыре уровня сложности (r-trivial, aperiodic, soluble, general finite), соответствующие разным типам присвоений переменных. Авторы показывают, что рекуррентные и гибридные архитектуры (например, Gated DeltaNet) обобщают дальше по этим задачам, тогда как передовые модели, включая Gemini 3.8 Flash, Claude Opus 5.5 и GPT-6 Sol/Luna, всё ещё терпят сбои на самых сложных задачах с длинными зависимостями.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- StateBench — новый бенчмарк, оценивающий способность языковых моделей отслеживать изменения состояний сущностей в длинных документах; он включает четыре уровня сложности (r-trivial, aperiodic, soluble, general finite), соответствующие разным типам присвоений переменных.
- Авторы показывают, что рекуррентные и гибридные архитектуры (например, Gated DeltaNet) обобщают дальше по этим задачам, тогда как передовые модели, включая Gemini 3.8 Flash, Claude Opus 5.5 и GPT-6 Sol/Luna, всё ещё терпят сбои на самых сложных задачах с длинными зависимостями.
- Это важно, поскольку StateBench выявляет практические ошибки на длинных контекстах и даёт структуру для сравнения архитектур (трансформеры vs рекуррентные/гибридные) по задачам отслеживания состояний, важным для кода и повествований.
ПОЧЕМУ ЭТО ВАЖНО
Это важно, поскольку StateBench выявляет практические ошибки на длинных контекстах и даёт структуру для сравнения архитектур (трансформеры vs рекуррентные/гибридные) по задачам отслеживания состояний, важным для кода и повествований.