StateBench: бенчмарк для отслеживания изменения состояний в длинных документах для LLM
StateBench — новый бенчмарк, оценивающий способность языковых моделей отслеживать изменения состояний сущностей в длинных документах; он включает четыре уровня сложности (r-trivial, aperiodic, soluble, general finite), соответствующие разным типам присвоений переменных. Авторы показывают, что рекуррентные и гибридные архитектуры (например, Gated DeltaNet) обобщают дальше по этим задачам, тогда как передовые модели, включая Gemini 3.8 Flash, Claude Opus 5.5 и GPT-6 Sol/Luna, всё ещё терпят сбои на самых сложных задачах с длинными зависимостями.