GlobeBench: бенчмарк для оценки текстовых моделей мира на 1 632 задачах
В работе на arXiv (arXiv:2610.22708v1) представлен GlobeBench — бенчмарк из 1 632 задач в пяти доменах и 19 навыках симуляции для оценки текстовых моделей мира, которые предсказывают отклики среды по траекториям агента. Авторы протестировали 20 моделей (общего назначения и специализированных), указали GPT-6 Astra как лучший вариант с 49,57% успешных задач, отметили резкое падение точности при распространении эффектов действий на зависимые объекты (в среднем 5,1%) и выявили 631 задачу, не решённую ни одной моделью.