ИССЛЕДОВАНИЕ · RESEARCH · #2172
GlobeBench: бенчмарк для оценки текстовых моделей мира на 1 632 задачах
В работе на arXiv (arXiv:2610.22708v1) представлен GlobeBench — бенчмарк из 1 632 задач в пяти доменах и 19 навыках симуляции для оценки текстовых моделей мира, которые предсказывают отклики среды по траекториям агента. Авторы протестировали 20 моделей (общего назначения и специализированных), указали GPT-6 Astra как лучший вариант с 49,57% успешных задач, отметили резкое падение точности при распространении эффектов действий на зависимые объекты (в среднем 5,1%) и выявили 631 задачу, не решённую ни одной моделью.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе на arXiv (arXiv:2610.22708v1) представлен GlobeBench — бенчмарк из 1 632 задач в пяти доменах и 19 навыках симуляции для оценки текстовых моделей мира, которые предсказывают отклики среды по траекториям агента.
- Авторы протестировали 20 моделей (общего назначения и специализированных), указали GPT-6 Astra как лучший вариант с 49,57% успешных задач, отметили резкое падение точности при распространении эффектов действий на зависимые объекты (в среднем 5,1%) и выявили 631 задачу, не решённую ни одной моделью.
- Единый масштабируемый бенчмарк выявляет существенные пробелы в способностях LLM к моделированию мира и даёт общий тестовый набор для дальнейшего улучшения исследований.
ПОЧЕМУ ЭТО ВАЖНО
Единый масштабируемый бенчмарк выявляет существенные пробелы в способностях LLM к моделированию мира и даёт общий тестовый набор для дальнейшего улучшения исследований.