ИССЛЕДОВАНИЕ · RESEARCH · #1009
Forecast-Dojo: воспроизводимая среда для бенчмарка и обучения LLM-прогнозирующих агентов (arXiv:2609.28876v1)
Forecast-Dojo — воспроизводимая среда, связывающая 1 568 решённых вопросов Polymarket с 18,8 млн датированных новостных статей, чтобы агенты могли исследовать события и пересматривать прогнозы по историческим датам. Авторы протестировали 12 моделей: инструменты исследования снижают Brier score и прогнозы улучшаются по мере поступления новых данных (однако все модели уступают историческим рыночным прогнозам); также опубликованы траектории взаимодействий и пример дообучения с контролем.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Forecast-Dojo — воспроизводимая среда, связывающая 1 568 решённых вопросов Polymarket с 18,8 млн датированных новостных статей, чтобы агенты могли исследовать события и пересматривать прогнозы по историческим датам.
- Авторы протестировали 12 моделей: инструменты исследования снижают Brier score и прогнозы улучшаются по мере поступления новых данных (однако все модели уступают историческим рыночным прогнозам); также опубликованы траектории взаимодействий и пример дообучения с контролем.
- Это большой воспроизводимый бенчмарк и набор данных для обучения, который позволяет оценивать и обучать LLM-прогнозирующие агенты без ожидания новых решённых событий.
ПОЧЕМУ ЭТО ВАЖНО
Это большой воспроизводимый бенчмарк и набор данных для обучения, который позволяет оценивать и обучать LLM-прогнозирующие агенты без ожидания новых решённых событий.