ИССЛЕДОВАНИЕ · RESEARCH · #1025
Статья ReliabilityRoute: поведенческие стресс-тесты показывают, когда прогнозирующим агентам стоит рассуждать
В этой статье на arXiv варианты поведения агентов (поиск, рассуждение, опора на рыночный приоритет, исторические аналоги) рассматриваются как наблюдаемые решения в задачах бинарного прогнозирования по образцу ForecastBench; авторы показывают, что оптимальный механизм зависит от источника. Представлен ReliabilityRoute — интервенция маршрутизации, использующая признаки надежности (историческое покрытие, доступность/резкость рыночного приоритета, сила/разногласия доказательств, горизонт); фиксированное правило, подогнанное на 2024 год, близко соответствует ручной таксономии, а самонастраивающееся walk-forward-правило даёт лучшую среднюю Brier-оценку среди детерминированных систем по 16 последующим версиям LLM; прирост скромный, артефакты воспроизводимости в репозитории GitHub.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В этой статье на arXiv варианты поведения агентов (поиск, рассуждение, опора на рыночный приоритет, исторические аналоги) рассматриваются как наблюдаемые решения в задачах бинарного прогнозирования по образцу ForecastBench; авторы показывают, что оптимальный механизм зависит от источника.
- Представлен ReliabilityRoute — интервенция маршрутизации, использующая признаки надежности (историческое покрытие, доступность/резкость рыночного приоритета, сила/разногласия доказательств, горизонт); фиксированное правило, подогнанное на 2024 год, близко соответствует ручной таксономии, а самонастраивающееся walk-forward-правило даёт лучшую среднюю Brier-оценку среди детерминированных систем по 16 последующим версиям LLM; прирост скромный, артефакты воспроизводимости в репозитории GitHub.
- Показывает, что выбор источника/маршрута важен для надёжности прогнозов, и что адаптивные, аудируемые правила маршрутизации могут скромно улучшить Brier-оценку при сохранении воспроизводимости.
ПОЧЕМУ ЭТО ВАЖНО
Показывает, что выбор источника/маршрута важен для надёжности прогнозов, и что адаптивные, аудируемые правила маршрутизации могут скромно улучшить Brier-оценку при сохранении воспроизводимости.