Статья ReliabilityRoute: поведенческие стресс-тесты показывают, когда прогнозирующим агентам стоит рассуждать
В этой статье на arXiv варианты поведения агентов (поиск, рассуждение, опора на рыночный приоритет, исторические аналоги) рассматриваются как наблюдаемые решения в задачах бинарного прогнозирования по образцу ForecastBench; авторы показывают, что оптимальный механизм зависит от источника. Представлен ReliabilityRoute — интервенция маршрутизации, использующая признаки надежности (историческое покрытие, доступность/резкость рыночного приоритета, сила/разногласия доказательств, горизонт); фиксированное правило, подогнанное на 2024 год, близко соответствует ручной таксономии, а самонастраивающееся walk-forward-правило даёт лучшую среднюю Brier-оценку среди детерминированных систем по 16 последующим версиям LLM; прирост скромный, артефакты воспроизводимости в репозитории GitHub.