ИССЛЕДОВАНИЕ · RESEARCH · #2530
Opus 5.5 от Anthropic лидирует в бенчмарке TasteVal; Джек Кларк переносит прогноз RSI на 2027 год
Новый бенчмарк P‑Zero Research TasteVal, измеряющий способность моделей проектировать и интерпретировать эксперименты («research taste»), показывает быстрый прогресс — Opus 5.5 от Anthropic достигла коэффициента вычислительного множителя 2.3 по сравнению с базой из 24 экспертов и обошлась существенно дешевле. На основе этих результатов и заявленного удвоения метрики примерно каждые три месяца с декабря 2025 года сооснователь Anthropic Джек Кларк сместил свой прогноз по рекурсивному самоулучшению с 2028 на 2027 год, при этом авторы и другие исследователи указывают на большую неопределённость и узкую направленность бенчмарка.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Новый бенчмарк P‑Zero Research TasteVal, измеряющий способность моделей проектировать и интерпретировать эксперименты («research taste»), показывает быстрый прогресс — Opus 5.5 от Anthropic достигла коэффициента вычислительного множителя 2.3 по сравнению с базой из 24 экспертов и обошлась существенно дешевле.
- На основе этих результатов и заявленного удвоения метрики примерно каждые три месяца с декабря 2025 года сооснователь Anthropic Джек Кларк сместил свой прогноз по рекурсивному самоулучшению с 2028 на 2027 год, при этом авторы и другие исследователи указывают на большую неопределённость и узкую направленность бенчмарка.
- Если способность к «research taste» будет расти столь же быстро, модели смогут автоматизировать больше независимой научной работы и ускорить рекурсивное самоулучшение, что изменит сроки серьёзных достижений в ИИ.
ПОЧЕМУ ЭТО ВАЖНО
Если способность к «research taste» будет расти столь же быстро, модели смогут автоматизировать больше независимой научной работы и ускорить рекурсивное самоулучшение, что изменит сроки серьёзных достижений в ИИ.