ИССЛЕДОВАНИЕ · RESEARCH · #1994
DeepMind: самоусовершенствование ИИ пока далёко, несмотря на рост автоматизации
Инженер DeepMind Хайдн Белфилд сообщает, что исследований, ускоренных самим ИИ, не зафиксировано: индекс способностей (GCI) по 123 моделям и 92 бенчмаркам показывает, что Gemini 4 Argon решает примерно половину 74 задач RE-Bench (против 27% у Gemini 3.7 Flash), а команда оценивает риск автоматизации исследований ИИ как низкий. При этом ИИ генерирует более 75% production-кода, но 88% изменений кода всё ещё требуют контроля человека, и каждое изменение проверяется человеком до отправки.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Инженер DeepMind Хайдн Белфилд сообщает, что исследований, ускоренных самим ИИ, не зафиксировано: индекс способностей (GCI) по 123 моделям и 92 бенчмаркам показывает, что Gemini 4 Argon решает примерно половину 74 задач RE-Bench (против 27% у Gemini 3.7 Flash), а команда оценивает риск автоматизации исследований ИИ как низкий.
- При этом ИИ генерирует более 75% production-кода, но 88% изменений кода всё ещё требуют контроля человека, и каждое изменение проверяется человеком до отправки.
- Предоставляет эмпирические данные, опровергающие утверждения о неминуемой «ускоряющейся» автоматизации исследований ИИ, и влияет на оценку рисков и политические дискуссии об автоматизации научной работы.
ПОЧЕМУ ЭТО ВАЖНО
Предоставляет эмпирические данные, опровергающие утверждения о неминуемой «ускоряющейся» автоматизации исследований ИИ, и влияет на оценку рисков и политические дискуссии об автоматизации научной работы.