ИССЛЕДОВАНИЕ · RESEARCH · #3074
CloudOpsBench v1.0: рассуждение оказалось главным ограничением ИИ в облачных операциях
CloudOpsBench — открытый бенчмарк (v1.0) команды Университета Мичигана под руководством Анг Чена для оценки AI‑агентов на 45 реальных задачах DevOps в AWS. Лучшие модели показали невысокие результаты (Claude Fable 5.1 ≈60%, GPT‑6 Astra ≈53%); авторы отмечают, что ≈80% сбоев связаны с ошибками рассуждения (неправильная оценка объёма задачи, пропуск сервисов, преждевременная остановка), ≈20% — с неверными действиями; проект размещён на GitHub под Apache 2.0, планируются расширения на GCP/Azure/OCI.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- CloudOpsBench — открытый бенчмарк (v1.0) команды Университета Мичигана под руководством Анг Чена для оценки AI‑агентов на 45 реальных задачах DevOps в AWS.
- Лучшие модели показали невысокие результаты (Claude Fable 5.1 ≈60%, GPT‑6 Astra ≈53%); авторы отмечают, что ≈80% сбоев связаны с ошибками рассуждения (неправильная оценка объёма задачи, пропуск сервисов, преждевременная остановка), ≈20% — с неверными действиями; проект размещён на GitHub под Apache 2.0, планируются расширения на GCP/Azure/OCI.
- Бенчмарк показывает, что современные AI‑агенты слабы в рассуждении и оценке объёма задач в реальных облачных операциях, что создаёт риски при автоматизации и указывает конкретную область для улучшений моделей и инструментов.
ПОЧЕМУ ЭТО ВАЖНО
Бенчмарк показывает, что современные AI‑агенты слабы в рассуждении и оценке объёма задач в реальных облачных операциях, что создаёт риски при автоматизации и указывает конкретную область для улучшений моделей и инструментов.