CloudOpsBench v1.0: рассуждение оказалось главным ограничением ИИ в облачных операциях
CloudOpsBench — открытый бенчмарк (v1.0) команды Университета Мичигана под руководством Анг Чена для оценки AI‑агентов на 45 реальных задачах DevOps в AWS. Лучшие модели показали невысокие результаты (Claude Fable 5.1 ≈60%, GPT‑6 Astra ≈53%); авторы отмечают, что ≈80% сбоев связаны с ошибками рассуждения (неправильная оценка объёма задачи, пропуск сервисов, преждевременная остановка), ≈20% — с неверными действиями; проект размещён на GitHub под Apache 2.0, планируются расширения на GCP/Azure/OCI.