ИССЛЕДОВАНИЕ · RESEARCH · #3110
ViBench 2.0: бенчмарк для долгосрочной разработки ПО на Replit
ViBench 2.0 (arXiv:2611.05620v1) — новый бенчмарк для долгосрочной разработки ПО на агентной платформе Replit. В нём 17 полноценных веб‑продуктов, 241 запрос‑фича, 544 сценария тестирования с валидацией протокола оценивания; авторы протестировали девять моделей и обнаружили разрыв надёжности (до 98% прохождения отдельных тест‑планов, но не более 65% полностью рабочих сборок); выпущены восемь продуктов вместе с хардом и грейдером, девять держат в стороне.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- ViBench 2.0 (arXiv:2611.05620v1) — новый бенчмарк для долгосрочной разработки ПО на агентной платформе Replit.
- В нём 17 полноценных веб‑продуктов, 241 запрос‑фича, 544 сценария тестирования с валидацией протокола оценивания; авторы протестировали девять моделей и обнаружили разрыв надёжности (до 98% прохождения отдельных тест‑планов, но не более 65% полностью рабочих сборок); выпущены восемь продуктов вместе с хардом и грейдером, девять держат в стороне.
- ViBench 2.0 важен тем, что оценивает сквозную длительную разработку продуктов и выявляет разрыв между надёжностью по тестам и получением полностью рабочего продукта, что важно для выбора моделей в продуктивных агентных системах.
ПОЧЕМУ ЭТО ВАЖНО
ViBench 2.0 важен тем, что оценивает сквозную длительную разработку продуктов и выявляет разрыв между надёжностью по тестам и получением полностью рабочего продукта, что важно для выбора моделей в продуктивных агентных системах.