Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3110

ViBench 2.0: бенчмарк для долгосрочной разработки ПО на Replit

ViBench 2.0 (arXiv:2611.05620v1) — новый бенчмарк для долгосрочной разработки ПО на агентной платформе Replit. В нём 17 полноценных веб‑продуктов, 241 запрос‑фича, 544 сценария тестирования с валидацией протокола оценивания; авторы протестировали девять моделей и обнаружили разрыв надёжности (до 98% прохождения отдельных тест‑планов, но не более 65% полностью рабочих сборок); выпущены восемь продуктов вместе с хардом и грейдером, девять держат в стороне.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. ViBench 2.0 (arXiv:2611.05620v1) — новый бенчмарк для долгосрочной разработки ПО на агентной платформе Replit.
  2. В нём 17 полноценных веб‑продуктов, 241 запрос‑фича, 544 сценария тестирования с валидацией протокола оценивания; авторы протестировали девять моделей и обнаружили разрыв надёжности (до 98% прохождения отдельных тест‑планов, но не более 65% полностью рабочих сборок); выпущены восемь продуктов вместе с хардом и грейдером, девять держат в стороне.
  3. ViBench 2.0 важен тем, что оценивает сквозную длительную разработку продуктов и выявляет разрыв между надёжностью по тестам и получением полностью рабочего продукта, что важно для выбора моделей в продуктивных агентных системах.

ПОЧЕМУ ЭТО ВАЖНО

ViBench 2.0 важен тем, что оценивает сквозную длительную разработку продуктов и выявляет разрыв между надёжностью по тестам и получением полностью рабочего продукта, что важно для выбора моделей в продуктивных агентных системах.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1