ViBench 2.0: бенчмарк для долгосрочной разработки ПО на Replit
ViBench 2.0 (arXiv:2611.05620v1) — новый бенчмарк для долгосрочной разработки ПО на агентной платформе Replit. В нём 17 полноценных веб‑продуктов, 241 запрос‑фича, 544 сценария тестирования с валидацией протокола оценивания; авторы протестировали девять моделей и обнаружили разрыв надёжности (до 98% прохождения отдельных тест‑планов, но не более 65% полностью рабочих сборок); выпущены восемь продуктов вместе с хардом и грейдером, девять держат в стороне.