Бенчмарк SWE-Serve показывает, что многие исправления, проходящие локальные тесты, не проходят при реальном запуске SGLang
SWE-Serve — новый бенчмарк, превращающий 83 смерженных PR SGLang в 53 исполняемых задачи по inference-serving; 19 таких задач запускают реальный сервер и проверяют исправления по полному пути обслуживания. По этим задачам одни и те же патчи проходят полностью в 45,9% случаев при использовании полного верификатора и в 69,4% случаев без проверок live-serving (примерно одна из трёх исправлений, прошедших прочие тесты, не проходит live-проверки); задачи, охватывающие несколько областей выполнения, имеют на 21,3 процентного пункта более низкий проход, а закрытые оценки моделей (11 моделей, mini-swe-agent) варьируют от 34,6% до 75,5%, лидируют Claude Opus 5 и GPT-5.6 Sol.