НОВОСТЬ · CODING · #878
Бенчмарк SWE-Serve показывает, что многие исправления, проходящие локальные тесты, не проходят при реальном запуске SGLang
SWE-Serve — новый бенчмарк, превращающий 83 смерженных PR SGLang в 53 исполняемых задачи по inference-serving; 19 таких задач запускают реальный сервер и проверяют исправления по полному пути обслуживания. По этим задачам одни и те же патчи проходят полностью в 45,9% случаев при использовании полного верификатора и в 69,4% случаев без проверок live-serving (примерно одна из трёх исправлений, прошедших прочие тесты, не проходит live-проверки); задачи, охватывающие несколько областей выполнения, имеют на 21,3 процентного пункта более низкий проход, а закрытые оценки моделей (11 моделей, mini-swe-agent) варьируют от 34,6% до 75,5%, лидируют Claude Opus 5 и GPT-5.6 Sol.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- SWE-Serve — новый бенчмарк, превращающий 83 смерженных PR SGLang в 53 исполняемых задачи по inference-serving; 19 таких задач запускают реальный сервер и проверяют исправления по полному пути обслуживания.
- По этим задачам одни и те же патчи проходят полностью в 45,9% случаев при использовании полного верификатора и в 69,4% случаев без проверок live-serving (примерно одна из трёх исправлений, прошедших прочие тесты, не проходит live-проверки); задачи, охватывающие несколько областей выполнения, имеют на 21,3 процентного пункта более низкий проход, а закрытые оценки моделей (11 моделей, mini-swe-agent) варьируют от 34,6% до 75,5%, лидируют Claude Opus 5 и GPT-5.6 Sol.
- Это важно, потому что показывает: уровень репозиторных и юнит-тестов может не выявлять ошибки, проявляющиеся только при загрузке реальной модели и проверке полного интерфейса сервера, поэтому необходима сквозная верификация live-serving.
ПОЧЕМУ ЭТО ВАЖНО
Это важно, потому что показывает: уровень репозиторных и юнит-тестов может не выявлять ошибки, проявляющиеся только при загрузке реальной модели и проверке полного интерфейса сервера, поэтому необходима сквозная верификация live-serving.