ИССЛЕДОВАНИЕ · RESEARCH · #1521
Парная оценка: хостируемая Jev превосходит открытую Laya по большинству решений System‑1; аудит уточняет заявенные сбережения
Статья на arXiv (arXiv:2610.02267v1) представляет парную воспроизводимую оценку двух моделей System‑1 для «агентных» оболочек — открытой Laya и хостируемой Jev — по 11 типам решений на 7 283 базовых случаях и 6 640 вариантов устойчивости. Jev статистически лучше на 9 из 11 точек принятия решений (+10,8–+46,0 процентных пункта); ни одна модель не превосходит случайный выбор при zero‑shot маршрутизации моделей, они равны по фильтрации релевантности в RAG. Авторы также самостоятельно провели аудит и уточнили ранее заявленные эффекты: учёт пропущенных издержек снижает заявленную экономию с 23,9% до 4,3%, точность «гейта» была смешана с конечным качеством (58% vs 98%), пороги были подогнаны на выборке (до 17% промахов на отложенной), и «channel effect» изменял число ложных срабатываний при инъекциях; все сырые данные и код выложены в репозитории.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья на arXiv (arXiv:2610.02267v1) представляет парную воспроизводимую оценку двух моделей System‑1 для «агентных» оболочек — открытой Laya и хостируемой Jev — по 11 типам решений на 7 283 базовых случаях и 6 640 вариантов устойчивости.
- Jev статистически лучше на 9 из 11 точек принятия решений (+10,8–+46,0 процентных пункта); ни одна модель не превосходит случайный выбор при zero‑shot маршрутизации моделей, они равны по фильтрации релевантности в RAG.
- Авторы также самостоятельно провели аудит и уточнили ранее заявленные эффекты: учёт пропущенных издержек снижает заявленную экономию с 23,9% до 4,3%, точность «гейта» была смешана с конечным качеством (58% vs 98%), пороги были подогнаны на выборке (до 17% промахов на отложенной), и «channel effect» изменял число ложных срабатываний при инъекциях; все сырые данные и код выложены в репозитории.
ПОЧЕМУ ЭТО ВАЖНО
Это важно, потому что модели System‑1 предлагают снизить стоимость и задержку в пайплайнах LLM‑агентов, а работа демонстрирует существенные различия в качестве, режимы отказа и исправления в аудите, которые меняют оценки экономии и безопасности при развёртывании.