Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #9372

SWE-bench Pro

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Препринт arXiv «Between Spoilers and Guesswork» о пере- и недо-спецификации в бенчмарках для кода

Препринт arXiv «Between Spoilers and Guesswork» (arXiv:2610.22760v1) исследует, как недо- и пере-спецификация заданий вредят репозиторным бенчмаркам для кода. Авторы экспериментировали с уровнями спецификации, показали, что утечка информации из эталона может вызывать пере-спецификацию в таких бенчмарках, как SWE-bench Pro, FEA-bench, Doc2Feat-bench и Multi-SWE-bench, и предлагают методы получения лаконичных подсказок, которые намерены опубликовать.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Исследование выявляет частые дорогие поведения у кодирующих агентов и оценивает способы их смягчения

В статье arXiv:2609.30725v1 проанализированы 1 200 траекторий Claude Code и Mini-SWE-Agent на SWE-bench Verified; выявлены три повторяющихся дорогостоящих поведения (subsumed retrieval, генерация похожих скриптов, повторный запуск тестов), затрагивающих 79–98% задач и составляющих до 22,75% стоимости задачи. Оценены три метода смягчения (structure-aware retrieval, agent-synthesized skills, developer-designed skills) на 10 тыс. отложенных траекторий: structure-aware retrieval иногда увеличивает расходы (до 28,14%), agent-synthesized skills дают ограниченные низкоуровневые улучшения, а developer-designed skills сокращают расходы до 41,73%, примерно вдвое больше максимального эффекта от agent-synthesized skills.

7.0