ИССЛЕДОВАНИЕ · RESEARCH · #2168
Препринт arXiv «Between Spoilers and Guesswork» о пере- и недо-спецификации в бенчмарках для кода
Препринт arXiv «Between Spoilers and Guesswork» (arXiv:2610.22760v1) исследует, как недо- и пере-спецификация заданий вредят репозиторным бенчмаркам для кода. Авторы экспериментировали с уровнями спецификации, показали, что утечка информации из эталона может вызывать пере-спецификацию в таких бенчмарках, как SWE-bench Pro, FEA-bench, Doc2Feat-bench и Multi-SWE-bench, и предлагают методы получения лаконичных подсказок, которые намерены опубликовать.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Препринт arXiv «Between Spoilers and Guesswork» (arXiv:2610.22760v1) исследует, как недо- и пере-спецификация заданий вредят репозиторным бенчмаркам для кода.
- Авторы экспериментировали с уровнями спецификации, показали, что утечка информации из эталона может вызывать пере-спецификацию в таких бенчмарках, как SWE-bench Pro, FEA-bench, Doc2Feat-bench и Multi-SWE-bench, и предлагают методы получения лаконичных подсказок, которые намерены опубликовать.
- Спецификация бенчмарков определяет, что именно модели учат и измеряют; корректные подсказки и методы спецификации уменьшают обходы и продлевают полезность бенчмарков.
ПОЧЕМУ ЭТО ВАЖНО
Спецификация бенчмарков определяет, что именно модели учат и измеряют; корректные подсказки и методы спецификации уменьшают обходы и продлевают полезность бенчмарков.