Препринт arXiv «Between Spoilers and Guesswork» о пере- и недо-спецификации в бенчмарках для кода
Препринт arXiv «Between Spoilers and Guesswork» (arXiv:2610.22760v1) исследует, как недо- и пере-спецификация заданий вредят репозиторным бенчмаркам для кода. Авторы экспериментировали с уровнями спецификации, показали, что утечка информации из эталона может вызывать пере-спецификацию в таких бенчмарках, как SWE-bench Pro, FEA-bench, Doc2Feat-bench и Multi-SWE-bench, и предлагают методы получения лаконичных подсказок, которые намерены опубликовать.