ИССЛЕДОВАНИЕ · RESEARCH · #1859
Behavioral Self-Rewarding (BSR) уточняет верифицируемые награды для агентов разработки ПО
Препринт arXiv:2610.12598v1 представляет Behavioral Self-Rewarding (BSR) — метод уточнения наград, который повторно использует политику для сравнения поведения при отладке между траекториями с одинаковым результатом верификатора, агрегирует попарные предпочтения в ограниченные вспомогательные награды при сохранении порядка «сдал/не сдал». Эксперименты на SWE-bench Verified и SWE-bench-Live с конфигурациями Qwen3-14B и Qwen3-32B показывают стабильное улучшение и дают дополнительную супервизию из уже собранных траекторий без новых взаимодействий со средой.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Препринт arXiv:2610.12598v1 представляет Behavioral Self-Rewarding (BSR) — метод уточнения наград, который повторно использует политику для сравнения поведения при отладке между траекториями с одинаковым результатом верификатора, агрегирует попарные предпочтения в ограниченные вспомогательные награды при сохранении порядка «сдал/не сдал».
- Эксперименты на SWE-bench Verified и SWE-bench-Live с конфигурациями Qwen3-14B и Qwen3-32B показывают стабильное улучшение и дают дополнительную супервизию из уже собранных траекторий без новых взаимодействий со средой.
- BSR важен тем, что даёт более тонкий локальный сигнал награды без обучения отдельной модели вознаграждений и без дополнительных взаимодействий со средой, что может повысить эффективность обучения и качество решений агентов разработки ПО.
ПОЧЕМУ ЭТО ВАЖНО
BSR важен тем, что даёт более тонкий локальный сигнал награды без обучения отдельной модели вознаграждений и без дополнительных взаимодействий со средой, что может повысить эффективность обучения и качество решений агентов разработки ПО.