ИССЛЕДОВАНИЕ · RESEARCH · #2456
Выпущен ThinkingBox-Training на GitHub; RL дообучение повышает надёжность Qwen3.8-27B через оценку БД
ThinkingBox-Training опубликован на GitHub. Инструмент превращает исполняемые проверки конечного состояния базы данных в RL-награды; дообучение Qwen3.8-27B 50 шагами GRPO подняло средний pass@1 с 51.70% до 60.78% и увеличило число задач, решённых в 20 из 20 попыток, с 38 до 107, при отборе задач по офлайн-полисио‑релятивной сложности и проверке на наборе ThinkingBox-Bench из 507 задач.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- ThinkingBox-Training опубликован на GitHub.
- Инструмент превращает исполняемые проверки конечного состояния базы данных в RL-награды; дообучение Qwen3.8-27B 50 шагами GRPO подняло средний pass@1 с 51.70% до 60.78% и увеличило число задач, решённых в 20 из 20 попыток, с 38 до 107, при отборе задач по офлайн-полисио‑релятивной сложности и проверке на наборе ThinkingBox-Bench из 507 задач.
- Использование исполняемых проверок бэкенда в качестве награды улучшает повторяемое поведение агентов в продакшене и даёт измеримый способ учить надёжность и безопасность операций с БД, дополняя обычный pass@1.
ПОЧЕМУ ЭТО ВАЖНО
Использование исполняемых проверок бэкенда в качестве награды улучшает повторяемое поведение агентов в продакшене и даёт измеримый способ учить надёжность и безопасность операций с БД, дополняя обычный pass@1.