ИССЛЕДОВАНИЕ · RESEARCH · #2083
RSHD: Восстановление обучения по неудачным прогонам для улучшения GRPO
Статья (arXiv:2610.21018v1) предлагает Replay-Selected Hindsight Distillation (RSHD) — метод, который преобразует неудачные прогоны в источник обучения: политика записывает корректирующие заметки, повторно решает задачи с заметками, допускает заметки, чьи повторы успешнее исходной группы, и дистиллирует принятые повторы в базовую политику. RSHD обучает только политику и не требует дополнительных вычислений при развёртывании; метод последовательно улучшает GRPO на внутренних тестах и даёт приросты на внешних наборах.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья (arXiv:2610.21018v1) предлагает Replay-Selected Hindsight Distillation (RSHD) — метод, который преобразует неудачные прогоны в источник обучения: политика записывает корректирующие заметки, повторно решает задачи с заметками, допускает заметки, чьи повторы успешнее исходной группы, и дистиллирует принятые повторы в базовую политику.
- RSHD обучает только политику и не требует дополнительных вычислений при развёртывании; метод последовательно улучшает GRPO на внутренних тестах и даёт приросты на внешних наборах.
- RSHD важно тем, что оно возвращает источник обучения даже в группах, где все прогоны провалились, позволяя учиться на ошибках и улучшать обобщение без изменений при развёртывании.
ПОЧЕМУ ЭТО ВАЖНО
RSHD важно тем, что оно возвращает источник обучения даже в группах, где все прогоны провалились, позволяя учиться на ошибках и улучшать обобщение без изменений при развёртывании.