RSHD: Восстановление обучения по неудачным прогонам для улучшения GRPO
Статья (arXiv:2610.21018v1) предлагает Replay-Selected Hindsight Distillation (RSHD) — метод, который преобразует неудачные прогоны в источник обучения: политика записывает корректирующие заметки, повторно решает задачи с заметками, допускает заметки, чьи повторы успешнее исходной группы, и дистиллирует принятые повторы в базовую политику. RSHD обучает только политику и не требует дополнительных вычислений при развёртывании; метод последовательно улучшает GRPO на внутренних тестах и даёт приросты на внешних наборах.