ИССЛЕДОВАНИЕ · RESEARCH · #1762
Adaptive Reference Guidance (ARG) для продолжения префикса в RL для рассуждений (arXiv:2610.11128v1)
Препринт на arXiv (2610.11128v1) исследует, сколько ссылочного руководства давать при обучении моделей рассуждений через продолжение префикса и выводит в замкнутой форме дивергенцию KL для одиночных продолжений. На основе этого анализа предложена Adaptive Reference Guidance (ARG) — обучаемый селектор префиксов, который формирует корректные траектории в рамках фиксированного бюджета генерации и при применении к GRPO с Qwen3-4B и Qwen3-8B на пяти бенчмарках математических задач показывает наивысший суммарный pass@12 среди оцененных методов при конкурентной средней точности выборки.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Препринт на arXiv (2610.11128v1) исследует, сколько ссылочного руководства давать при обучении моделей рассуждений через продолжение префикса и выводит в замкнутой форме дивергенцию KL для одиночных продолжений.
- На основе этого анализа предложена Adaptive Reference Guidance (ARG) — обучаемый селектор префиксов, который формирует корректные траектории в рамках фиксированного бюджета генерации и при применении к GRPO с Qwen3-4B и Qwen3-8B на пяти бенчмарках математических задач показывает наивысший суммарный pass@12 среди оцененных методов при конкурентной средней точности выборки.
- ARG даёт практический метод на основе анализа для адаптивного выбора длины ссылочного префикса — повышая эффективность генерации проверяемых траекторий и pass@12 без оценки вероятностей успеха.
ПОЧЕМУ ЭТО ВАЖНО
ARG даёт практический метод на основе анализа для адаптивного выбора длины ссылочного префикса — повышая эффективность генерации проверяемых траекторий и pass@12 без оценки вероятностей успеха.