Group Relative Policy Optimization (GRPO)

2026-10-09

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Adaptive Reference Guidance (ARG) для продолжения префикса в RL для рассуждений (arXiv:2610.11128v1)

Препринт на arXiv (2610.11128v1) исследует, сколько ссылочного руководства давать при обучении моделей рассуждений через продолжение префикса и выводит в замкнутой форме дивергенцию KL для одиночных продолжений. На основе этого анализа предложена Adaptive Reference Guidance (ARG) — обучаемый селектор префиксов, который формирует корректные траектории в рамках фиксированного бюджета генерации и при применении к GRPO с Qwen3-4B и Qwen3-8B на пяти бенчмарках математических задач показывает наивысший суммарный pass@12 среди оцененных методов при конкурентной средней точности выборки.

6.0

2026-09-25

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Amazon описывает архитектуру EKS + EFA + DeepEP для масштабирования MoE-обучения с усилением до 40% пропускной способности

Пост Amazon описывает архитектуру, объединяющую Amazon EKS, Elastic Fabric Adapter (EFA) и DeepEP для решения задач гетерогенных вычислений, высокоскоростной коммуникации и оркестрации при пост-тренировке MoE с подкреплением (включая RLHF и GRPO). В материале рассказывается о балансировке генерации роллаутов и синхронного обучения политики, оптимизации коммуникаций Expert Parallelism (EP) через EFA и приводится оценка до 40% прироста пропускной способности с DeepEP.

6.0

2026-09-25

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Запуск пост‑обучения SkyRL (GRPO) для Qwen3‑VL‑8B на Amazon SageMaker HyperPod

Amazon показала запуск открытой библиотеки SkyRL на SageMaker HyperPod (EKS) для пост‑обучения визуально‑языковой модели Qwen3‑VL‑8B методом Group Relative Policy Optimization (GRPO). На HyperPod Ray‑кластере с общим хранилищем FSx решение повысило процент решения лабиринтов с 43,75% до более чем 95% на фиксированном наборе из 64 лабиринтов, сочетая vLLM‑инференс и FSDP‑шардинг политики с LoRA‑адаптерами.

6.0

2026-09-25

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Статья демонстрирует работу RLVR (с GRPO) на Qwen3.5-0.8B без дистилляции

Препринт на arXiv применяет Reinforcement Learning with Verifiable Rewards (RLVR) с Group Relative Policy Optimization (GRPO) и инструментом поиска в Wikipedia для тренировки Qwen3.5-0.8B на MuSiQue и наборе из семи QA-бенчмарков. Лучший запуск показал 0.352 в среднем по exact-match (против 0.092 у нетренированной модели), рост в 3.8× без дистилляции; авторы отмечают, что форма вознаграждения важна — разреженное exact-match-вознаграждение оказывается худшим для этой шкалы модели.

6.0

2026-09-24

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

RLDS: разложение вознаграждения по подтаскам улучшает RL для агентов на языковых моделях (arXiv:2609.27035v1)

В работе предлагается Reinforcement Learning with Decomposed Subtasks (RLDS) и Subtask-Decomposed Advantage Estimation (SDAE): вместо сворачивания траекторного вознаграждения в одно скалярное значение они распределяют его по подтаскам перед обновлением политики. На четырёх бенчмарках метод давал значительные улучшения при высокой неоднородности подтасков (ScienceWorld +11.5 пунктов, paired-bootstrap 95% CI [+9.8, +13.3]; FrozenLake +9.8 пунктов, CI [+7.0, +12.8]), почти не менял результаты там, где диагностика предсказывала мало выиграть (HotpotQA, DeepResearch), и был эффективнее по времени на ScienceWorld (-10.9% wall-clock на шаг).

7.0

2026-09-16

RESEARCH · 1 ИСТОЧН. · Apple Machine Learning Research

DACA-GRPO: учет процесса денойзинга улучшает GRPO для диффузионных LLM

Статья представляет DACA-GRPO — лёгкое плагин-улучшение для GRPO-подобного RL в диффузионных языковых моделях, решающее проблему отсутствия временного распределения заслуг и смещения оценки правдоподобия в среднем. Метод вводит Denoising Progress Scores (веса важности для токенов из промежуточных предсказаний) и Stratified Masking Likelihood (разбиение позиций токенов на страты для снижения смещения), демонстрируя стабильные улучшения на семи бенчмарках — до 5.6 п.п. в математике, 7.4 п.п. в генерации кода, 36.3 п.п. в задачах с ограничениями и 5.9 п.п. в соответствии с JSON-схемой.

7.0