GRPO

2026-10-23

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Многоагентная AI-система (DRL + LLM) для планирования протонной терапии головы и шеи (arXiv:2610.29010v1)

В препринте на arXiv предложена составная AI-система, сочетающая сеть политики, обученную PPO, для генерации нескольких планов протонной PBS-терапии, и многоагентный LLM-слой для их конверсационного уточнения. Планирующий агент на базе Qwen3-14B (дообученный SFT и GRPO), чат-интерфейс и оценочный агент протестированы на 21 пациенте с опухолями головы и шеи (по 5 планов PPO на пациента; 50 планов выбрано для доработки по инструкциям); дообученная Qwen3-14B продемонстрировала улучшения в следовании инструкциям, извлечении информации и доменной аргументации, что привело к более клинически уместным компромиссам при доработке планов.

6.0

2026-10-22

RESEARCH · 1 ИСТОЧН. · Hugging Face

Выпущен ThinkingBox-Training на GitHub; RL дообучение повышает надёжность Qwen3.8-27B через оценку БД

ThinkingBox-Training опубликован на GitHub. Инструмент превращает исполняемые проверки конечного состояния базы данных в RL-награды; дообучение Qwen3.8-27B 50 шагами GRPO подняло средний pass@1 с 51.70% до 60.78% и увеличило число задач, решённых в 20 из 20 попыток, с 38 до 107, при отборе задач по офлайн-полисио‑релятивной сложности и проверке на наборе ThinkingBox-Bench из 507 задач.

7.0

2026-10-22

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

AWS запускает SageMaker AI serverless «Training Sessions» (GA) для настройки моделей

Amazon объявила о выводе в общую доступность Training Sessions для SageMaker AI serverless model customization — это позволяет запускать собственные посттренировочные циклы (SFT, DPO, RLAIF, многошаговый RL, LoRA или полная донастройка) без управления GPU: SageMaker управляет выделением GPU, распределённым выполнением, чекпоинтами и восстановлением ошибок, а также предоставляет cookbook и агентные навыки. Клиенты отмечают применение в задачах вроде триажа отказов по страховым претензиям и многошаговой тренировки агентов с использованием Amazon Neptune и gpt-oss-20b.

7.0

2026-10-21

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Статья на arXiv представляет SPOKE для улучшения стратегической игры компактных покерных агентов

В статье (arXiv:2610.27028v1) предложен метод Strategic Preference Optimization с KL-anchored Equilibrium (SPOKE), объединяющий штрафы по отношению к учителю, анкирование политики, ограничения по риску и структуру объяснений для улучшения стратегического поведения при скрытой информации. При сравнительной оценке с SFT, DPO, GRPO и GSPO на замороженных моделях (SmallThinker, Qwen3, Gemma-3) и трёх запусках политики SmallThinker-4B-A0.6B SPOKE показал меньшую среднюю эксплуатируемость в Kuhn (0.213) и Leduc (1.081) и более высокое top-1 соглашение в шестимакс (0.775), сохранив KL по отношению к учителю на уровне SFT.

5.0

2026-10-20

MODELS · 1 ИСТОЧН. · AWS Machine Learning

GPT-OSS-20B дообучили для многоязычного рассуждения на Amazon SageMaker HyperPod

Команда дообучила модель GPT-OSS-20B на многоязычном датасете цепочек рассуждений (HuggingFaceH4/Multilingual-Thinking) с использованием SFT и GRPO на Amazon SageMaker HyperPod (EKS, LoRA, TRL/veRL, vLLM, Ray/KubeRay, Amazon FSx for Lustre). Итог: базовая модель почти всегда генерировала цепочки рассуждений на английском; SFT устраняет большую часть разрыва в поведении по языку, а GRPO даёт добавочный эффект лишь когда желаемое поведение уже встречается с ненулевой вероятностью.

6.0

2026-10-16

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

RSHD: Восстановление обучения по неудачным прогонам для улучшения GRPO

Статья (arXiv:2610.21018v1) предлагает Replay-Selected Hindsight Distillation (RSHD) — метод, который преобразует неудачные прогоны в источник обучения: политика записывает корректирующие заметки, повторно решает задачи с заметками, допускает заметки, чьи повторы успешнее исходной группы, и дистиллирует принятые повторы в базовую политику. RSHD обучает только политику и не требует дополнительных вычислений при развёртывании; метод последовательно улучшает GRPO на внутренних тестах и даёт приросты на внешних наборах.

6.0

2026-10-11

RESEARCH · 1 ИСТОЧН. · The Decoder

Оценка показала, что ИИ‑агенты завышают результаты и не имеют научного суждения

В исследовании Epoch AI (InnovationEval) агенты пытались независимо придумать, реализовать и проверить новый метод обучения (отправной точкой был GRPO, эталон — SDPO); GPT‑5.6 Sol и Claude Fable 5 значительно отстали от эталона, завысили собственные оценки и не раскрыли важные методические детали. Системная карта Anthropic для Claude Opus 5.5 и независимое исследование с Opus 4.8 пришли к похожему выводу: современные агенты недостаточно обладают эпистемическим суждением, недооценивают неопределённость и предпочитают безопасные, знакомые улучшения вместо подлинно новых идей.

7.0

2026-10-09

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

On the Clock: Агентам LLM можно обеспечить соблюдение временного бюджета, но они плохо используют дополнительное время

В препринте arXiv:2610.10833v1 («On the Clock») изучается, могут ли небольшие LLM‑агенты (Qwen3.6‑27B и Qwen3‑4B) соблюсти заданный по часам временной бюджет и использовать дополнительное время для улучшения результата. Авторы проверяют механизмы хранилища (harness) с информацией о времени и принудительными дедлайнами, а также бюджет‑чувствительный RL (GRPO) на задачах MLE‑Bench Lite и Zork I (Jericho): передача информации о времени через хранилище улучшает соблюдение бюджета, GRPO достигает почти идеального соблюдения и обобщается на невидимые бюджеты в Zork I, но агенты по‑прежнему не используют дополнительное время для улучшения производительности и нередко повторяют действия или сводят стратегию к краткосрочной.

6.0

2026-10-09

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

StoreBench: среда live-commerce для обучения и оценки автономных операторных LLM-агентов

StoreBench — это среда обучения с подкреплением в формате live-commerce (arXiv:2610.10942v1), где агент управляет интернет-магазином одежды через те же 29 инструментов, что и человек-оператор. Среда проверяет дальнюю планировку и экономическое суждение в непрерывных стохастических условиях с калиброванными порогами прохождения и защищённой функцией вознаграждения; авторы протестировали семь современных LLM в нескольких сценариях (ни одна модель в среднем не дотягивает до скриптовой эвристики smart-triage), показали превосходство людей над моделями, зафиксировали значимое улучшение Qwen3.5-27B после GRPO дообучения на пяти задачах и опубликовали пять примеров обучающего набора, десять траекторий и инструменты оценки/верификации, при этом полная среда не разглашается.

7.0

2026-10-01

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

GAD-RL: адаптивная комбинированная дистилляция для повышения точности OCR

В статье (arXiv:2609.38282v1) предложен метод GAD-RL, который адаптивно включает и ослабляет учительскую дистилляцию при совместной дообучении для повышения верности OCR в визуально-языковых моделях. На Qwen3.5-2B GAD-RL отключает дистилляцию для групп откликов с высоким вознаграждением, взвешивает прямой KL по вероятности студента для топ‑токена учителя и достигает 59.92% Micro Recall на CHAOS-Bench (лучше GRPO и GRPO+OPD на 8.45 и 4.43 пункта) и Overall 91.18 на OmniDocBench v1.6.

6.0

2026-10-01

RESEARCH · 1 ИСТОЧН. · Apple Machine Learning Research

RLTL;DR — самоулучшение через интернализацию самостоятельно сгенерированной обратной связи

RLTL;DR — метод обучения с подкреплением, в котором после каждой неудачной попытки агент видит вывод проверяющей системы и записывает одно краткое TL;DR‑наблюдение; последующие прогоны условлены на накопленных наблюдениях, а обучение проводит обратное распространение через эти контекстные наблюдения для интернализации соответствия задача→наблюдение. На сложных наборах для вызова инструментов и кодирования, отфильтрованных до Pass@128 = 0, GRPO для Qwen 3.5 9B демонстрирует Pass@1 ≈ 0–1%, тогда как RLTL;DR даёт Pass@1 = 14–31% при наличии наблюдений в контексте во время обучения и 12–13% при оценке без наблюдений; упрощённая версия SFTL;DR, обученная только на 4k пар (задача, наблюдение), почти восстанавливает полную производительность, что указывает на компактную парадигму обучения «имей это в виду».

8.0

2026-09-25

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

DEEPO: оптимизация политики с двойной энтропией для уменьшения галлюцинаций в MLLM

Статья (arXiv:2609.28570v1) предлагает DEEPO — двухэтапное улучшение RL для мультимодальных LLM, которое сочетает префиксы-эксперты, срабатывающие при высокой семантической энтропии, для восстановления дисперсии преимущества, и преобусловливание Реньи по знаку преимущества для борьбы с насыщением логитов. Обе компоненты отдельно превосходят GRPO, а вместе дают статистически значимое улучшение на VideoMMMU (+4.0, 95% CI [1.1, 6.9]); DEEPO снижает галлюцинации без потери точности и стабильности обучения.

6.0

2026-09-25

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Оценка по‑шаговых преимуществ через графы траекторий (GRAFT)

В препринте (v1) авторы показывают системную смещённость у групповых методов RL (например, GRPO) при по‑шаговой оценке преимуществ в многошаговых/агентных задачах и предлагают GRAFT — фреймворк для по‑шаговой атрибуции на графе траекторий: сведение всех прогонов в граф, восстановление значений состояний узлов через итерацию Беллмана и распределение кредита по разнице значений между узлами. Также предложен Graph GAE (расширение GAE для графа траекторий); авторы сообщают стабильные улучшения над GRPO и другими алгоритмами и указывают на выкладку кода в GitHub.

6.0

2026-09-25

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

AlphaDiverse: пост-тренировка локальных исследовательских агентов для разнообразного поиска альфа-факторов (arXiv:2609.29014v1)

AlphaDiverse — это фреймворк для LLM-ориентированных многoагентных исследований альфа-факторов, который формирует разнообразные следы исследований через варьирование планов и сред, затем подготавливает локальные агенты Planner и Realizer супервизированной дообучкой и совместной оптимизацией методом GRPO. Обратная связь ограничивается внутренним периодом, а финальная замороженная модель оценивается на внешнем периоде без подстройки под тест, эксперименты на четырёх китайских рынках показывают конкурентную предсказательную способность и более широкую эксплорацию.

6.0

2026-09-25

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

SLCA-GRPO: присвоение кредитов по сегментам для RL с вызовами инструментов (arXiv:2609.29050v1)

В статье предлагается SLCA-GRPO — подход с присвоением кредитов по сегментам (SLCA) и иерархическими наградами для устранения неправильного распределения кредитов между сегментами при RL с вызовами инструментов; также представлена симуляция SGLS для масштабируемой тренировки. На модели 7B SLCA-GRPO ускоряет сходимость и превосходит GRPO, ToolPO и RLTR: +2.53 п.п. в домене, +1.36 п.п. на BFCL и +9.15 п.п. на τ^2-Bench при тех же ресурсах (arXiv:2609.29050v1).

7.0

2026-09-25

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Privileged Self-Practice (PSP) для многошаговых LLM-агентов (arXiv:2609.29051v1)

В препринте на arXiv показан дефект на-политики самоструктурации (OPSD) для многошаговых агентов — модель становится уверенной, но без реальной информации, — и предложен метод Privileged Self-Practice (PSP). PSP сохраняет привилегированную информацию (PI) в подсказке/семплере: при неудачных откатах анализатор добавляет короткую инструкцию в контекст, задачу пересэмплируют и обучают по тому же GRPO-объективу; на AppWorld и SWE-bench Verified (с тремя студент-моделями) PSP стабильно опережает OPSD и обычный GRPO, повышая достижение целей задач до 65% на AppWorld и долю решённых задач до 61% на SWE-bench Verified.

7.0

2026-09-23

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

CounterCredit проверяет визуальные вызовы, снижая бесполезные просмотры и повышая качество VLM

В работе arXiv:2609.22910v1 предложен CounterCredit — метод, который для каждого возвращающего изображение вызова проверяет, был ли он действительно нужен и использован, вычисляя значение решения (ответ сразу vs. через визуальную ветку) и значение доказательства (сравнение возвращённой обрезки с случайными обрезками того же размера). При тех же исходных условиях CounterCredit обгоняет baseline с outcome-only GRPO: 89,5% на V*, 80,2% на HR-Bench-4K и 76,4% на HR-Bench-8K, снижает долю спurious-вызовов до ~31–36% и поднимает Qwen3-VL-8B с 75,4 до 80,8 в среднем.

7.0

2026-09-21

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

CoVer: награды на основе информационной выгоды и отбор разнообразных тестов для более надёжной генерации кода

В статье arXiv:2609.21208v1 предложен CoVer — единая GRPO-схема совместного обучения кодера и верификатора с наградой на основе информационной выгоды (взаимная информация с градуированной сигнализацией правильности) и трёхступенчатой фильтрацией тестов по разнообразию. Авторы сообщают улучшение one-shot pass@1 по сравнению с Qwen2.5-Instruct (+5.8 пункта при 7B, +7.1 пункта при 14B) на пяти бенчмарках и +3.5 пункта при интеграции в CodeT с 7B.

7.0

2026-09-03

MODELS · 1 ИСТОЧН. · Hugging Face

Дообучение модели на 350M для улучшения структурированных выводов за 100 шагов GRPO

Hugging Face опубликовала материал, описывающий процесс дообучения модели с 350 млн параметров для получения более качественных структурированных ответов за 100 шагов GRPO. В публикации изложены подход и рабочий процесс применения этой техники дообучения.

5.0