reinforcement learning (RL)

2026-10-21

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

SpaRLax: разреженная RL‑релаксация улучшает soft Chain-of-Thought рассуждения

В статье на arXiv (2610.27220v1) предложен SpaRLax — метод разреженной релаксации для RL‑подобного обучения soft Chain‑of‑Thought (soft‑CoT). SpaRLax применяет entmax для адаптивного управления разреженностью, что позволяет пропускать градиенты через soft‑токены во времени; авторы сообщают наивысший средний результат по сравнению с базовыми методами на девяти бенчмарках по рассуждению и показывают вклад адаптивной разреженности и суперпозиции soft‑токенов.

6.0

2026-10-15

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

SAT-RL: обучение больших языковых моделей взаимодействию с символьными решателями через reinforcement learning

В статье представлен SAT-RL — фреймворк на основе RL, обучающий большие языковые модели многошаговому взаимодействию с символьными решателями выполнимости (например, Z3). Метод использует синтетические данные с проверяемыми решениями, супервизированную подготовку на трассах с вызовами решателя и вознаграждения, учитывающие инструменты; авторы сообщают о заметных улучшениях на задачах логического вывода как в домене, так и вне него; код опубликован в указанном репозитории GitHub.

7.0

2026-10-07

MODELS · 1 ИСТОЧН. · Hugging Face

Специализированные модели Nemotron‑3 дообучены до золотого уровня на IOI 2026 и IMO 2026

Команды, начав с Nemotron 3, применили SFT, RL и цикл вывода (GenCorrect) для создания специализированных чекпоинтов. Nemotron-3-Ultra-CC набрал 535,4/600 в живом запуске IOI 2026 (неофициальный бенчмарк), а комбинированная система на IMO 2026 получила 30 из 42 баллов по оценке официальных проверяющих, превысив порог золота.

8.0

2026-09-25

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

DEEPO: оптимизация политики с двойной энтропией для уменьшения галлюцинаций в MLLM

Статья (arXiv:2609.28570v1) предлагает DEEPO — двухэтапное улучшение RL для мультимодальных LLM, которое сочетает префиксы-эксперты, срабатывающие при высокой семантической энтропии, для восстановления дисперсии преимущества, и преобусловливание Реньи по знаку преимущества для борьбы с насыщением логитов. Обе компоненты отдельно превосходят GRPO, а вместе дают статистически значимое улучшение на VideoMMMU (+4.0, 95% CI [1.1, 6.9]); DEEPO снижает галлюцинации без потери точности и стабильности обучения.

6.0

2026-09-18

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Композиционное рассуждение в LMs: асимметрия от разложенных к составным задачам после RL-посттренировки

В работе на arXiv предложена модель зависимостей для трёх уровней композиционности и изучено, как RL-посттренировка влияет на композиционную генерализацию языковых моделей. На детерминированных задачах со структурами данных исследователи обнаружили устойчивую асимметрию: обучение на разложенных навыках слабо переносится на составные задачи, тогда как обучение на составных задачах лучше переносится назад; приводится теоретическое объяснение, тесты на длину и структурные сдвиги и пилотное исследование с вызовом инструментов, показывающее предварительные признаки этой асимметрии в практических бенчмарках.

6.0

2026-09-15

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Планирование или обучение: надёжность и стоимость при обслуживании нескольких активов

В препринте на arXiv проведено эмпирическое сравнение методов планирования и обучения с подкреплением (RL) для обслуживания нескольких подшипников на основе данных до отказа. Исследование показывает, что планирование задаёт надёжность как жёсткое ограничение и даёт политики без отказов с затратами, слабо зависящими от штрафа за отказ, тогда как RL минимизирует ожидаемые затраты и часто жертвует профилактикой ради редких отказов (давая меньшие затраты при низких штрафах, но сохраняющиеся отказы даже при высоких штрафах); также рассмотрены приёмки для ограничения поведения (награждение, маскирование действий) и представлен единый протокол бенчмарка.

6.0