Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #10911

PPO

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

4

RESEARCH · 1 ИСТОЧН. · Apple Machine Learning Research

Теоретические пределы согласования языковых моделей

В работе получены информационно-теоретические пределы улучшения награды при фиксированном бюджете KL-дивергенции для KL-регуляризованного согласования: закрытая форма, управляемая дивергентностью Джеффриса, и представление в виде ковариации по базовой модели, дающее практический оценщик. Показано, что разрыв при использовании прокси-наград (reward hacking) растёт с ошибкой в награде и при уменьшении KL-пени, доказано, что объединение наград (reward ensembling) уменьшает reward hacking, и эмпирически best-of-N почти достигает теоретического фронтира KL–награда, тогда как PPO и GRPO остаются существенно неоптимальными на задачах безопасности и суммирования.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Многоагентная AI-система (DRL + LLM) для планирования протонной терапии головы и шеи (arXiv:2610.29010v1)

В препринте на arXiv предложена составная AI-система, сочетающая сеть политики, обученную PPO, для генерации нескольких планов протонной PBS-терапии, и многоагентный LLM-слой для их конверсационного уточнения. Планирующий агент на базе Qwen3-14B (дообученный SFT и GRPO), чат-интерфейс и оценочный агент протестированы на 21 пациенте с опухолями головы и шеи (по 5 планов PPO на пациента; 50 планов выбрано для доработки по инструкциям); дообученная Qwen3-14B продемонстрировала улучшения в следовании инструкциям, извлечении информации и доменной аргументации, что привело к более клинически уместным компромиссам при доработке планов.

6.0

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker AI демонстрирует дообучение поисковых агентов с помощью многошагового RL (MTRL) на Qwen3.6-27B

В публикации Amazon описывает использование возможностей многошагового обучения с подкреплением (MTRL) в Amazon SageMaker AI для дообучения модели Qwen3.6-27B под поискового агента. Статья перечисляет возможности MTRL — бессерверное выполнение, модульный интерфейс агент–окружение, асинхронные роллауты, встроенные алгоритмы (PPO, CISPO, IS), наблюдаемость траекторий через MLflow и задачи оценки — и показывает пример с BM25 и векторным поиском для корпоративного поиска.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Механистический аудит самонаходящегося правила RL Disco103: когда история обучения — преимущество или обуза

В статье arXiv:2609.35897v1 выполнен первый причинно-реалистичный аудит самонаходящегося правила обновления для обучения с подкреплением (Disco103). Путём прицельного закрепления, заморозки и трансплантации рекуррентных состояний при фиксированных метапараметрах авторы выделяют три результата: история расширяет применимые шкалы вознаграждения (шестидесятилетнее окно против трёх при нулевом закреплении), штрафы за несовпадающую историю связаны с постоянным «зажатием» — что ослабевает, если импортированному состоянию разрешить развиваться, и контроль удержания реплея может обратить кажущееся преимущество адаптации над DQN в условиях смены среды; результаты подтверждены на втором правиле (OPEN).

7.0