ИНВЕСТИЦИИ · COMPANIES · #2506
Практическое руководство: многошаговое обучение с подкреплением (MTRL) в Amazon SageMaker AI с AgentCore
Amazon опубликовала практическое руководство по многошаговому обучению с подкреплением (MTRL) в SageMaker AI, в котором агент, размещённый в Amazon Bedrock AgentCore (или в инфраструктуре пользователя), вызывает обучаемую полиси-модель и возвращает награду по эпизоду. В статье показан полный конвейер (развёртывание, подготовка данных, обучение LoRA с GRPO, мониторинг в MLflow, оценка), в качестве примера использована Wordle; авторы утверждают, что GPT-OSS-20B поднялся с 61% до 84% решаемости (и с 15% до 69% при низкой вычислительной затрате) примерно за $339 на токены, код доступен в aws-samples репозитории.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Amazon опубликовала практическое руководство по многошаговому обучению с подкреплением (MTRL) в SageMaker AI, в котором агент, размещённый в Amazon Bedrock AgentCore (или в инфраструктуре пользователя), вызывает обучаемую полиси-модель и возвращает награду по эпизоду.
- В статье показан полный конвейер (развёртывание, подготовка данных, обучение LoRA с GRPO, мониторинг в MLflow, оценка), в качестве примера использована Wordle; авторы утверждают, что GPT-OSS-20B поднялся с 61% до 84% решаемости (и с 15% до 69% при низкой вычислительной затрате) примерно за $339 на токены, код доступен в aws-samples репозитории.
- Позволяет безсерверно и на основе результата дообучать полиси-модели для многошаговых агентных задач (без меток для каждого шага) в SageMaker AI и даёт конкретные данные по затратам и производительности вместе с воспроизводимым кодом.
ПОЧЕМУ ЭТО ВАЖНО
Позволяет безсерверно и на основе результата дообучать полиси-модели для многошаговых агентных задач (без меток для каждого шага) в SageMaker AI и даёт конкретные данные по затратам и производительности вместе с воспроизводимым кодом.