Amazon SageMaker

2026-09-18

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker запускает HyperPod Inference Gateway для маршрутизации LLM с учётом GPU

Amazon представила HyperPod Inference Gateway для SageMaker — Kubernetes-нативный аддон для EKS, который использует реальные показатели GPU (использование KV-кэша, глубина очереди, наличие LoRA и т.д.) для маршрутизации OpenAI-совместимых запросов, снижая задержку первого токена и простои GPU без изменений в приложениях. Система имеет двухуровневую архитектуру с локальным интеллектуальным роутингом и координацией между кластерами и интегрируется через единый ресурс InferenceGatewayConfig с метриками в Prometheus/CloudWatch.

7.0

2026-09-15

MODELS · 1 ИСТОЧН. · AWS Machine Learning

Инструкция: кастомизация Qwen3-8B на SageMaker serverless для системы тегирования товаров на базе ИИ

AWS Machine Learning опубликовал инструкцию по кастомизации Qwen3-8B с помощью supervised fine-tuning (SFT) и reinforcement learning with verifiable rewards (RLVR) через серверлес-кастомизацию моделей Amazon SageMaker и последующему развертыванию для асинхронного инференса с целью создания экономичной системы тегирования товаров.

5.0

2026-09-15

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker AI добавляет списки предпочтений инстансов для задач обучения и обработки

Amazon SageMaker AI теперь поддерживает списки предпочтений инстансов для задач обучения и обработки. Можно указать упорядоченный список из до пяти типов инстансов, и SageMaker AI автоматически запустит первый доступный тип, избавляя от ручных циклов повторных попыток и скриптов для отслеживания доступности.

6.0

2026-09-10

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker HyperPod добавляет кеширование моделей для сокращения cold start при инференсе

Amazon SageMaker HyperPod теперь поддерживает кеширование моделей для инференса: веса моделей и контейнерные образы можно предварительно загрузить на локальное NVMe‑хранилище узлов кластера, чтобы поды читали их локально, а не скачивали по сети. AWS утверждает, что это сокращает cold start с десятков минут до секунд; в анонсе описано, как это работает и как включить.

7.0