Amazon SageMaker

2026-10-29

CODING · 1 ИСТОЧН. · AWS Machine Learning

AWS Batch добавляет управление квотами для совместного использования GPU в Amazon SageMaker Training (SageMaker Python SDK v3)

AWS Batch представил механизм управления квотами для задач Amazon SageMaker Training, позволяющий администраторам задавать квотные доли для команд или проектов и настраивать стратегии совместного использования ресурсов (RESERVE, LEND, LEND_AND_BORROW). Функция поддерживает кросс-долевую предпросацию (cross-share preemption) для возврата занятых ресурсов и приоритетную in-share предпросацию, интегрируется через Scheduling Policy, Service Environment, Job Queue и примеры в SageMaker Python SDK v3.

6.0

2026-10-27

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker добавляет SOCI-индексированные образы для ускорения обучений и задач обработки

Amazon объявил о поддержке индексации Seekable OCI (SOCI) в задачах обучения и обработки AI в SageMaker. SOCI позволяет ленивую загрузку образов в Amazon ECR (можно использовать заранее проиндексированные AWS Deep Learning Container или добавить индекс к своему образу): SageMaker загружает только файлы, необходимые для запуска контейнера, а остальное стримит по мере обращения, что в бенчмарках AWS сократило время старта до нескольких секунд (измеренные ускорения загрузки примерно 8x–46x, около 34x для образа 13.2 ГБ) и привело к снижению простоя GPU до 90%, без изменений в определениях задач и с автоматическим откатом к стандартной загрузке.

7.0

2026-10-23

CODING · 1 ИСТОЧН. · AWS Machine Learning

Конструкт CDK оркестрирует авто масштабирование SageMaker при обновлениях endpoint

AWS описывает переиспользуемый конструкт для AWS CDK, который заменяет стандартные ресурсы Application Auto Scaling тремя кастомными ресурсами CloudFormation, чтобы снять и затем заново зарегистрировать авто масштабирование вокруг обновлений реального endpoint SageMaker. Подход (Deregister, обновление endpoint, Register Scalable Target, Attach Scaling Policy) использует асинхронные обработчики кастомных ресурсов, ConfigHash для принудительного повторного вызова и вспомогательные Lambda/Step Functions, позволяя обновлять конфигурацию endpoint и параметры масштабирования в одном деплое без ручных действий и сломанных стеков CloudFormation.

6.0

2026-10-22

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker AI добавляет API training session для запуска пользовательских циклов обучения на управляемых GPU

Amazon выпустила API training session в SageMaker, позволяющие разработчикам писать пользовательские циклы обучения (SFT, RL, оптимизация предпочтений и др.), при этом SageMaker управляет вычислениями на GPU, распределением, чекпоинтами и восстановлением. Функция включает три клиента в SageMaker Python SDK, OpenAI-совместимый endpoint для выборки и опубликованный набор рецептов (cookbook) с примерами на GSM8K и с использованием LoRA.

7.0

2026-10-21

MODELS · 1 ИСТОЧН. · Cohere

Cohere выпускает Rerank 5 Pro и Fast — покомпонентное (passage-level) ранжирование для корпоративного поиска

Cohere представила Rerank 5 (Pro и Fast) — новую генерацию моделей ранжирования, возвращающую релевантность на уровне фрагментов текста (Context Focus), чтобы снизить токен‑затраты LLM и повысить качество поиска в агентных и корпоративных задачах. Rerank 5 доступен через Cohere API, Model Vault, Microsoft Foundry, Amazon SageMaker и для частных развёртываний; по данным Cohere, Pro лидирует на публичных бенчмарках (ViDoRe V3, nanoMTEB, BRIGHT, BEIR), а Fast оптимизирован под стоимость и задержку; цена API указана $0.05/1M токенов (Pro) и $0.02/1M токенов (Fast).

7.0

2026-10-19

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Новый вход AWS позволяет новым пользователям сразу попасть в Amazon SageMaker Studio с $100 кредитами

AWS теперь позволяет новым пользователям создать аккаунт через Google, GitHub, Apple, Amazon или по электронной почте и сразу оказаться в полностью настроенной среде Amazon SageMaker Studio; новым аккаунтам положены $100 в рамках Free Tier (с возможностью дополнительно получить ещё $100). Новый способ входа доступен только для новых аккаунтов AWS и включает ранее представленные улучшения — создание среды за ~20 секунд, преднастроенные права, глубокие ссылки из Hugging Face и доступ к GPU G5/G6/G4dn для подходящих аккаунтов.

6.0

2026-10-19

MODELS · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker JumpStart расширил каталог — более 100 моделей от 30 поставщиков (янв–сент 2026)

Amazon SageMaker JumpStart, хаб моделей внутри SageMaker, с января по сентябрь 2026 года добавил более 100 моделей от 30 поставщиков, включая Alibaba (Qwen), NVIDIA (Cosmos3, Nemotron), Mistral, Google (Gemma 4), IBM (Granite), Cohere и других. JumpStart продолжает предоставлять поиск и оценку моделей, одно‑нажатийную развёртку и настройку через консоль/SDK (LoRA, SFT, DPO, RLVR) и доступен через SageMaker Studio, Python SDK и интеграцию Hugging Face.

7.0

2026-10-13

CODING · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker описывает оптимизацию fused-MoE кернелов с учётом ограничений WGMMA на NVIDIA Hopper

Инженеры Amazon SageMaker описывают оптимизации на уровне кернелов для fused Mixture-of-Experts (MoE), сосредоточенные на узких местах производительности из-за WGMMA-инструкции NVIDIA Hopper, фиксирующей размерность M равной 64. В материале объясняется, как рабочие нагрузки на этапе декодирования (часто M=1) в сочетании с большим N у fused MoE (например, topk=8 объединяет многих экспертов) создают асимметрию форм операндов и недогружают Tensor Core, а также приведены реализованные оптимизации и их эффект на примере модели.

7.0

2026-10-06

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Управление Amazon SageMaker HyperPod Spaces прямо из SageMaker Studio

AWS добавила поддержку управления SageMaker Spaces на кластерах HyperPod EKS через интерфейс SageMaker Studio, что позволяет дата‑сайентистам запускать JupyterLab или Code Editor и включать/останавливать Spaces без использования CLI. Администраторам нужно установить дополнение SageMaker Spaces на HyperPod, прикрепить необходимые IAM‑политики и включить per-user identity propagation для домена Studio.

6.0

2026-10-05

CODING · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker выпустил навык aws-ai-ml для оптимизации инференса

Amazon представил навык aws-ai-ml, доступный через Agent Toolkit for AWS, который подключается к совместимым с MCP агентам (например, Kiro, Claude Code, Codex) для бенчмаркинга эндпойнтов SageMaker, рекомендаций по развертыванию, сравнения прогонов по производительности и генерации исполняемого кода SageMaker Python SDK v3. Навык работает локально через Agent Toolkit или в Amazon SageMaker Studio JupyterLab и требует учётных данных AWS с правами вызова API SageMaker.

6.0

2026-09-25

MODELS · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker JumpStart обеспечивает развёртывание Qwen3-TTS-12Hz-1.7B-Base в режиме реального времени для клонирования голоса

Amazon описывает, как развернуть общедоступную модель синтеза речи Qwen3-TTS-12Hz-1.7B-Base из SageMaker JumpStart на полностью управляемом эндпойнте для инференса в реальном времени с помощью SageMaker Python SDK; модель поддерживает клонирование голоса по короткой эталонной записи, кроссъязыковую генерацию на десяти языках, стриминг и мониторинг через CloudWatch. В публикации подчёркиваются преимущества: контроль данных в аккаунте AWS, выравнивание затрат по расходу вычислений и применения в локализации, персонализированных ассистентах и электронном обучении.

6.0

2026-09-22

STARTUPS · 1 ИСТОЧН. · The Decoder

«Biological Computing» предлагает нейронный Neural Dynamics Adapter через AWS

Сан‑франциский стартап The Biological Computing Co. (TBC) заявляет о малом проприетарном программном модуле — Neural Dynamics Adapter — созданном на основе измерений культур кортикальных нейронов, который встраивается в открытые диффузионные видео‑модели; TBC и Amazon Web Services планируют предлагать модель с адаптером на Trainium и через SageMaker/AWS Marketplace, но на данный момент доступен только реестр раннего доступа. По пресс‑релизу и тестам на модели Oasis (Minecraft) адаптер (~156k параметров, <0.1% от размера базовой модели) якобы лучше сохраняет детали кадра и обеспечивает до 5× быстрее генерацию и ≈80% меньшую стоимость инференса по сравнению с неназванной базовой моделью, но базовая модель не раскрывается, а коммерческое предложение ещё не запущено.

6.0

2026-09-18

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker запускает HyperPod Inference Gateway для маршрутизации LLM с учётом GPU

Amazon представила HyperPod Inference Gateway для SageMaker — Kubernetes-нативный аддон для EKS, который использует реальные показатели GPU (использование KV-кэша, глубина очереди, наличие LoRA и т.д.) для маршрутизации OpenAI-совместимых запросов, снижая задержку первого токена и простои GPU без изменений в приложениях. Система имеет двухуровневую архитектуру с локальным интеллектуальным роутингом и координацией между кластерами и интегрируется через единый ресурс InferenceGatewayConfig с метриками в Prometheus/CloudWatch.

7.0

2026-09-15

MODELS · 1 ИСТОЧН. · AWS Machine Learning

Инструкция: кастомизация Qwen3-8B на SageMaker serverless для системы тегирования товаров на базе ИИ

AWS Machine Learning опубликовал инструкцию по кастомизации Qwen3-8B с помощью supervised fine-tuning (SFT) и reinforcement learning with verifiable rewards (RLVR) через серверлес-кастомизацию моделей Amazon SageMaker и последующему развертыванию для асинхронного инференса с целью создания экономичной системы тегирования товаров.

5.0

2026-09-15

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker AI добавляет списки предпочтений инстансов для задач обучения и обработки

Amazon SageMaker AI теперь поддерживает списки предпочтений инстансов для задач обучения и обработки. Можно указать упорядоченный список из до пяти типов инстансов, и SageMaker AI автоматически запустит первый доступный тип, избавляя от ручных циклов повторных попыток и скриптов для отслеживания доступности.

6.0

2026-09-10

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker HyperPod добавляет кеширование моделей для сокращения cold start при инференсе

Amazon SageMaker HyperPod теперь поддерживает кеширование моделей для инференса: веса моделей и контейнерные образы можно предварительно загрузить на локальное NVMe‑хранилище узлов кластера, чтобы поды читали их локально, а не скачивали по сети. AWS утверждает, что это сокращает cold start с десятков минут до секунд; в анонсе описано, как это работает и как включить.

7.0