Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

НОВОСТЬ · COMPANIES · #3950

Amazon SageMaker добавляет интерфейс в Studio, интеграцию SDK v3.17.0 и поддержку LoRA для рекомендаций инференса

Amazon обновила рекомендации для инференса в SageMaker: добавлен низкокодовый интерфейс в SageMaker AI Studio, интеграция в SageMaker Python SDK v3.17.0+, бенчмаркинг на реальных GPU через NVIDIA AIPerf и явная поддержка адаптеров LoRA (как ARNs пакетов моделей или S3 URI). В анонсе также упомянуты расширения по сервингу и маршрутизации — управляемый NVIDIA Dynamo, Inference Gateway, обновления HyperPod Inference, мульти‑региональная/меж‑аккаунтная маршрутизация и интеграция в агентские навыки с возможностью сравнения LMI и vLLM.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Amazon обновила рекомендации для инференса в SageMaker: добавлен низкокодовый интерфейс в SageMaker AI Studio, интеграция в SageMaker Python SDK v3.17.0+, бенчмаркинг на реальных GPU через NVIDIA AIPerf и явная поддержка адаптеров LoRA (как ARNs пакетов моделей или S3 URI).
  2. В анонсе также упомянуты расширения по сервингу и маршрутизации — управляемый NVIDIA Dynamo, Inference Gateway, обновления HyperPod Inference, мульти‑региональная/меж‑аккаунтная маршрутизация и интеграция в агентские навыки с возможностью сравнения LMI и vLLM.
  3. Это расширяет возможности автоматического бенчмаркинга и развертывания оптимальных конфигураций инференса (включая адаптеры LoRA и мульти‑региональную маршрутизацию) в привычных инструментах разработчиков, что помогает снизить задержки/затраты и упростить решения при масштабировании.

ПОЧЕМУ ЭТО ВАЖНО

Это расширяет возможности автоматического бенчмаркинга и развертывания оптимальных конфигураций инференса (включая адаптеры LoRA и мульти‑региональную маршрутизацию) в привычных инструментах разработчиков, что помогает снизить задержки/затраты и упростить решения при масштабировании.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1