НОВОСТЬ · COMPANIES · #3950
Amazon SageMaker добавляет интерфейс в Studio, интеграцию SDK v3.17.0 и поддержку LoRA для рекомендаций инференса
Amazon обновила рекомендации для инференса в SageMaker: добавлен низкокодовый интерфейс в SageMaker AI Studio, интеграция в SageMaker Python SDK v3.17.0+, бенчмаркинг на реальных GPU через NVIDIA AIPerf и явная поддержка адаптеров LoRA (как ARNs пакетов моделей или S3 URI). В анонсе также упомянуты расширения по сервингу и маршрутизации — управляемый NVIDIA Dynamo, Inference Gateway, обновления HyperPod Inference, мульти‑региональная/меж‑аккаунтная маршрутизация и интеграция в агентские навыки с возможностью сравнения LMI и vLLM.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Amazon обновила рекомендации для инференса в SageMaker: добавлен низкокодовый интерфейс в SageMaker AI Studio, интеграция в SageMaker Python SDK v3.17.0+, бенчмаркинг на реальных GPU через NVIDIA AIPerf и явная поддержка адаптеров LoRA (как ARNs пакетов моделей или S3 URI).
- В анонсе также упомянуты расширения по сервингу и маршрутизации — управляемый NVIDIA Dynamo, Inference Gateway, обновления HyperPod Inference, мульти‑региональная/меж‑аккаунтная маршрутизация и интеграция в агентские навыки с возможностью сравнения LMI и vLLM.
- Это расширяет возможности автоматического бенчмаркинга и развертывания оптимальных конфигураций инференса (включая адаптеры LoRA и мульти‑региональную маршрутизацию) в привычных инструментах разработчиков, что помогает снизить задержки/затраты и упростить решения при масштабировании.
ПОЧЕМУ ЭТО ВАЖНО
Это расширяет возможности автоматического бенчмаркинга и развертывания оптимальных конфигураций инференса (включая адаптеры LoRA и мульти‑региональную маршрутизацию) в привычных инструментах разработчиков, что помогает снизить задержки/затраты и упростить решения при масштабировании.