Amazon SageMaker AI добавляет автоматический мониторинг и рекомендации для inference-эндпоинтов
Amazon SageMaker AI теперь отслеживает inference-эндпоинты для генеративного ИИ (по умолчанию для контейнеров vLLM на GPU) и отмечает сдвиг задержек, неиспользуемую GPU-ёмкость и отсутствующие оптимизации сервинга. Уведомления приходят через AWS Health и открывают agentic-интерфейс в SageMaker Studio, где можно прогнать бенчмарки inference recommendations на отдельном вычислении и вручную применить изменения; мониторинг анализирует только операционные сигналы и не читает запросы или ответы.