НОВОСТЬ · COMPANIES · #800
Amazon SageMaker AI внедряет встроенные concurrency sweep’ы для подбора размера эндпойнтов генеративного ИИ
Amazon описывает использование concurrency sweep’ов, встроенных в SageMaker AI Inference Recommendations, для тестирования эндпойнтов генеративного ИИ путём увеличения уровня одновременных запросов и измерения пропускной способности и задержек. В статье показано развертывание NVIDIA Nemotron-3 Nano 30B на ml.g7e.2xlarge с контейнером vLLM и запуск CreateAIBenchmarkJob (профиль нагрузки задаётся через CreateAIWorkloadConfig) для определения точки насыщения и оптимального размера инстансов.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Amazon описывает использование concurrency sweep’ов, встроенных в SageMaker AI Inference Recommendations, для тестирования эндпойнтов генеративного ИИ путём увеличения уровня одновременных запросов и измерения пропускной способности и задержек.
- В статье показано развертывание NVIDIA Nemotron-3 Nano 30B на ml.g7e.2xlarge с контейнером vLLM и запуск CreateAIBenchmarkJob (профиль нагрузки задаётся через CreateAIWorkloadConfig) для определения точки насыщения и оптимального размера инстансов.
- Это автоматизирует стандартизованные нагрузочные тесты и помогает командам найти точку насыщения на инстанс, чтобы оптимально подобрать кластер для лучшего соотношения цена/производительность при соблюдении SLA по задержкам.
ПОЧЕМУ ЭТО ВАЖНО
Это автоматизирует стандартизованные нагрузочные тесты и помогает командам найти точку насыщения на инстанс, чтобы оптимально подобрать кластер для лучшего соотношения цена/производительность при соблюдении SLA по задержкам.