Amazon SageMaker AI внедряет встроенные concurrency sweep’ы для подбора размера эндпойнтов генеративного ИИ
Amazon описывает использование concurrency sweep’ов, встроенных в SageMaker AI Inference Recommendations, для тестирования эндпойнтов генеративного ИИ путём увеличения уровня одновременных запросов и измерения пропускной способности и задержек. В статье показано развертывание NVIDIA Nemotron-3 Nano 30B на ml.g7e.2xlarge с контейнером vLLM и запуск CreateAIBenchmarkJob (профиль нагрузки задаётся через CreateAIWorkloadConfig) для определения точки насыщения и оптимального размера инстансов.