Развертывание NVIDIA NeMo Switchyard (switchyard-server 0.3.0) с LiteLLM v1.102.0 для маршрутизации запросов в Amazon Bedrock через AWS CDK
В примере показано, как с помощью AWS CDK развернуть LiteLLM (v1.102.0) с плагином NVIDIA NeMo Switchyard (switchyard-server 0.3.0) на Amazon ECS/Fargate и направлять запросы агентов к моделям через Amazon Bedrock. Описаны стратегии Switchyard (stage и random), прохождение запросов через VPC-интерфейс Bedrock Converse и инструменты для измерения стоимости за решённую задачу; интеграция экспериментальная и предназначена для оценки, а не для production.