ИНВЕСТИЦИИ · MODELS · #3559
Развертывание NVIDIA NeMo Switchyard (switchyard-server 0.3.0) с LiteLLM v1.102.0 для маршрутизации запросов в Amazon Bedrock через AWS CDK
В примере показано, как с помощью AWS CDK развернуть LiteLLM (v1.102.0) с плагином NVIDIA NeMo Switchyard (switchyard-server 0.3.0) на Amazon ECS/Fargate и направлять запросы агентов к моделям через Amazon Bedrock. Описаны стратегии Switchyard (stage и random), прохождение запросов через VPC-интерфейс Bedrock Converse и инструменты для измерения стоимости за решённую задачу; интеграция экспериментальная и предназначена для оценки, а не для production.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В примере показано, как с помощью AWS CDK развернуть LiteLLM (v1.102.0) с плагином NVIDIA NeMo Switchyard (switchyard-server 0.3.0) на Amazon ECS/Fargate и направлять запросы агентов к моделям через Amazon Bedrock.
- Описаны стратегии Switchyard (stage и random), прохождение запросов через VPC-интерфейс Bedrock Converse и инструменты для измерения стоимости за решённую задачу; интеграция экспериментальная и предназначена для оценки, а не для production.
- Это даёт конкретный пример с версиями для маршрутизации многошаговых запросов кодирующих агентов между дешёвыми и мощными моделями в Amazon Bedrock и измерения стоимости на решённую задачу, что важно для оптимизации затрат.
ПОЧЕМУ ЭТО ВАЖНО
Это даёт конкретный пример с версиями для маршрутизации многошаговых запросов кодирующих агентов между дешёвыми и мощными моделями в Amazon Bedrock и измерения стоимости на решённую задачу, что важно для оптимизации затрат.