Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИНВЕСТИЦИИ · MODELS · #3559

Развертывание NVIDIA NeMo Switchyard (switchyard-server 0.3.0) с LiteLLM v1.102.0 для маршрутизации запросов в Amazon Bedrock через AWS CDK

В примере показано, как с помощью AWS CDK развернуть LiteLLM (v1.102.0) с плагином NVIDIA NeMo Switchyard (switchyard-server 0.3.0) на Amazon ECS/Fargate и направлять запросы агентов к моделям через Amazon Bedrock. Описаны стратегии Switchyard (stage и random), прохождение запросов через VPC-интерфейс Bedrock Converse и инструменты для измерения стоимости за решённую задачу; интеграция экспериментальная и предназначена для оценки, а не для production.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. В примере показано, как с помощью AWS CDK развернуть LiteLLM (v1.102.0) с плагином NVIDIA NeMo Switchyard (switchyard-server 0.3.0) на Amazon ECS/Fargate и направлять запросы агентов к моделям через Amazon Bedrock.
  2. Описаны стратегии Switchyard (stage и random), прохождение запросов через VPC-интерфейс Bedrock Converse и инструменты для измерения стоимости за решённую задачу; интеграция экспериментальная и предназначена для оценки, а не для production.
  3. Это даёт конкретный пример с версиями для маршрутизации многошаговых запросов кодирующих агентов между дешёвыми и мощными моделями в Amazon Bedrock и измерения стоимости на решённую задачу, что важно для оптимизации затрат.

ПОЧЕМУ ЭТО ВАЖНО

Это даёт конкретный пример с версиями для маршрутизации многошаговых запросов кодирующих агентов между дешёвыми и мощными моделями в Amazon Bedrock и измерения стоимости на решённую задачу, что важно для оптимизации затрат.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1