Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #33928

NVIDIA NeMo Switchyard

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

MODELS · 1 ИСТОЧН. · AWS Machine Learning

Развертывание NVIDIA NeMo Switchyard (switchyard-server 0.3.0) с LiteLLM v1.102.0 для маршрутизации запросов в Amazon Bedrock через AWS CDK

В примере показано, как с помощью AWS CDK развернуть LiteLLM (v1.102.0) с плагином NVIDIA NeMo Switchyard (switchyard-server 0.3.0) на Amazon ECS/Fargate и направлять запросы агентов к моделям через Amazon Bedrock. Описаны стратегии Switchyard (stage и random), прохождение запросов через VPC-интерфейс Bedrock Converse и инструменты для измерения стоимости за решённую задачу; интеграция экспериментальная и предназначена для оценки, а не для production.

5.0