Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #13532

LiteLLM

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

4

MODELS · 1 ИСТОЧН. · AWS Machine Learning

Развертывание NVIDIA NeMo Switchyard (switchyard-server 0.3.0) с LiteLLM v1.102.0 для маршрутизации запросов в Amazon Bedrock через AWS CDK

В примере показано, как с помощью AWS CDK развернуть LiteLLM (v1.102.0) с плагином NVIDIA NeMo Switchyard (switchyard-server 0.3.0) на Amazon ECS/Fargate и направлять запросы агентов к моделям через Amazon Bedrock. Описаны стратегии Switchyard (stage и random), прохождение запросов через VPC-интерфейс Bedrock Converse и инструменты для измерения стоимости за решённую задачу; интеграция экспериментальная и предназначена для оценки, а не для production.

5.0

CODING · 1 ИСТОЧН. · AWS Machine Learning

Создание самообслуживаемого шлюза LLM с Amazon Bedrock и LiteLLM

Инструктивный материал описывает шаблон, где LiteLLM (на AWS Fargate) выставляет OpenAI-совместимый API, проксирующий модели Amazon Bedrock и обеспечивающий пользовательские API-ключи, контроль затрат и наблюдаемость через CloudWatch и Langfuse. В руководстве есть примеры с AWS CDK, используются модели Claude Sonnet и Claude Haiku, а также описаны конфигурации хранения, кэширования и IAM для продакшн-топологии.

5.0

CODING · 1 ИСТОЧН. · AWS Machine Learning

Amazon опубликовала «Pluggable Agentic AI Framework» — семиуровневую референс-архитектуру для Bedrock AgentCore

Amazon опубликовала материал о Pluggable Agentic AI Framework — семиуровневой составной референс-архитектуре для промышленного запуска мультиагентных приложений на Amazon Bedrock AgentCore. Архитектура описывает отдельные слои (данные и знания, модель и инференс, оркестрация, реестр агентов и др.), протоколы MCP и A2A и приводит примеры компонентов: Vector Engine для OpenSearch Serverless, S3 Vectors, DynamoDB, LiteLLM и Strands Agents.

6.0

CODING · 1 ИСТОЧН. · InfoQ AI, ML & Data Engineering

InfoQ: Руководство по платформенной инженерии для production LLM

InfoQ публикует руководство по платформенной инженерии на примере системы рекомендаций для учёта запасов в ритейле, где уровень галлюцинаций снизили примерно с 15% до 1,5% без замены фаундейшн-модели, применив платформенные меры (автоматические циклы повторов, валидация намерений, реестр подсказок, авторизация инструментов и кастомная телеметрия). В статье есть сопроводительный репозиторий на GitHub с запускаемыми примерами — локальная llama3.1 через Ollama и LiteLLM — и обсуждение маршрутизации через модели вроде Gemini и GPT в корпоративном трафике.

7.0