Создание самообслуживаемого шлюза LLM с Amazon Bedrock и LiteLLM
Инструктивный материал описывает шаблон, где LiteLLM (на AWS Fargate) выставляет OpenAI-совместимый API, проксирующий модели Amazon Bedrock и обеспечивающий пользовательские API-ключи, контроль затрат и наблюдаемость через CloudWatch и Langfuse. В руководстве есть примеры с AWS CDK, используются модели Claude Sonnet и Claude Haiku, а также описаны конфигурации хранения, кэширования и IAM для продакшн-топологии.