Развёртывание decision‑моделей на llama.cpp в Amazon SageMaker AI с AWS DLC и SemIf
AWS опубликовала руководство по использованию AWS Deep Learning Container (DLC) для llama.cpp, чтобы обслуживать OpenAI‑совместимые chat‑completion через SageMaker InvokeEndpoint, а также по расширению образа SemIf (ранее OpenJev) для возврата вероятностей и логитов для структурированных задач принятия решений. В материале описаны варианты развёртывания на CPU и GPU, сборка дочернего образа через CodeBuild/ECR для SemIf и бенчмарк сравнения задержек на CPU и GPU.