Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #198

AWS

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

65

MODELS · 1 ИСТОЧН. · AWS Machine Learning

AWS представляет 8-шаговую схему кастомизации генеративного ИИ — от промптов до кастомных моделей

AWS Machine Learning опубликовал статью с 8‑шаговой схемой принятия решений для выбора подхода к кастомизации генеративного ИИ на AWS, включая промпт‑инжиниринг, RAG, дообучение, продолженное предобучение и Amazon Nova Forge, с рекомендацией начинать с простых методов и переходить к сложным только при необходимости.

6.0

CODING · 1 ИСТОЧН. · AWS Machine Learning

Мониторинг жизненного цикла продакшн-агентов с Amazon Bedrock AgentCore Evaluations и AWS DevOps Agent

Пост в блоге AWS Machine Learning описывает двухслойный подход к мониторингу продакшн-мультиагентных систем: Amazon Bedrock AgentCore Evaluations для непрерывной оценки качества агентов и AWS DevOps Agent для автономного расследования проблем инфраструктуры. Подход показан на системе бронирования авиабилетов с четырьмя агентами.

6.0

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker Inference добавляет маршрутизацию по префиксу для снижения задержки LLM

Amazon SageMaker Inference теперь поддерживает маршрутизацию по префиксу — стратегия, которая направляет запросы с одинаковым префиксом подсказки на один и тот же экземпляр, чтобы KV-кеш оставался «тёплым». В бенчмарках на Llama 3.1 70B это снизило P50 time-to-first-token до 77% и увеличило попадания в KV-кеш примерно с 25% до более 80%.

7.0

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

Amazon SageMaker HyperPod добавляет кеширование моделей для сокращения cold start при инференсе

Amazon SageMaker HyperPod теперь поддерживает кеширование моделей для инференса: веса моделей и контейнерные образы можно предварительно загрузить на локальное NVMe‑хранилище узлов кластера, чтобы поды читали их локально, а не скачивали по сети. AWS утверждает, что это сокращает cold start с десятков минут до секунд; в анонсе описано, как это работает и как включить.

7.0

MODELS · 1 ИСТОЧН. · AWS Machine Learning

AvioBook прототипирует Connected Analytics на Amazon Bedrock AgentCore для объяснения задержек при оборотах рейсов

AvioBook, компания группы Thales, создала прототип Connected Analytics на базе Amazon Bedrock AgentCore, который преобразует операционные данные AvioBook Connect в понятные, основанные на доказательствах ответы для менеджеров авиакомпаний и диспетчеров. Прототип призван помочь пользователям выявлять и устранять причины задержек при обороте рейсов.

4.0