Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

НОВОСТЬ · COMPANIES · #3880

Airbnb использует стоимость за задачу и метрики CloudWatch для запуска кодирующих агентов AirChat на Amazon Bedrock

Airbnb направляет внутренние кодирующие агенты (AirChat и AirChat Remote) через LLM-шлюз в Amazon Bedrock и оценивает модели с помощью задачевых эвалюаций, которые дают оценку и стоимостb выполнения задачи по прайс-листу. Производственный мониторинг в Amazon CloudWatch (латентность, подсчёт токенов, троттлинг, EstimatedTPMQuotaUsage) сравнивается с результатами эвалюаций для выбора моделей по умолчанию, ограничения усилий и диагностики изменений в задержках, троттлинге и расходах.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Airbnb направляет внутренние кодирующие агенты (AirChat и AirChat Remote) через LLM-шлюз в Amazon Bedrock и оценивает модели с помощью задачевых эвалюаций, которые дают оценку и стоимостb выполнения задачи по прайс-листу.
  2. Производственный мониторинг в Amazon CloudWatch (латентность, подсчёт токенов, троттлинг, EstimatedTPMQuotaUsage) сравнивается с результатами эвалюаций для выбора моделей по умолчанию, ограничения усилий и диагностики изменений в задержках, троттлинге и расходах.
  3. Это демонстрирует практический подход к производственному использованию LLM: сочетание эвалюаций с учётом стоимости за задачу и наблюдаемости в CloudWatch на Amazon Bedrock помогает контролировать задержки, мощность и расходы.

ПОЧЕМУ ЭТО ВАЖНО

Это демонстрирует практический подход к производственному использованию LLM: сочетание эвалюаций с учётом стоимости за задачу и наблюдаемости в CloudWatch на Amazon Bedrock помогает контролировать задержки, мощность и расходы.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1