Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИНВЕСТИЦИИ · COMPANIES · #3727

Datadog добавляет Online Experiments в Agent Observability для тестирования агентов на прод-трафике

Datadog расширил платформу Agent Observability возможностью Online Experiments, позволяющей сравнивать версии агентов на реальном продакшн‑трафике и сопоставлять оценки качества с операционными метриками (задержки, расход токенов, стоимость, ошибки). По данным InfoQ, при испытании GPT-5.6 Luna и GPT-6 Luna Datadog зафиксировал заявленное снижение оценочной стоимости на 44,3% у новой модели, но также обнаружил признаки увеличения времени выполнения и более частых неверных параметров инструментов в трассах.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Datadog расширил платформу Agent Observability возможностью Online Experiments, позволяющей сравнивать версии агентов на реальном продакшн‑трафике и сопоставлять оценки качества с операционными метриками (задержки, расход токенов, стоимость, ошибки).
  2. По данным InfoQ, при испытании GPT-5.6 Luna и GPT-6 Luna Datadog зафиксировал заявленное снижение оценочной стоимости на 44,3% у новой модели, но также обнаружил признаки увеличения времени выполнения и более частых неверных параметров инструментов в трассах.
  3. Объединение контролируемых A/B‑экспериментов, продакшн‑телеметрии и трассировок помогает выявлять регрессии и компромиссы, которые офлайн‑тесты могут не показать в реальных условиях.

ПОЧЕМУ ЭТО ВАЖНО

Объединение контролируемых A/B‑экспериментов, продакшн‑телеметрии и трассировок помогает выявлять регрессии и компромиссы, которые офлайн‑тесты могут не показать в реальных условиях.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1