ИНВЕСТИЦИИ · COMPANIES · #3727
Datadog добавляет Online Experiments в Agent Observability для тестирования агентов на прод-трафике
Datadog расширил платформу Agent Observability возможностью Online Experiments, позволяющей сравнивать версии агентов на реальном продакшн‑трафике и сопоставлять оценки качества с операционными метриками (задержки, расход токенов, стоимость, ошибки). По данным InfoQ, при испытании GPT-5.6 Luna и GPT-6 Luna Datadog зафиксировал заявленное снижение оценочной стоимости на 44,3% у новой модели, но также обнаружил признаки увеличения времени выполнения и более частых неверных параметров инструментов в трассах.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Datadog расширил платформу Agent Observability возможностью Online Experiments, позволяющей сравнивать версии агентов на реальном продакшн‑трафике и сопоставлять оценки качества с операционными метриками (задержки, расход токенов, стоимость, ошибки).
- По данным InfoQ, при испытании GPT-5.6 Luna и GPT-6 Luna Datadog зафиксировал заявленное снижение оценочной стоимости на 44,3% у новой модели, но также обнаружил признаки увеличения времени выполнения и более частых неверных параметров инструментов в трассах.
- Объединение контролируемых A/B‑экспериментов, продакшн‑телеметрии и трассировок помогает выявлять регрессии и компромиссы, которые офлайн‑тесты могут не показать в реальных условиях.
ПОЧЕМУ ЭТО ВАЖНО
Объединение контролируемых A/B‑экспериментов, продакшн‑телеметрии и трассировок помогает выявлять регрессии и компромиссы, которые офлайн‑тесты могут не показать в реальных условиях.