ГАЙД · CODING · #1288
Руководство NVIDIA: трассировка запусков Hermes Agent с NeMo Relay и просмотр ATOF/ATIF/OpenTelemetry
NVIDIA опубликовала руководство по использованию NeMo Relay как единой системы наблюдения за выполнением агентов: Hermes Agent генерирует ATOF-события, ATIF-траектории и OpenTelemetry-спаны, которые можно просматривать в Arize Phoenix; репозиторий содержит примеры, верификаторы и инструкции по настройке. В кейс-стади Hermes ToolPerf сравнивал базовую и исправленную версии harness на повторных запусках и показал, что Qwen Coder 30B восстановил больше задач, но увеличил количество вызовов, объём данных и задержки.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- NVIDIA опубликовала руководство по использованию NeMo Relay как единой системы наблюдения за выполнением агентов: Hermes Agent генерирует ATOF-события, ATIF-траектории и OpenTelemetry-спаны, которые можно просматривать в Arize Phoenix; репозиторий содержит примеры, верификаторы и инструкции по настройке.
- В кейс-стади Hermes ToolPerf сравнивал базовую и исправленную версии harness на повторных запусках и показал, что Qwen Coder 30B восстановил больше задач, но увеличил количество вызовов, объём данных и задержки.
- Структурированные трассы NeMo Relay дают разработчикам и оценщикам возможность исследовать вызовы моделей/инструментов, диагностировать неэффективности и измерять влияние изменений harness для надёжности, безопасности и управления.
ПОЧЕМУ ЭТО ВАЖНО
Структурированные трассы NeMo Relay дают разработчикам и оценщикам возможность исследовать вызовы моделей/инструментов, диагностировать неэффективности и измерять влияние изменений harness для надёжности, безопасности и управления.