РЕЛИЗ · COMPANIES · #657
NVIDIA представляет AIPerf — мультипроцессный инструмент для бенчмаркинга LLM
NVIDIA AIPerf заменяет GenAI-Perf полностью переработанной мультипроцессной архитектурой, чтобы исключить узкие места на стороне клиента при нагрузочном тестировании инференса LLM. Инструмент поддерживает более 15 типов endpoint, публичные наборы данных и форматы воспроизведения трейсoв (ShareGPT, Mooncake, Baseten, WEKA/AgentX), настраиваемые шаблоны загрузки и выводит метрики TTFT, ITL, перцентильные задержки и телеметрию GPU при наличии DCGM или pynvml.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- NVIDIA AIPerf заменяет GenAI-Perf полностью переработанной мультипроцессной архитектурой, чтобы исключить узкие места на стороне клиента при нагрузочном тестировании инференса LLM.
- Инструмент поддерживает более 15 типов endpoint, публичные наборы данных и форматы воспроизведения трейсoв (ShareGPT, Mooncake, Baseten, WEKA/AgentX), настраиваемые шаблоны загрузки и выводит метрики TTFT, ITL, перцентильные задержки и телеметрию GPU при наличии DCGM или pynvml.
- AIPerf повышает точность бенчмаркинга инференса LLM, устраняя ограничения клиента (GIL/однопроцессную архитектуру) и добавляя воспроизведение нагрузок и телеметрию для измерений в производственных условиях.
ПОЧЕМУ ЭТО ВАЖНО
AIPerf повышает точность бенчмаркинга инференса LLM, устраняя ограничения клиента (GIL/однопроцессную архитектуру) и добавляя воспроизведение нагрузок и телеметрию для измерений в производственных условиях.