NVIDIA представляет AIPerf — мультипроцессный инструмент для бенчмаркинга LLM
NVIDIA AIPerf заменяет GenAI-Perf полностью переработанной мультипроцессной архитектурой, чтобы исключить узкие места на стороне клиента при нагрузочном тестировании инференса LLM. Инструмент поддерживает более 15 типов endpoint, публичные наборы данных и форматы воспроизведения трейсoв (ShareGPT, Mooncake, Baseten, WEKA/AgentX), настраиваемые шаблоны загрузки и выводит метрики TTFT, ITL, перцентильные задержки и телеметрию GPU при наличии DCGM или pynvml.