НОВОСТЬ · COMPANIES · #3723
Инженер LinkedIn рассказал о продакшн-оптимизациях LLM для ранжирования, включая дистилляцию 7B→400M
На QCon AI (репортаж InfoQ) Сундара Раман Рамачандран (руководитель по инференсу LLM в LinkedIn) рассказал, как в LinkedIn выводят LLM-ранжирование в продакшн при жёстких P99 SLA: дистилляция 7B-модели до ≈400M параметров, сжатие контекстов вакансий в однокомпонентные эмбеддинги для ≈10× ускорения и устранение системных узких мест (кастомные flash-attention маски, обходы Python GIL, gc.freeze, неблокирующие CUDA-копии).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- На QCon AI (репортаж InfoQ) Сундара Раман Рамачандран (руководитель по инференсу LLM в LinkedIn) рассказал, как в LinkedIn выводят LLM-ранжирование в продакшн при жёстких P99 SLA: дистилляция 7B-модели до ≈400M параметров, сжатие контекстов вакансий в однокомпонентные эмбеддинги для ≈10× ускорения и устранение системных узких мест (кастомные flash-attention маски, обходы Python GIL, gc.freeze, неблокирующие CUDA-копии).
- Важность в том, что показаны конкретные, проверенные в продакшне методы сжатия моделей и системные оптимизации, которые позволяют LLM удовлетворять строгим требованиям задержки и пропускной способности для масштабного поиска и рекомендаций.
- Presentation: Scaling LLM-Based Ranking Systems for Latency-Critical Search & Recommendation Workloads
ПОЧЕМУ ЭТО ВАЖНО
Важность в том, что показаны конкретные, проверенные в продакшне методы сжатия моделей и системные оптимизации, которые позволяют LLM удовлетворять строгим требованиям задержки и пропускной способности для масштабного поиска и рекомендаций.