Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

НОВОСТЬ · COMPANIES · #3723

Инженер LinkedIn рассказал о продакшн-оптимизациях LLM для ранжирования, включая дистилляцию 7B→400M

На QCon AI (репортаж InfoQ) Сундара Раман Рамачандран (руководитель по инференсу LLM в LinkedIn) рассказал, как в LinkedIn выводят LLM-ранжирование в продакшн при жёстких P99 SLA: дистилляция 7B-модели до ≈400M параметров, сжатие контекстов вакансий в однокомпонентные эмбеддинги для ≈10× ускорения и устранение системных узких мест (кастомные flash-attention маски, обходы Python GIL, gc.freeze, неблокирующие CUDA-копии).

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. На QCon AI (репортаж InfoQ) Сундара Раман Рамачандран (руководитель по инференсу LLM в LinkedIn) рассказал, как в LinkedIn выводят LLM-ранжирование в продакшн при жёстких P99 SLA: дистилляция 7B-модели до ≈400M параметров, сжатие контекстов вакансий в однокомпонентные эмбеддинги для ≈10× ускорения и устранение системных узких мест (кастомные flash-attention маски, обходы Python GIL, gc.freeze, неблокирующие CUDA-копии).
  2. Важность в том, что показаны конкретные, проверенные в продакшне методы сжатия моделей и системные оптимизации, которые позволяют LLM удовлетворять строгим требованиям задержки и пропускной способности для масштабного поиска и рекомендаций.
  3. Presentation: Scaling LLM-Based Ranking Systems for Latency-Critical Search & Recommendation Workloads

ПОЧЕМУ ЭТО ВАЖНО

Важность в том, что показаны конкретные, проверенные в продакшне методы сжатия моделей и системные оптимизации, которые позволяют LLM удовлетворять строгим требованиям задержки и пропускной способности для масштабного поиска и рекомендаций.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1