Инженер LinkedIn рассказал о продакшн-оптимизациях LLM для ранжирования, включая дистилляцию 7B→400M
На QCon AI (репортаж InfoQ) Сундара Раман Рамачандран (руководитель по инференсу LLM в LinkedIn) рассказал, как в LinkedIn выводят LLM-ранжирование в продакшн при жёстких P99 SLA: дистилляция 7B-модели до ≈400M параметров, сжатие контекстов вакансий в однокомпонентные эмбеддинги для ≈10× ускорения и устранение системных узких мест (кастомные flash-attention маски, обходы Python GIL, gc.freeze, неблокирующие CUDA-копии).