Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #35472

Python GIL

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

COMPANIES · 1 ИСТОЧН. · InfoQ AI, ML & Data Engineering

Инженер LinkedIn рассказал о продакшн-оптимизациях LLM для ранжирования, включая дистилляцию 7B→400M

На QCon AI (репортаж InfoQ) Сундара Раман Рамачандран (руководитель по инференсу LLM в LinkedIn) рассказал, как в LinkedIn выводят LLM-ранжирование в продакшн при жёстких P99 SLA: дистилляция 7B-модели до ≈400M параметров, сжатие контекстов вакансий в однокомпонентные эмбеддинги для ≈10× ускорения и устранение системных узких мест (кастомные flash-attention маски, обходы Python GIL, gc.freeze, неблокирующие CUDA-копии).

7.0