ИССЛЕДОВАНИЕ · RESEARCH · #3586
Together AI опубликовала Together Compiler (TKCC) для непрерывной оптимизации инференса ИИ
Together AI представляет Together Compiler (TKCC) — систему непрерывной компиляции для инференса, использующую «многоуровневый постоянный движок» и модель затрат для балансировки скорости измерений и точности. Авторы сообщают, что TKCC опережает ручные Megakernels на Llama 1B до 1.7× и лучшие открытые движки на нескольких современных моделях до 2.6× по TPS, а также заявляют о производственном развертывании, обслуживающем триллионы токенов.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Together AI представляет Together Compiler (TKCC) — систему непрерывной компиляции для инференса, использующую «многоуровневый постоянный движок» и модель затрат для балансировки скорости измерений и точности.
- Авторы сообщают, что TKCC опережает ручные Megakernels на Llama 1B до 1.7× и лучшие открытые движки на нескольких современных моделях до 2.6× по TPS, а также заявляют о производственном развертывании, обслуживающем триллионы токенов.
- Если подтвердится, непрерывная компиляция, уменьшающая накладные расходы при запуске движков и повышающая пропускную способность, может существенно снизить задержки и стоимость инференса в масштабе.
ПОЧЕМУ ЭТО ВАЖНО
Если подтвердится, непрерывная компиляция, уменьшающая накладные расходы при запуске движков и повышающая пропускную способность, может существенно снизить задержки и стоимость инференса в масштабе.