Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3586

Together AI опубликовала Together Compiler (TKCC) для непрерывной оптимизации инференса ИИ

Together AI представляет Together Compiler (TKCC) — систему непрерывной компиляции для инференса, использующую «многоуровневый постоянный движок» и модель затрат для балансировки скорости измерений и точности. Авторы сообщают, что TKCC опережает ручные Megakernels на Llama 1B до 1.7× и лучшие открытые движки на нескольких современных моделях до 2.6× по TPS, а также заявляют о производственном развертывании, обслуживающем триллионы токенов.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Together AI представляет Together Compiler (TKCC) — систему непрерывной компиляции для инференса, использующую «многоуровневый постоянный движок» и модель затрат для балансировки скорости измерений и точности.
  2. Авторы сообщают, что TKCC опережает ручные Megakernels на Llama 1B до 1.7× и лучшие открытые движки на нескольких современных моделях до 2.6× по TPS, а также заявляют о производственном развертывании, обслуживающем триллионы токенов.
  3. Если подтвердится, непрерывная компиляция, уменьшающая накладные расходы при запуске движков и повышающая пропускную способность, может существенно снизить задержки и стоимость инференса в масштабе.

ПОЧЕМУ ЭТО ВАЖНО

Если подтвердится, непрерывная компиляция, уменьшающая накладные расходы при запуске движков и повышающая пропускную способность, может существенно снизить задержки и стоимость инференса в масштабе.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1