Together AI опубликовала Together Compiler (TKCC) для непрерывной оптимизации инференса ИИ
Together AI представляет Together Compiler (TKCC) — систему непрерывной компиляции для инференса, использующую «многоуровневый постоянный движок» и модель затрат для балансировки скорости измерений и точности. Авторы сообщают, что TKCC опережает ручные Megakernels на Llama 1B до 1.7× и лучшие открытые движки на нескольких современных моделях до 2.6× по TPS, а также заявляют о производственном развертывании, обслуживающем триллионы токенов.