Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #34204

InferenceX benchmark','arXiv:2611.14681v1

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Together AI опубликовала Together Compiler (TKCC) для непрерывной оптимизации инференса ИИ

Together AI представляет Together Compiler (TKCC) — систему непрерывной компиляции для инференса, использующую «многоуровневый постоянный движок» и модель затрат для балансировки скорости измерений и точности. Авторы сообщают, что TKCC опережает ручные Megakernels на Llama 1B до 1.7× и лучшие открытые движки на нескольких современных моделях до 2.6× по TPS, а также заявляют о производственном развертывании, обслуживающем триллионы токенов.

8.0