РЕЛИЗ · CODING · #3470
Google открыла исходники TPU Sync — C++ библиотека для переноса KV-кэша и весов на TPU
Google Cloud опубликовала TPU Sync — нативную C++ библиотеку (Apache 2.0) для перемещения блоков KV-кэша и весов между HBM TPU, DRAM хоста, общим хранилищем и сетью; доступны Python-колеса для JAX и PyTorch. По данным Google, библиотека даёт существенные сокращения латентности и TTFT для long‑context и разъединённого LLM‑сервинга (например, для Qwen3 235B медианная задержка передачи KV упала примерно до 230 мс, средний TTFT сократился на ~60%, до 90% для 480B), но некоторые возможности и пакеты остаются экспериментальными или девелоперскими сборками, и API быстро меняются.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Google Cloud опубликовала TPU Sync — нативную C++ библиотеку (Apache 2.0) для перемещения блоков KV-кэша и весов между HBM TPU, DRAM хоста, общим хранилищем и сетью; доступны Python-колеса для JAX и PyTorch.
- По данным Google, библиотека даёт существенные сокращения латентности и TTFT для long‑context и разъединённого LLM‑сервинга (например, для Qwen3 235B медианная задержка передачи KV упала примерно до 230 мс, средний TTFT сократился на ~60%, до 90% для 480B), но некоторые возможности и пакеты остаются экспериментальными или девелоперскими сборками, и API быстро меняются.
- TPU Sync решает узкое место перемещения данных, которое ограничивает long‑context и разъединённый LLM‑сервис (а также добавляет экспериментальную синхронизацию весов для RL), что может значительно повысить практичность обслуживания больших контекстов на TPU.
ПОЧЕМУ ЭТО ВАЖНО
TPU Sync решает узкое место перемещения данных, которое ограничивает long‑context и разъединённый LLM‑сервис (а также добавляет экспериментальную синхронизацию весов для RL), что может значительно повысить практичность обслуживания больших контекстов на TPU.