Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #32776

480B model

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

CODING · 1 ИСТОЧН. · InfoQ AI, ML & Data Engineering

Google открыла исходники TPU Sync — C++ библиотека для переноса KV-кэша и весов на TPU

Google Cloud опубликовала TPU Sync — нативную C++ библиотеку (Apache 2.0) для перемещения блоков KV-кэша и весов между HBM TPU, DRAM хоста, общим хранилищем и сетью; доступны Python-колеса для JAX и PyTorch. По данным Google, библиотека даёт существенные сокращения латентности и TTFT для long‑context и разъединённого LLM‑сервинга (например, для Qwen3 235B медианная задержка передачи KV упала примерно до 230 мс, средний TTFT сократился на ~60%, до 90% для 480B), но некоторые возможности и пакеты остаются экспериментальными или девелоперскими сборками, и API быстро меняются.

7.0