РЕЛИЗ · CODING · #3038
Google выпустила LiteRT Tensor API для создания и оптимизации on-device ML на C++
Google представила LiteRT Tensor API — лёгкий C++ API, позволяющий разработчикам пооперационно формировать графы вычислений для выполнения на устройствах (CPU, GPU, NPU) с возможностями прямой загрузки весов (.safetensors), нулевого копирования буферов и совместимости с агентами для генерации кода. Google показала пример с SAM 2 для сегментации и трекинга и привела кроссплатформенные бенчмарки (например, ~1.5× быстрее Apple MLX на MacBook Pro в одном тесте), а также заявила о планах по добавлению NPU-ориентированных операций и автоматической квантизации полного графа.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Google представила LiteRT Tensor API — лёгкий C++ API, позволяющий разработчикам пооперационно формировать графы вычислений для выполнения на устройствах (CPU, GPU, NPU) с возможностями прямой загрузки весов (.safetensors), нулевого копирования буферов и совместимости с агентами для генерации кода.
- Google показала пример с SAM 2 для сегментации и трекинга и привела кроссплатформенные бенчмарки (например, ~1.5× быстрее Apple MLX на MacBook Pro в одном тесте), а также заявила о планах по добавлению NPU-ориентированных операций и автоматической квантизации полного графа.
- API даёт разработчикам низкоуровневый переносимый контроль над графом и производительные функции (прямая загрузка весов, нулевое копирование буферов, совместимость с агентами), что может сократить платформо-зависимую доработку и ускорить разработку и выполнение on-device ML.
ПОЧЕМУ ЭТО ВАЖНО
API даёт разработчикам низкоуровневый переносимый контроль над графом и производительные функции (прямая загрузка весов, нулевое копирование буферов, совместимость с агентами), что может сократить платформо-зависимую доработку и ускорить разработку и выполнение on-device ML.