Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

РЕЛИЗ · CODING · #3038

Google выпустила LiteRT Tensor API для создания и оптимизации on-device ML на C++

Google представила LiteRT Tensor API — лёгкий C++ API, позволяющий разработчикам пооперационно формировать графы вычислений для выполнения на устройствах (CPU, GPU, NPU) с возможностями прямой загрузки весов (.safetensors), нулевого копирования буферов и совместимости с агентами для генерации кода. Google показала пример с SAM 2 для сегментации и трекинга и привела кроссплатформенные бенчмарки (например, ~1.5× быстрее Apple MLX на MacBook Pro в одном тесте), а также заявила о планах по добавлению NPU-ориентированных операций и автоматической квантизации полного графа.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Google представила LiteRT Tensor API — лёгкий C++ API, позволяющий разработчикам пооперационно формировать графы вычислений для выполнения на устройствах (CPU, GPU, NPU) с возможностями прямой загрузки весов (.safetensors), нулевого копирования буферов и совместимости с агентами для генерации кода.
  2. Google показала пример с SAM 2 для сегментации и трекинга и привела кроссплатформенные бенчмарки (например, ~1.5× быстрее Apple MLX на MacBook Pro в одном тесте), а также заявила о планах по добавлению NPU-ориентированных операций и автоматической квантизации полного графа.
  3. API даёт разработчикам низкоуровневый переносимый контроль над графом и производительные функции (прямая загрузка весов, нулевое копирование буферов, совместимость с агентами), что может сократить платформо-зависимую доработку и ускорить разработку и выполнение on-device ML.

ПОЧЕМУ ЭТО ВАЖНО

API даёт разработчикам низкоуровневый переносимый контроль над графом и производительные функции (прямая загрузка весов, нулевое копирование буферов, совместимость с агентами), что может сократить платформо-зависимую доработку и ускорить разработку и выполнение on-device ML.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1