Google выпустила LiteRT Tensor API для создания и оптимизации on-device ML на C++
Google представила LiteRT Tensor API — лёгкий C++ API, позволяющий разработчикам пооперационно формировать графы вычислений для выполнения на устройствах (CPU, GPU, NPU) с возможностями прямой загрузки весов (.safetensors), нулевого копирования буферов и совместимости с агентами для генерации кода. Google показала пример с SAM 2 для сегментации и трекинга и привела кроссплатформенные бенчмарки (например, ~1.5× быстрее Apple MLX на MacBook Pro в одном тесте), а также заявила о планах по добавлению NPU-ориентированных операций и автоматической квантизации полного графа.