НОВОСТЬ · MODELS · #2495
Space показывает, какие модели Transformers запускаются на AWS Trainium через torch‑neuronx
Hugging Face Space под названием torch-neuronx model support публикует результаты тестов и скрипты для каждого популярного модели Transformers, показывая, запускаются ли они без изменений на AWS Trainium (Trainium2) с бэкендом torch-neuronx. Space отображает статистику выполнения, схему шардирования и использование памяти, версии Neuron-стека (neuronx-cc) и публикует Parquet‑набор данных aws-neuron/torch-neuronx-model-support и команды для повторного использования скомпилированных графов из публичного NEFF‑кэша.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Hugging Face Space под названием torch-neuronx model support публикует результаты тестов и скрипты для каждого популярного модели Transformers, показывая, запускаются ли они без изменений на AWS Trainium (Trainium2) с бэкендом torch-neuronx.
- Space отображает статистику выполнения, схему шардирования и использование памяти, версии Neuron-стека (neuronx-cc) и публикует Parquet‑набор данных aws-neuron/torch-neuronx-model-support и команды для повторного использования скомпилированных графов из публичного NEFF‑кэша.
- Это упрощает проверку совместимости с Trainium и получение готовых скриптов и артефактов компиляции, снижая трение при развёртывании моделей Transformers на оборудовании AWS Trainium.
ПОЧЕМУ ЭТО ВАЖНО
Это упрощает проверку совместимости с Trainium и получение готовых скриптов и артефактов компиляции, снижая трение при развёртывании моделей Transformers на оборудовании AWS Trainium.