Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

НОВОСТЬ · CODING · #3522

Выпущен плагин SGLang‑Neuron для запуска SGLang на AWS Trainium (контейнер v0.1.0)

Amazon объявила о публичной доступности SGLang‑Neuron через контейнер AWS Deep Learning, выпущенный RadixArk совместно с Annapurna Labs. Плагин связывает SGLang с Trainium (нативный PyTorch с Neuron‑ядрами), поддерживает PD‑дисагрегацию по EFA и поставляется с контейнером pytorch‑inference (v0.1.0) и примерами запуска моделей, например openai/gpt-oss-120b.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Amazon объявила о публичной доступности SGLang‑Neuron через контейнер AWS Deep Learning, выпущенный RadixArk совместно с Annapurna Labs.
  2. Плагин связывает SGLang с Trainium (нативный PyTorch с Neuron‑ядрами), поддерживает PD‑дисагрегацию по EFA и поставляется с контейнером pytorch‑inference (v0.1.0) и примерами запуска моделей, например openai/gpt-oss-120b.
  3. Это упрощает развёртывание моделей SGLang и RL‑запросов на AWS Trainium с сохранением привычного API SGLang и использованием нативного PyTorch и оптимизаций Neuron.

ПОЧЕМУ ЭТО ВАЖНО

Это упрощает развёртывание моделей SGLang и RL‑запросов на AWS Trainium с сохранением привычного API SGLang и использованием нативного PyTorch и оптимизаций Neuron.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1