НОВОСТЬ · CODING · #3522
Выпущен плагин SGLang‑Neuron для запуска SGLang на AWS Trainium (контейнер v0.1.0)
Amazon объявила о публичной доступности SGLang‑Neuron через контейнер AWS Deep Learning, выпущенный RadixArk совместно с Annapurna Labs. Плагин связывает SGLang с Trainium (нативный PyTorch с Neuron‑ядрами), поддерживает PD‑дисагрегацию по EFA и поставляется с контейнером pytorch‑inference (v0.1.0) и примерами запуска моделей, например openai/gpt-oss-120b.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Amazon объявила о публичной доступности SGLang‑Neuron через контейнер AWS Deep Learning, выпущенный RadixArk совместно с Annapurna Labs.
- Плагин связывает SGLang с Trainium (нативный PyTorch с Neuron‑ядрами), поддерживает PD‑дисагрегацию по EFA и поставляется с контейнером pytorch‑inference (v0.1.0) и примерами запуска моделей, например openai/gpt-oss-120b.
- Это упрощает развёртывание моделей SGLang и RL‑запросов на AWS Trainium с сохранением привычного API SGLang и использованием нативного PyTorch и оптимизаций Neuron.
ПОЧЕМУ ЭТО ВАЖНО
Это упрощает развёртывание моделей SGLang и RL‑запросов на AWS Trainium с сохранением привычного API SGLang и использованием нативного PyTorch и оптимизаций Neuron.