НОВОСТЬ · MODELS · #2299
i14 обучила и обслуживает модель Laplace 3B с линейным вниманием на AWS Trainium2 с TorchNeuron Native
i14 перенесла свой декодер Laplace 3B (3 млрд параметров, GLA с фиксированным рекуррентным состоянием 29,5 МБ) на AWS Trainium2 через TorchNeuron Native и нативные операторы PyTorch. На инстансе trn2.48xlarge команда зафиксировала примерно 120 000 токенов/с для обучения и 11 544 выходных токена/с при 1 280 конкурентных последовательностях после замены Triton‑ядра, оптимизации коллективов MuonFSDP2 и статической развертки рекуррентного прохода GLA для компилятора Trainium2.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- i14 перенесла свой декодер Laplace 3B (3 млрд параметров, GLA с фиксированным рекуррентным состоянием 29,5 МБ) на AWS Trainium2 через TorchNeuron Native и нативные операторы PyTorch.
- На инстансе trn2.48xlarge команда зафиксировала примерно 120 000 токенов/с для обучения и 11 544 выходных токена/с при 1 280 конкурентных последовательностях после замены Triton‑ядра, оптимизации коллективов MuonFSDP2 и статической развертки рекуррентного прохода GLA для компилятора Trainium2.
- Показывает, что пользовательские архитектуры с линейным вниманием и фиксированным рекуррентным состоянием можно эффективно обучать и обслуживать на Trainium2 с нативным PyTorch, что уменьшает рост KV‑кеша и улучшает параллелизм и предсказуемость затрат на сервисинг.
ПОЧЕМУ ЭТО ВАЖНО
Показывает, что пользовательские архитектуры с линейным вниманием и фиксированным рекуррентным состоянием можно эффективно обучать и обслуживать на Trainium2 с нативным PyTorch, что уменьшает рост KV‑кеша и улучшает параллелизм и предсказуемость затрат на сервисинг.