Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

РЕЛИЗ · MODELS · #2295

Deepseek открыла исходники DeepInfer — движка инференса для V4.1-Flash

Deepseek выпустила в открытый доступ DeepInfer под лицензией Apache 2.0. DeepInfer, основанный на vLLM с оптимизированными вычислительными ядрами, распределённой обработкой по нескольким чипам и ускоренными приёмами генерации текста, обеспечивает работу модели V4.1-Flash; компания также выложила deepseek-recipe для воспроизведения обработки токенов официального API и обещает открывать код будущих моделей.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Deepseek выпустила в открытый доступ DeepInfer под лицензией Apache 2.0.
  2. DeepInfer, основанный на vLLM с оптимизированными вычислительными ядрами, распределённой обработкой по нескольким чипам и ускоренными приёмами генерации текста, обеспечивает работу модели V4.1-Flash; компания также выложила deepseek-recipe для воспроизведения обработки токенов официального API и обещает открывать код будущих моделей.
  3. Открытие исходников DeepInfer и deepseek-recipe снижает стоимость и сложность запуска масштабных моделей, усиливая конкуренцию и давление на цены у действующих поставщиков.

ПОЧЕМУ ЭТО ВАЖНО

Открытие исходников DeepInfer и deepseek-recipe снижает стоимость и сложность запуска масштабных моделей, усиливая конкуренцию и давление на цены у действующих поставщиков.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1
01
THE DECODER НЕЗАВИСИМОЕ МЕДИА
Deepseek open-sources the inference engine that powers its fastest and cheapest AI model

Deepseek has open-sourced DeepInfer, its internal inference framework, under the Apache License 2.0. Inference is how a trained AI model handles requests and generates responses. DeepInfer is the serving software that lets Deepseek's V4.1-Flash model produce answers quickly at scale. The framework builds on vLLM with optimized compute kernels, distributed processing across multiple chips, and faster text generation …

↗