llama.cpp

2026-10-21

MODELS · 1 ИСТОЧН. · Hugging Face

IBM обновляет набор Granite Speech: granite-speech-5.0-2b и две переработанные модели

IBM выпустила три обновления семейства Granite Speech: новую модель granite-speech-5.0-2b и доработанные granite-speech-5.0-470m-turboctc и granite-speech-4.1-2b-plus. Модель 5.0-2b (обучена примерно на 390 000 часах публичного аудио) расширяет многоязычную транскрипцию и перевод и повышает устойчивость английского ASR; ревизия Turbo CTC (470M) добавляет мультиязычность, нативную пунктуацию и ускорение выполнения (~19 870 RTFx); обновление 4.1-2b-plus улучшает атрибуцию говорящих, таймстемпы, результаты на длинных записях и привязку ключевых слов. Все модели распространяются под Apache 2.0 и поддерживаются в Transformers, vLLM, llama.cpp и mlx-audio.

7.0

2026-10-20

CODING · 1 ИСТОЧН. · Hugging Face

Выпущен AnyLanguageModel 1.0 с swift-huggingface и swift-xet 1.0 — поддержка локальных и облачных моделей на платформах Apple

Вышел AnyLanguageModel 1.0 вместе со swift-huggingface 1.0 и swift-xet 1.0: единый API для Swift‑приложений на iOS, macOS, visionOS и Linux, позволяющий использовать совместимые с Foundation Models локальные модели (через llama.cpp, MLX, Core ML) и хостинг-провайдеров (Hugging Face, Anthropic Messages API, OpenRouter и совместимые с OpenAI). Среди новшеств — guided generation для всех провайдеров, поддержка изображений по синтаксису Foundation Models 27, учёт рассуждений в транскриптах, получение краткоживущих ключей и руководство по миграции.

6.0

2026-10-15

MODELS · 4 ИСТОЧН. · Hugging Face · NVIDIA Developer · The Decoder · TechCrunch AI

Meta представила Muse Spark Open — открытая мультимодальная MoE-модель на 816 млрд параметров

Meta выпустила Muse Spark Open — открытую MoE-модель примерно на 816 млрд параметров (≈42 млрд активных на токен), принимающую текст, изображения, аудио и видео и поддерживающую окно контекста до 1 048 576 токенов. По словам Meta, модель оптимизирована для агентных рабочих потоков разработки (чтение, запись, отладка кода и вызовы инструментов); чекпоинты доступны в BF16 (safetensors, ≈1,5 ТБ) и NVFP4 (4‑бит) для GPU NVIDIA Blackwell.

9.0

2026-10-12

CODING · 1 ИСТОЧН. · AWS Machine Learning

Развёртывание decision‑моделей на llama.cpp в Amazon SageMaker AI с AWS DLC и SemIf

AWS опубликовала руководство по использованию AWS Deep Learning Container (DLC) для llama.cpp, чтобы обслуживать OpenAI‑совместимые chat‑completion через SageMaker InvokeEndpoint, а также по расширению образа SemIf (ранее OpenJev) для возврата вероятностей и логитов для структурированных задач принятия решений. В материале описаны варианты развёртывания на CPU и GPU, сборка дочернего образа через CodeBuild/ECR для SemIf и бенчмарк сравнения задержек на CPU и GPU.

6.0

2026-09-28

CODING · 1 ИСТОЧН. · AWS Machine Learning

Развёртывание Qwen3-TTS со стриминговым выводом на SageMaker через vLLM-Omni v1.5 для приложений реального времени

AWS опубликовала пошаговое руководство (Часть 1) по развёртыванию модели синтеза речи Qwen3-TTS на Amazon SageMaker AI с использованием Deep Learning Container vLLM-Omni v1.5. В материале показано, как по одному постоянному двухстороннему соединению (SageMaker bidirectional streaming) отправлять текст и получать аудиочасти через нативный WebSocket‑маршрут vLLM-Omni (v1/audio/speech/stream), а также приведён пример на Gradio; серия также охватит другие специализированные DLC (WhisperX, llama.cpp).

6.0

2026-09-24

MODELS · 1 ИСТОЧН. · AWS Machine Learning

AWS упаковал WhisperX DLC для SageMaker с пометками говорящих и покомандными метками времени

AWS выпустил WhisperX Deep Learning Container (DLC) для Amazon SageMaker, который объединяет OpenAI Whisper с выравниванием на основе wav2vec2 и диаризацией говорящих для покомандных меток времени и пометок «кто говорит». GPU‑готовый контейнер соответствует контракту обслуживания SageMaker, поддерживает реальное время и асинхронные эндпоинты и выдаёт форматы json, verbose_json, srt и vtt (пример тега образа: whisperx:3.8.6-cu128-amzn2023-sagemaker).

6.0

2026-09-24

MODELS · 1 ИСТОЧН. · Hugging Face

Liquid AI выпустила DSpark‑drafter для LFM2.5‑VL‑3B, ускоряющий декодирование VLM до 3,13×

Liquid AI выпустила DSpark‑drafter для визуально‑языковой модели LFM2.5‑VL‑3B, добавляющий спекулятивное декодирование и ускоряющий декодирование токенов до 3,13× на устройстве и 2,66× на H100 при увеличении размера модели примерно на 280M параметров (≈8,9%). Drafter доступен с поддержкой llama.cpp, MLX‑VLM и SGLang с первого дня и размещён на Hugging Face в формате Safetensors и GGUF; измеренные энд‑ту‑энд ускорения достигали до 2,62× на краю и 2,27× на GPU по задачам MMSpec.

7.0

2026-09-22

MODELS · 1 ИСТОЧН. · Hugging Face

Transformers добавляет поддержку GGUF (кванты llama.cpp) в main

Библиотека transformers от Hugging Face (ветка main) теперь может загружать и запускать квантизованные контрольные точки в формате GGUF с использованием ядер llama.cpp/ggml, с упором на эффективный локальный вывод (первоначально оптимизировано для Apple Silicon и моделей Qwen3.5). Интеграция также позволяет обслуживать GGUF-чекпоинты через transformers-serve и при отсутствии совместимых ядер откатывается к де-квантизации.

7.0

2026-09-16

MODELS · 1 ИСТОЧН. · NVIDIA Developer

TensorRT Edge-LLM запустил Qwen3.6-27B на Jetson AGX Thor и выполнил MLPerf Edge Agentic в 6.4× быстрее

TensorRT Edge-LLM от NVIDIA запустил Qwen3.6-27B на одном Jetson AGX Thor Developer Kit и показал 52.33 токена/с в тесте MLPerf Inference v6.1 Edge Agentic, завершив 1 007 ходов за 24 мин 36 с — в 6.4× быстрее, чем эталонный запуск llama.cpp на Jetson (2 ч 37 м). В решении использованы квантование NVFP4 для весов/активаций, FP8 для KV-кеша, древовидная многотоковая предсказательная декодировка и повторное использование KV-кеша.

7.0

2026-03-16

MODELS · 1 ИСТОЧН. · Mistral AI

Mistral выпускает Small 4: 119B MoE мультимодальная модель с контекстом 256k (Apache 2.0)

Mistral объявила Mistral Small 4 — гибридную модель Mixture-of-Experts на 119 миллиардов параметров (128 экспертов, 4 активных), поддерживающую текст и изображения, с окном контекста 256k и настраиваемым параметром reasoning_effort; модель выпущена под лицензией Apache 2.0. Компания указывает, что Small 4 объединяет возможности Magistral, Pixtral и Devstral, нацелена на чаты, кодинг/агентов и сложное рассуждение, утверждает значительные улучшения задержки и пропускной способности по сравнению с Small 3 и доступна через vLLM, llama.cpp, SGLang, Transformers и другие среды.

9.0