Tech Meridian
← К СУЩНОСТЯМ
КОМПАНИЯ · ENTITY #2453
Хронология связанных событий, источники и контекст из новостной базы.
Cohere объявила публичную бету Confidential Computing для управляемого сервиса инференса Model Vault, работающего на GPU NVIDIA H100 в инфраструктуре конфиденциальных вычислений Microsoft Azure. Функция добавляет аппаратную изоляцию, шифрование памяти GPU, удалённую аттестацию и сквозное шифрование запросов, позволяя проверять среду выполнения и защищать данные во время инференса.
Reflection AI выпустила Beam 1.0 — открытую смесь экспертов (sparse MoE) для агентного кодирования и долгих задач (501 млрд общих параметров, 23 млрд активных, контекст до 1 млн токенов). Весы Beam размещены на Hugging Face под лицензией Apache 2.0, модель доступна через Amazon SageMaker JumpStart в регионах US East (N. Virginia и Ohio) с вариантами развёртывания через JumpStart real-time, SageMaker HyperPod Inference или собственные среды с SGLang и vLLM; контрольные точки предлагаются в BF16, FP8 и NVFP4.
Black Forest Labs разместила FLUX.3 Image Klein на Hugging Face и предоставляет открытые чекпойнты, совместимые с Hugging Face Diffusers. Модель выполняет текст‑в‑изображение и мульти‑референс image‑to‑image, добавляет управление композицией через bounding‑box для размещения областей и правок, включает дистиллированный чекпойнт (1024×1024 ≈2 с на H100, по умолчанию 16 шагов), квантизованные весовые файлы (bf16, fp8r, nvfp4) и скрипты для обучения LoRA/DreamBooth.
По данным Ornn, Silicon Data и Bloomberg (на август 2026 г.), на которые ссылается a16z, цены на AI‑токены падают, тогда как аренда NVIDIA H100 остаётся стабильной или растёт. Более дешёвые токены стимулируют агентов и автоматизацию и увеличивают объёмы быстрее, чем снижаются единичные затраты, но неизвестно, какая доля спроса приходится на людей и на агенты; если рост использования замедлится, пострадают поставщики чипов, облака и энергетики, что уже отразилось в реакции рынков после сообщений о более слабой выручке OpenAI.
Институт искусственного интеллекта Аллена (Ai2) заменил планировщик GPU на приоритетной основе системой с бюджетами времени GPU, иерархическим справедливым делением ресурсов и контрактом тайм‑слайсинга, чтобы лучше направлять ограниченные GPU‑ресурсы при сохранении загрузки. Это переводит решение о распределении времени с оперативных обходов на прозрачный административный процесс для кластеров с H100/B200/B300, обслуживающих около 150 исследователей.
SWE-Serve — новый бенчмарк, превращающий 83 смерженных PR SGLang в 53 исполняемых задачи по inference-serving; 19 таких задач запускают реальный сервер и проверяют исправления по полному пути обслуживания. По этим задачам одни и те же патчи проходят полностью в 45,9% случаев при использовании полного верификатора и в 69,4% случаев без проверок live-serving (примерно одна из трёх исправлений, прошедших прочие тесты, не проходит live-проверки); задачи, охватывающие несколько областей выполнения, имеют на 21,3 процентного пункта более низкий проход, а закрытые оценки моделей (11 моделей, mini-swe-agent) варьируют от 34,6% до 75,5%, лидируют Claude Opus 5 и GPT-5.6 Sol.
В статье представлен Pareto‑атлас, который отображает компромиссы между стоимостью, качеством и задержкой инференса LLM: авторы измерили 54 конфигурации Qwen2.5-7B-Instruct на vLLM 0.12 для GPU L4, A100 и H100 и откалибровали симулятор с воспроизведением опорных замеров с дрейфом <1,5%. Основные выводы: на калиброванной сетке 18 из 36 конфигураций попадают на Парето‑фронт; комбинации оптимизаций чаще превосходят одиночные методы; AWQ 4bit снижает задержку до 0,34×, но теряет ~5,9% точности GSM8K; FP8‑веса сохраняют ~99,4% точности при 0,61–0,65× задержки; наивный FP8 KV‑кеш не теряет пропускную способность, но даёт 0/200 правильных ответов; H100 выигрывает при жёсткой задержке, A100 — по пропускной способности и стоимости (~$0.106/млн токенов).
NVIDIA описывает интеграцию расширения Resiliency Extension (NVRx) с PyTorch FSDP на Amazon EKS для уменьшения времени простоя при крупномасштабном обучении на нескольких узлах. В публикации показаны асинхронные контрольные точки (TorchAsyncCheckpoint), перезапуск внутри процесса и средство перезапуска внутри задачи (ft_launcher), приведены бенчмарки на H100 для 2–8 узлов и опубликован воспроизводимый код и пакет nvidia-resiliency-ext для pip.
Cohere выпустила Transcribe Arabic — open-source модель автоматического распознавания арабской речи (лицензия Apache 2.0), основанную на их 2‑миллиардной ASR-модели. Компания утверждает, что модель достигает WER 25.87 на Hugging Face Arabic ASR Leaderboard, опережая OmniASR-LLM-7B и Whisper Large V3, и в ~96% человеческих оценок предпочтение отдавали ей перед Whisper; веса доступны на Hugging Face и через Cohere API/Model Vault.
Cohere описывает сервер на основе megakernel для модели North Mini Code (30B), работающий в BF16 на одной NVIDIA H100 и демонстрирующий ускорение 1.25×–1.41× в энд‑ту‑энд сравнении с vLLM; при batch=1 заявлены 292 ток/с (62% от теоретического предела), что примерно в 1.58× быстрее vLLM. Система поддерживает необходимые для продакшна функции (непрерывное батчирование, постраничное внимание, неравные длины), совместима с OpenAI API, реализована в одном CUDA‑файле, код опубликован на GitHub.
Allow Google Analytics to measure visits? It stays off until you choose. You can change your choice at any time.