FP8

2026-10-15

MODELS · 2 ИСТОЧН. · Hugging Face · The Decoder

Black Forest Labs выпустила FLUX.3 Image Klein с управлением композицией через bounding-box в Diffusers

Black Forest Labs разместила FLUX.3 Image Klein на Hugging Face и предоставляет открытые чекпойнты, совместимые с Hugging Face Diffusers. Модель выполняет текст‑в‑изображение и мульти‑референс image‑to‑image, добавляет управление композицией через bounding‑box для размещения областей и правок, включает дистиллированный чекпойнт (1024×1024 ≈2 с на H100, по умолчанию 16 шагов), квантизованные весовые файлы (bf16, fp8r, nvfp4) и скрипты для обучения LoRA/DreamBooth.

8.0

2026-10-15

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Echo: коррекционный 4‑битный all‑reduce для тензорного параллелизма при обучении и выводе LLM

В статье на arXiv предложен Echo — 4‑битный протокол all‑reduce для тензорного параллелизма при обучении и выводе LLM, который передаёт данные в 4 бита, суммирует в высокой точности и передаёт погрешности округления в последующие вызовы, чтобы они компенсировались, а не накапливались. Авторы доказывают, что накопленная ошибка не зависит от глубины, и приводят результаты: Echo в 2.09× быстрее 16‑битного NCCL all‑reduce при сообщениях 1 ГБ на A100, ускоряет время до первого токена и шаг обучения до ~1.16×/1.09× на тихой сети (и сильнее при фоне), сохраняет точность в пределах 0.4 пункта для Qwen3‑8B и даёт <0.9% больший итоговый loss после 10B токенов, без требований к FP8/FP4‑оборудованию.

7.0

2026-10-06

CODING · 1 ИСТОЧН. · NVIDIA Developer

Megatron Core PR №7262 добавляет workflow для побитовой детерминированной предобучения

PR №7262 в Megatron-LM добавляет в NVIDIA Megatron Core workflow и инструменты для достижения и проверки побитовой детерминированности при крупномасштабном предобучении, включая упорядоченное по рангу отпечатание тензоров для офлайн-локализации расхождений. Исправления на уровне ядер (например, приватные слоты вывода для grouped-GEMM и фиксированный порядок редукции), валидация рецептов/ядер/модулей при разных схемах параллелизма (включая FP8/FP4) и оптимизации на Nemotron сократили накладные расходы до ~2% на 2 432 GPU при сохранении побитовой идентичности в течение 800 шагов.

7.0

2026-09-15

MODELS · 1 ИСТОЧН. · arXiv cs.AI

ZGCM-1: открытая 7B фундаментальная модель с высокой эффективностью и контекстом 256K для математики и агентного поиска

В публикации на arXiv (arXiv:2609.13356v1) представлен ZGCM-1 — полностью открытая плотная модель на 7 млрд параметров, обученная с упором на эффективность данных, систем и алгоритмов и работу с длинным контекстом (до 256K). Авторы утверждают, что ZGCM-1-7B сопоставима с гораздо большими моделями по общим бенчмаркам и по задачам математического рассуждения и агентного поиска, заявляют ≈4.2× ускорение до потери при предобучении на 16K, описывают рецепт обучения (включая чередующееся скользящее окно/полное внимание и FP8 Muon optimizer) и публикуют веса, контрольные точки, код, рецепты данных и логи W&B.

7.0