Tech Meridian
← К СУЩНОСТЯМ
КОМПАНИЯ · ENTITY #1730
Хронология связанных событий, источники и контекст из новостной базы.
В статье на arXiv (2610.41112v1) исследуются три подхода к калибровке формата HiFloat4 (HiF4) — HiGPTQ, HiAutoRound и HiFlatQuant. Авторы сообщают, что эти методы сокращают разрыв по точности с BF16 до менее чем 1% и превосходят NVFP4 на различных моделях и задачах по сравнению с прямым переводом в HiF4.
Olmo выпустила Olmo-core 3 — переработанный открытый фреймворк для обучения моделей с mixture-of-experts (MoE), рассчитанный на масштабирование до триллионных параметров при сохранении вычислительной эффективности. Стек переходит от FSDP к DDP, сочетает экспертную и конвейерную параллельность и другие оптимизации; по данным компании, на 47‑млрд MoE на восьми NVIDIA B300 пропускная способность выросла в 2,7×, а MXFP8 в тестах дал примерно +21% к скорости по сравнению с BF16.
Cohere выпустила Transcribe Arabic — open-source модель автоматического распознавания арабской речи (лицензия Apache 2.0), основанную на их 2‑миллиардной ASR-модели. Компания утверждает, что модель достигает WER 25.87 на Hugging Face Arabic ASR Leaderboard, опережая OmniASR-LLM-7B и Whisper Large V3, и в ~96% человеческих оценок предпочтение отдавали ей перед Whisper; веса доступны на Hugging Face и через Cohere API/Model Vault.
Cohere описывает сервер на основе megakernel для модели North Mini Code (30B), работающий в BF16 на одной NVIDIA H100 и демонстрирующий ускорение 1.25×–1.41× в энд‑ту‑энд сравнении с vLLM; при batch=1 заявлены 292 ток/с (62% от теоретического предела), что примерно в 1.58× быстрее vLLM. Система поддерживает необходимые для продакшна функции (непрерывное батчирование, постраничное внимание, неравные длины), совместима с OpenAI API, реализована в одном CUDA‑файле, код опубликован на GitHub.
В блоге Google Research (автор — Маниш Гупта) описаны программные приёмы для реализации смешанных входных матричных умножений (например, входы F16 × веса U8) на тензорных ядрах NVIDIA Ampere через преобразование типов данных и согласование макета; решения опубликованы в репозитории NVIDIA/CUTLASS и, по заявлению авторов, добавляют минимальные накладные расходы и близки к пиковой аппаратной производительности. Работа ориентирована на ресурсоёмкие LLM‑нагрузки и поддерживает схемы квантования только весов для уменьшения объёма памяти модели.
Allow Google Analytics to measure visits? It stays off until you choose. You can change your choice at any time.