Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #12439

GPTQ

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

4

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Исследование Edge-Native Multimodal RAG: NF4-квантование позволяет запускать RAG на Turing‑GPU с 12–16 ГБ

В документе arXiv:2611.14924v1 описана системная интеграция и эмпирическая оценка мультимодальной RAG для потребительских GPU Turing (например, NVIDIA Tesla T4). Авторы показывают, что GPTQ обеспечивает большую пропускную способность (51,6 ток/с) но нестабилен при контекстах >≈2048 токенов на Turing; NF4 сохраняет стабильность в длинных контекстах при ~81 мс/токен, сочетание NF4 с отделённым модулем Florence‑2 даёт визуальное рассуждение с ~430 МБ дополнительных VRAM и суммарным объёмом 8,37 ГБ (подходит для 12–16 ГБ карт), а структурный few‑shot prompting восстанавливает точность рассуждений (математика с 35% до 92% за 200 испытаний) и сокращает задержку на 47%.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

MPQ: подход message-passing к посттренировочной квантизации (arXiv:2610.32127v1)

В докладе на arXiv предложен MPQ (Message-Passing Quantization): строковую посттренировочную квантизацию рассматривают как апостериорный вывод по дискретным кодбукам и сохраняют мягкую апостериорную информацию между блоками с помощью векторного приближённого message passing, а затем переходят к жёстким кодовым словам через блоковую координатную оптимизацию. Авторы показывают улучшения перплексии и zero-shot точности по сравнению с жёсткими решениями (например, GPTQ/LDLQ) при 2-битной и 3–4-битной квантизации для Llama, Qwen и Mistral и публикуют реализацию на GitHub.

7.0

MODELS · 1 ИСТОЧН. · arXiv cs.AI

DRQ: распределённо-робастная доработка для низкобитного квантования LLM

В статье на arXiv показывают, что минимизация реконструкционного лосса в weight-only PTQ может не сработать или даже ухудшить качество при изменении распределения активаций, и предлагают Distributionally Robust Quantization (DRQ) — постхок‑доработку, минимизирующую худший случай реконструкционного лосса по ограниченному классу распределений входных активаций. DRQ корректирует целочисленные коды в существующей сетке квантования (без изменения параметров квантования и инференс‑операторов) и, по результатам экспериментов, улучшает модели, квантованные разными PTQ‑методами, включая AWQ, GPTQ и ParoQuant, для плотных и MoE‑моделей.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Измерение «разрыва приемлемости» SLM для микрозадач (arXiv:2610.00025v1)

Авторы собрали бенчмарк из четырёх микрозадач вокруг планировщика LLM (авто-подтверждение команд, запись памяти, выбор инструментов, ранжирование ходов) с заранее заданными CI-порогами приемлемости и протестировали готовые SLM (Qwen3 0.6/1.7/4/8B, FP16, без дообучения). Ни одна из 16 конфигураций модель×задача не прошла порог приемлемости (0/16). В работе предложен диагностический метод на основе logprob, разделяющий дефициты способностей и проблемы с порогом декодирования; показано, что 4-битная квантизация (RTN/GPTQ/AWQ) обычно ухудшает результаты и не переводит конфигурации в «приемлемые», эффект воспроизводится на Llama-3.x (12/12 не прошли) и устойчив к выбору якоря и парафразам подсказок; практическая рекомендация — ставить SLM за базовой моделью, соответствующей CI-порогам, и применять SLM только там, где базовый метод проваливается.

7.0