Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #34086

arXiv:2611.14924v1

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Исследование Edge-Native Multimodal RAG: NF4-квантование позволяет запускать RAG на Turing‑GPU с 12–16 ГБ

В документе arXiv:2611.14924v1 описана системная интеграция и эмпирическая оценка мультимодальной RAG для потребительских GPU Turing (например, NVIDIA Tesla T4). Авторы показывают, что GPTQ обеспечивает большую пропускную способность (51,6 ток/с) но нестабилен при контекстах >≈2048 токенов на Turing; NF4 сохраняет стабильность в длинных контекстах при ~81 мс/токен, сочетание NF4 с отделённым модулем Florence‑2 даёт визуальное рассуждение с ~430 МБ дополнительных VRAM и суммарным объёмом 8,37 ГБ (подходит для 12–16 ГБ карт), а структурный few‑shot prompting восстанавливает точность рассуждений (математика с 35% до 92% за 200 испытаний) и сокращает задержку на 47%.

6.0