Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3574

Исследование Edge-Native Multimodal RAG: NF4-квантование позволяет запускать RAG на Turing‑GPU с 12–16 ГБ

В документе arXiv:2611.14924v1 описана системная интеграция и эмпирическая оценка мультимодальной RAG для потребительских GPU Turing (например, NVIDIA Tesla T4). Авторы показывают, что GPTQ обеспечивает большую пропускную способность (51,6 ток/с) но нестабилен при контекстах >≈2048 токенов на Turing; NF4 сохраняет стабильность в длинных контекстах при ~81 мс/токен, сочетание NF4 с отделённым модулем Florence‑2 даёт визуальное рассуждение с ~430 МБ дополнительных VRAM и суммарным объёмом 8,37 ГБ (подходит для 12–16 ГБ карт), а структурный few‑shot prompting восстанавливает точность рассуждений (математика с 35% до 92% за 200 испытаний) и сокращает задержку на 47%.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. В документе arXiv:2611.14924v1 описана системная интеграция и эмпирическая оценка мультимодальной RAG для потребительских GPU Turing (например, NVIDIA Tesla T4).
  2. Авторы показывают, что GPTQ обеспечивает большую пропускную способность (51,6 ток/с) но нестабилен при контекстах >≈2048 токенов на Turing; NF4 сохраняет стабильность в длинных контекстах при ~81 мс/токен, сочетание NF4 с отделённым модулем Florence‑2 даёт визуальное рассуждение с ~430 МБ дополнительных VRAM и суммарным объёмом 8,37 ГБ (подходит для 12–16 ГБ карт), а структурный few‑shot prompting восстанавливает точность рассуждений (математика с 35% до 92% за 200 испытаний) и сокращает задержку на 47%.
  3. Исследование демонстрирует практические компромиссы квантования и оптимизаций для запуска мультимодальной RAG на широко доступных Turing‑GPU с 12–16 ГБ, что снижает барьер для Edge‑AI внедрений.

ПОЧЕМУ ЭТО ВАЖНО

Исследование демонстрирует практические компромиссы квантования и оптимизаций для запуска мультимодальной RAG на широко доступных Turing‑GPU с 12–16 ГБ, что снижает барьер для Edge‑AI внедрений.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1