Когда использовать дисагрегацию Encode-Prefill-Decode (EPD) для ускорения сервинга мультимодальных моделей
Статья на NVIDIA Developer описывает дисагрегацию encode-prefill-decode (EPD) — оптимизацию вывода, которая отделяет стадию визуального энкодера от этапов prefill/decode для мультимодальных моделей. В материале рассматриваются сценарии применения, компромиссы и практические аспекты внедрения EPD для повышения пропускной способности и снижения задержки при сервинге моделей.