ИССЛЕДОВАНИЕ · RESEARCH · #2698
WAKMan — менеджер KV-кэша с учётом нагрузки для LLM-серверов
WAKMan — это менеджер KV-кэша, учитывающий нагрузку (arXiv:2610.36355v1), который выбирает политику вытеснения по живому трафику без чтения подсказок и знаний о типах запросов, чтобы повысить долю попаданий при префиксном кэшировании для LLM-серверов. В тестах на смесях одиночных, многошаговых и агентных запросов WAKMan увеличивает показатель попаданий примерно на 5 процентных пунктов по сравнению с LRU и показывает наименьший средний и наихудший разрыв от оптимума среди проверенных политик.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- WAKMan — это менеджер KV-кэша, учитывающий нагрузку (arXiv:2610.36355v1), который выбирает политику вытеснения по живому трафику без чтения подсказок и знаний о типах запросов, чтобы повысить долю попаданий при префиксном кэшировании для LLM-серверов.
- В тестах на смесях одиночных, многошаговых и агентных запросов WAKMan увеличивает показатель попаданий примерно на 5 процентных пунктов по сравнению с LRU и показывает наименьший средний и наихудший разрыв от оптимума среди проверенных политик.
- Улучшение политики вытеснения KV-кэша для разных LLM-нагрузок снижает задержки и затраты на обслуживание; WAKMan предлагает автоматический подход по live-трафику, который в среднем опережает фиксированные политики типа LRU.
ПОЧЕМУ ЭТО ВАЖНО
Улучшение политики вытеснения KV-кэша для разных LLM-нагрузок снижает задержки и затраты на обслуживание; WAKMan предлагает автоматический подход по live-трафику, который в среднем опережает фиксированные политики типа LRU.