WAKMan — менеджер KV-кэша с учётом нагрузки для LLM-серверов
WAKMan — это менеджер KV-кэша, учитывающий нагрузку (arXiv:2610.36355v1), который выбирает политику вытеснения по живому трафику без чтения подсказок и знаний о типах запросов, чтобы повысить долю попаданий при префиксном кэшировании для LLM-серверов. В тестах на смесях одиночных, многошаговых и агентных запросов WAKMan увеличивает показатель попаданий примерно на 5 процентных пунктов по сравнению с LRU и показывает наименьший средний и наихудший разрыв от оптимума среди проверенных политик.