ИССЛЕДОВАНИЕ · RESEARCH · #521
Contiguity, Not Importance — бюджетный ремонт устаревших KV-кэшей после правок (arXiv:2609.17983v1)
В работе формулируют восстановление устаревших KV-кэшей после правок как бюджетную рекомпутацию и сравнивают политики выбора позиций без дообучения на фактическом RAG-бенчмарке. Во всех трёх семейств моделей контiguous окно вокруг правки при основном бюджете восстанавливает ≥0.94 пост-правочной маржи ответа, значительно превосходит селекторы на основе внимания, отклонения KV и структурные селекторы по производительности при производных правках и в 13–21× быстрее полной повторной предзаполнения, но преимущество исчезает, если ответный текст смещается вниз по контексту.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе формулируют восстановление устаревших KV-кэшей после правок как бюджетную рекомпутацию и сравнивают политики выбора позиций без дообучения на фактическом RAG-бенчмарке.
- Во всех трёх семейств моделей контiguous окно вокруг правки при основном бюджете восстанавливает ≥0.94 пост-правочной маржи ответа, значительно превосходит селекторы на основе внимания, отклонения KV и структурные селекторы по производительности при производных правках и в 13–21× быстрее полной повторной предзаполнения, но преимущество исчезает, если ответный текст смещается вниз по контексту.
- Поскольку KV-кэши часто используют для снижения стоимости вывода, показанное в работе, что безусловный локальный ремонт вокруг правки дешёво сохраняет корректность при смежных зависимостях, даёт практичную и гораздо более быструю альтернативу полной повторной предзагрузке.
ПОЧЕМУ ЭТО ВАЖНО
Поскольку KV-кэши часто используют для снижения стоимости вывода, показанное в работе, что безусловный локальный ремонт вокруг правки дешёво сохраняет корректность при смежных зависимостях, даёт практичную и гораздо более быструю альтернативу полной повторной предзагрузке.