ИССЛЕДОВАНИЕ · RESEARCH · #926
PaMER: обнаружены сигналы управления памятью до действия в агентaх с долгим горизонтом; метод снижает потребление контекста
Авторы показывают, что скрытые состояния непосредственно перед каждым действием в агентах на базе больших языковых моделей содержат сигналы о необходимости сжатия и восстановления памяти, эти сигналы формируются по-разному по глубине модели и не сводятся к простой длине контекста или ходу взаимодействия. Они предлагают Preaction Memory with Evidence Retrieval (PaMER) и PaMER+ — сжатие, управляемое состоянием, плюс селективный поиск исторических доказательств — и демонстрируют на WorkBuddyBench существенное сокращение потребления контекста при сохранении сопоставимой производительности задач на разных архитектурах и базовых методах.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Авторы показывают, что скрытые состояния непосредственно перед каждым действием в агентах на базе больших языковых моделей содержат сигналы о необходимости сжатия и восстановления памяти, эти сигналы формируются по-разному по глубине модели и не сводятся к простой длине контекста или ходу взаимодействия.
- Они предлагают Preaction Memory with Evidence Retrieval (PaMER) и PaMER+ — сжатие, управляемое состоянием, плюс селективный поиск исторических доказательств — и демонстрируют на WorkBuddyBench существенное сокращение потребления контекста при сохранении сопоставимой производительности задач на разных архитектурах и базовых методах.
- Если потребности в памяти можно выявлять до действия и управлять ими, агенты смогут сокращать дорогое хранение контекста и выборочно извлекать нужную историю, что повышает масштабируемость агентов с долгим горизонтом.
ПОЧЕМУ ЭТО ВАЖНО
Если потребности в памяти можно выявлять до действия и управлять ими, агенты смогут сокращать дорогое хранение контекста и выборочно извлекать нужную историю, что повышает масштабируемость агентов с долгим горизонтом.