PaMER: обнаружены сигналы управления памятью до действия в агентaх с долгим горизонтом; метод снижает потребление контекста
Авторы показывают, что скрытые состояния непосредственно перед каждым действием в агентах на базе больших языковых моделей содержат сигналы о необходимости сжатия и восстановления памяти, эти сигналы формируются по-разному по глубине модели и не сводятся к простой длине контекста или ходу взаимодействия. Они предлагают Preaction Memory with Evidence Retrieval (PaMER) и PaMER+ — сжатие, управляемое состоянием, плюс селективный поиск исторических доказательств — и демонстрируют на WorkBuddyBench существенное сокращение потребления контекста при сохранении сопоставимой производительности задач на разных архитектурах и базовых методах.