ИССЛЕДОВАНИЕ · RESEARCH · #1421
Тяжеловесные (heavy-tailed) следы памяти в долгосрочных языковых агентах (arXiv:2610.00010v1)
В препринте на arXiv исследуется, как внешняя память долгосрочных языковых агентов концентрируется на небольшом ядре часто извлекаемых состояний и оставляет редкие состояния в длинном «хвосте», где накапливаются ошибки предсказания; форма хвоста зависит от политики (логнормальное у случайных обходов vs совместимая с усечённым степенным законом у семантических LLM-политик). Авторы предлагают Core--Tail World Model (CTWM) — ранговый контроллер памяти, распределяющий бюджет подсказки с единым показателем τ и сохраняя суммированный хвост; на Synthetic Graph World CTWM сохраняет покрытие состояний/переходов, сокращает токены подсказки на 5.9% и снижает ошибку в нижней половине хвоста на 13.6% относительно графовой памяти, также демонстрирует экономию токенов на ALFWorld и 24.48% снижение на LongMemEval при паритете точности в целом.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В препринте на arXiv исследуется, как внешняя память долгосрочных языковых агентов концентрируется на небольшом ядре часто извлекаемых состояний и оставляет редкие состояния в длинном «хвосте», где накапливаются ошибки предсказания; форма хвоста зависит от политики (логнормальное у случайных обходов vs совместимая с усечённым степенным законом у семантических LLM-политик).
- Авторы предлагают Core--Tail World Model (CTWM) — ранговый контроллер памяти, распределяющий бюджет подсказки с единым показателем τ и сохраняя суммированный хвост; на Synthetic Graph World CTWM сохраняет покрытие состояний/переходов, сокращает токены подсказки на 5.9% и снижает ошибку в нижней половине хвоста на 13.6% относительно графовой памяти, также демонстрирует экономию токенов на ALFWorld и 24.48% снижение на LongMemEval при паритете точности в целом.
- Выявление heavy-tailed использования памяти и предложение CTWM важно, поскольку даёт практичный низкопараметрический сигнал управления, который снижает затраты токенов и ошибки в хвосте при сохранении покрытия и точности у моделей мира для долгосрочных агентов.
ПОЧЕМУ ЭТО ВАЖНО
Выявление heavy-tailed использования памяти и предложение CTWM важно, поскольку даёт практичный низкопараметрический сигнал управления, который снижает затраты токенов и ошибки в хвосте при сохранении покрытия и точности у моделей мира для долгосрочных агентов.