ИССЛЕДОВАНИЕ · RESEARCH · #2703
Когда поиска недостаточно: устаревшие факты в памяти агента снижают точность
В статье (arXiv:2610.36308v1) на задаче FactConsolidation из MemoryAgentBench показано, что простого извлечения новейшего утверждения недостаточно для корректных ответов. Для Qwen2.5-7B-Instruct на истории в 6K точность BM25 падает с 45% до 32% при увеличении бюджета извлечённого контента с 64 до 512 токенов, хотя голд-аудит находит новейшее утверждение в каждом наборе; замена нерелевантного утверждения на устаревшее снижает точность с 100% до 44.6% (Qwen2.5) и до 87.8% (Qwen3-14B) — все 50 вредоносных парных флипов классифицированы как устаревшие, а репликация с историей 32K показывает преимущество BM25-64 над BM25-512 (69% против 58%).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье (arXiv:2610.36308v1) на задаче FactConsolidation из MemoryAgentBench показано, что простого извлечения новейшего утверждения недостаточно для корректных ответов.
- Для Qwen2.5-7B-Instruct на истории в 6K точность BM25 падает с 45% до 32% при увеличении бюджета извлечённого контента с 64 до 512 токенов, хотя голд-аудит находит новейшее утверждение в каждом наборе; замена нерелевантного утверждения на устаревшее снижает точность с 100% до 44.6% (Qwen2.5) и до 87.8% (Qwen3-14B) — все 50 вредоносных парных флипов классифицированы как устаревшие, а репликация с историей 32K показывает преимущество BM25-64 над BM25-512 (69% против 58%).
- Это демонстрирует, что системам памяти агентов нужно не только извлекать новейшие данные, но и обнаруживать и разрешать устаревшие или конкурирующие утверждения, чтобы не вводить в заблуждение.
ПОЧЕМУ ЭТО ВАЖНО
Это демонстрирует, что системам памяти агентов нужно не только извлекать новейшие данные, но и обнаруживать и разрешать устаревшие или конкурирующие утверждения, чтобы не вводить в заблуждение.