ИССЛЕДОВАНИЕ · RESEARCH · #1400
Что должен запоминать агент? Разделение удержания и поиска в оценке с ограниченной памятью (arXiv:2610.00366v1)
В препринте на arXiv представлен бенчмарк streaming-recall, который пересекает правила удержания и выбора и измеряет каждый режим на тех же 300 заранее заданных эпизодах, чтобы разделить удержание (что сохраняется) и выбор (что извлекается). Основные результаты: при фиксированном доступе выбор, учитывающий запрос, повышает точность воспоминания необходимых фактов на 15,5 процентных пункта (95% ДИ 12,8–18,2); смешанные сравнения, меняющие также доступ к истории, показывают преимущество в 68,7 пункта, из которых 53,2 пункта объясняются доступом; при ограниченном удержании query-aware, dense и oracle selection достигают потолка удержания, все 319 сбоев в условии ограниченной недавности вызваны вытеснением, а не ошибками ранжирования; воспоминание падает до 0% для достаточно далеких целей; на SQuAD dense retrieval может превосходить лексический поиск.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В препринте на arXiv представлен бенчмарк streaming-recall, который пересекает правила удержания и выбора и измеряет каждый режим на тех же 300 заранее заданных эпизодах, чтобы разделить удержание (что сохраняется) и выбор (что извлекается).
- Основные результаты: при фиксированном доступе выбор, учитывающий запрос, повышает точность воспоминания необходимых фактов на 15,5 процентных пункта (95% ДИ 12,8–18,2); смешанные сравнения, меняющие также доступ к истории, показывают преимущество в 68,7 пункта, из которых 53,2 пункта объясняются доступом; при ограниченном удержании query-aware, dense и oracle selection достигают потолка удержания, все 319 сбоев в условии ограниченной недавности вызваны вытеснением, а не ошибками ранжирования; воспоминание падает до 0% для достаточно далеких целей; на SQuAD dense retrieval может превосходить лексический поиск.
- Документ демонстрирует, что многие заявленные улучшения в поиске связаны с изменением доступа к истории, а не с методами выбора, поэтому в оценках с ограниченной памятью нужно фиксировать доступ и отдельно отчётовать удержание и выбор.
ПОЧЕМУ ЭТО ВАЖНО
Документ демонстрирует, что многие заявленные улучшения в поиске связаны с изменением доступа к истории, а не с методами выбора, поэтому в оценках с ограниченной памятью нужно фиксировать доступ и отдельно отчётовать удержание и выбор.