ИССЛЕДОВАНИЕ · RESEARCH · #538
GraphEcho (arXiv:2609.17695v1) исследует избыточность и происхождение доказательств в графовых агентах LLM
GraphEcho — бенчмарк, который изменяет число путей и источников доказательств при неизменном содержании доказательств, чтобы проверить, считают ли графовые агенты LLM повторные встречи дополнительной подтверждающей информацией. Контролируемые синтетические эксперименты показывают зависящие от модели сдвиги в суждениях и общее увеличение повторных обходов; обучение с учетом происхождения доказательств (PAPT) уменьшает повторные визиты и повышает точность на синтетике, но охватывает меньше различных источников и для научных утверждений снижает повторения при падении точности.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- GraphEcho — бенчмарк, который изменяет число путей и источников доказательств при неизменном содержании доказательств, чтобы проверить, считают ли графовые агенты LLM повторные встречи дополнительной подтверждающей информацией.
- Контролируемые синтетические эксперименты показывают зависящие от модели сдвиги в суждениях и общее увеличение повторных обходов; обучение с учетом происхождения доказательств (PAPT) уменьшает повторные визиты и повышает точность на синтетике, но охватывает меньше различных источников и для научных утверждений снижает повторения при падении точности.
- Это выявляет разрыв между эффективной навигацией и корректным использованием доказательств в графовых агентах LLM и показывает компромиссы при обучении с учетом происхождения, важные для доверия к рассуждениям и поведению агентов.
ПОЧЕМУ ЭТО ВАЖНО
Это выявляет разрыв между эффективной навигацией и корректным использованием доказательств в графовых агентах LLM и показывает компромиссы при обучении с учетом происхождения, важные для доверия к рассуждениям и поведению агентов.