ИССЛЕДОВАНИЕ · RESEARCH · #2066
Исследование: Plan-then-Retrieve превосходит Retrieve-then-Plan для мультииаинструментных запросов
В работе сравниваются две архитектуры поиска инструментов для агентов на базе LLM — Retrieve-then-Plan (RtP) и Plan-then-Retrieve (PtR) — на наборе ToolBench (≈47k API). RtP лучше для одиночных инструментов, тогда как PtR превосходит RtP при запросах с несколькими инструментами во всех бюджетах поиска, размерах реестра и на оценённых моделях (Gemini 2.5 Flash, gpt-oss-120b); PtR подвержен «галлюцинациям» псевдо-API и примерно удваивает стоимость инференса, что обосновывает адаптивный выбор подхода на основе дешёвого сигнала (top-1 RtP).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе сравниваются две архитектуры поиска инструментов для агентов на базе LLM — Retrieve-then-Plan (RtP) и Plan-then-Retrieve (PtR) — на наборе ToolBench (≈47k API).
- RtP лучше для одиночных инструментов, тогда как PtR превосходит RtP при запросах с несколькими инструментами во всех бюджетах поиска, размерах реестра и на оценённых моделях (Gemini 2.5 Flash, gpt-oss-120b); PtR подвержен «галлюцинациям» псевдо-API и примерно удваивает стоимость инференса, что обосновывает адаптивный выбор подхода на основе дешёвого сигнала (top-1 RtP).
- Обнаруживает устойчивый на моделях и масштабах переход, указывающий, когда применять RtP или PtR, и предлагает практический дешёвый сигнал для адаптивного выбора, что влияет на проектирование систем с инструментами для LLM.
ПОЧЕМУ ЭТО ВАЖНО
Обнаруживает устойчивый на моделях и масштабах переход, указывающий, когда применять RtP или PtR, и предлагает практический дешёвый сигнал для адаптивного выбора, что влияет на проектирование систем с инструментами для LLM.