ИССЛЕДОВАНИЕ · RESEARCH · #2017
Какая метадата важна для выбора инструментов LLM в MCP (arXiv:2610.14334v1)
Эта статья на arXiv анализирует метаданные 367 174 инструментов MCP и проводит контролируемые одиночные вмешательства в метаданные на пяти LLM и в пяти задачах с оценкой эффектов с помощью условной логистической регрессии. Авторы показывают, что различия в структуре параметров (parameter schema) вызывают наиболее значимые и устойчивые смещения в выборе инструмента, описания, поясняющие параметры, повышают вероятность выбора, названия влияют слабее, а явная совместимость с запросом может преодолеть смещение по позиции.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Эта статья на arXiv анализирует метаданные 367 174 инструментов MCP и проводит контролируемые одиночные вмешательства в метаданные на пяти LLM и в пяти задачах с оценкой эффектов с помощью условной логистической регрессии.
- Авторы показывают, что различия в структуре параметров (parameter schema) вызывают наиболее значимые и устойчивые смещения в выборе инструмента, описания, поясняющие параметры, повышают вероятность выбора, названия влияют слабее, а явная совместимость с запросом может преодолеть смещение по позиции.
- Демонстрирует, что проектирование схемы параметров (а не только названия или описания) может менять, какую реализацию выбирает LLM, поэтому дизайн схем и порядок инструментов реально влияют на поведение MCP.
ПОЧЕМУ ЭТО ВАЖНО
Демонстрирует, что проектирование схемы параметров (а не только названия или описания) может менять, какую реализацию выбирает LLM, поэтому дизайн схем и порядок инструментов реально влияют на поведение MCP.