ИССЛЕДОВАНИЕ · RESEARCH · #3803
Исследование: у торговых агентов на базе LLM усиление рассуждений повышает уверенность, но не точность
Статья на arXiv (arXiv:2611.22033v1) протестировала десять передовых LLM на трёх наборах для выбора товаров (WebShop, Amazon SQID, Wayfair WANDS) и обнаружила, что призывы к более глубокой обработке не улучшают качество покупательских решений, но заметно повышают заявленную уверенность. Авторы также показывают плохую калибровку моделей на разных уровнях усилий и сильную корреляцию ошибок, когда многие модели выбирают одни и те же неверные товары.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья на arXiv (arXiv:2611.22033v1) протестировала десять передовых LLM на трёх наборах для выбора товаров (WebShop, Amazon SQID, Wayfair WANDS) и обнаружила, что призывы к более глубокой обработке не улучшают качество покупательских решений, но заметно повышают заявленную уверенность.
- Авторы также показывают плохую калибровку моделей на разных уровнях усилий и сильную корреляцию ошибок, когда многие модели выбирают одни и те же неверные товары.
- Это важно, поскольку подсказки, побуждающие модель «думаьть больше», могут создавать ложное доверие — уверенность растёт без роста правильности, что влияет на внедрение и доверие к автономным торговым агентам.
ПОЧЕМУ ЭТО ВАЖНО
Это важно, поскольку подсказки, побуждающие модель «думаьть больше», могут создавать ложное доверие — уверенность растёт без роста правильности, что влияет на внедрение и доверие к автономным торговым агентам.