ИССЛЕДОВАНИЕ · RESEARCH · #1839
SmartSalesBench: многоточечный бенчмарк для оценки LLM‑агентов продаж против сопротивляющихся персонажей покупателей
SmartSalesBench — новый бенчмарк (arXiv:2610.12975v1) для оценки LLM‑агентов продаж в многоповоротных диалогах (до 20 ходов) с психологически обоснованными персонажами покупателей, проявляющими сопротивление. Набор включает 13 680 сессий по пяти профилям агентов, двенадцати персонажам покупателей и пятнадцати смартфонам, использует RAG для генерации и вводит девять метрик оценки (основные: CR, BRS, RIR) с автоматизированным LLM‑судейством и человеческой валидацией (n=50, κ=0.71, Pearson r=0.81 к BRS).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- SmartSalesBench — новый бенчмарк (arXiv:2610.12975v1) для оценки LLM‑агентов продаж в многоповоротных диалогах (до 20 ходов) с психологически обоснованными персонажами покупателей, проявляющими сопротивление.
- Набор включает 13 680 сессий по пяти профилям агентов, двенадцати персонажам покупателей и пятнадцати смартфонам, использует RAG для генерации и вводит девять метрик оценки (основные: CR, BRS, RIR) с автоматизированным LLM‑судейством и человеческой валидацией (n=50, κ=0.71, Pearson r=0.81 к BRS).
- Бенчмарк даёт стандартизованный набор сценариев и метрик для оценки устойчивости и эффективности LLM‑агентов продаж при враждебном/сопротивляющемся поведении покупателей.
ПОЧЕМУ ЭТО ВАЖНО
Бенчмарк даёт стандартизованный набор сценариев и метрик для оценки устойчивости и эффективности LLM‑агентов продаж при враждебном/сопротивляющемся поведении покупателей.
ИСТОЧНИКИ И ХРОНОЛОГИЯ
1arXiv:2610.12975v1 Announce Type: new Abstract: We present SmartSalesBench, the first multi-turn conversational benchmark explicitly designed to evaluate large language model (LLM) sales agents against psychologically grounded, resistant buyer personas. Existing task-oriented dialogue benchmarks assume cooperative users and measure task completion; SmartSalesBench inverts this assumption, placing agents against perso…
arXiv:2610.12927v1 Announce Type: new Abstract: Large language models (LLMs) excel across diverse tasks, benefiting from knowledge priors, in-context reasoning, and test-time computation. Despite these strengths, single-model reasoning remains vulnerable to error propagation, as later steps depend on the model's earlier outputs, leaving reasoning blind spots difficult to independently reassess. To address this limita…