Бенчмарк VAmoS Energy: более жесткая и реалистичная симуляция голосовых агентов для звонков по счетам
Статья VAmoS Part Deux (arXiv:2609.38512v1) представляет VAmoS Energy — набор из 100 симулированных звонков по оплате коммунальных услуг, где у каждого звонящего 2–4 запроса, а агентам доступны 16 инструментов (включая тестовую интеграцию Stripe и Apache Fineract). LLM‑верификатор (99,1% согласия с кодовым верфикатором) проверяет действия агента и произносимые числа; по 14 голосовым стекам показатели выполнения задач составили 17,3%–44,7% (лидирующее место у Grok Voice), а фоновой телевизор снизил общий успех с 38,7% до 8,6%.