ИССЛЕДОВАНИЕ · RESEARCH · #2544
PersonaScienceBench: бенчмарк для научных агентов с разными имитациями исследователей (arXiv:2610.32106v1)
PersonaScienceBench — новый бенчмарк (arXiv:2610.32106v1) с 200 задачами, взятыми из пяти предыдущих бенчмарков по четырём научным областям. К задачам добавлены имитации исследователей с разными предпочтениями и контекстным обратным связями, поэтому агенты должны адаптироваться через диалог. Авторы проверили восемнадцать конфигураций моделей и провели детальный анализ с использованием GPT‑6 Astra, показав, что результаты по задачам, восстановление фактов и поведение в взаимодействии могут расходиться — агенты могут по‑разному вести себя с разными профилями исследователей, даже при схожих итоговых оценках.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- PersonaScienceBench — новый бенчмарк (arXiv:2610.32106v1) с 200 задачами, взятыми из пяти предыдущих бенчмарков по четырём научным областям.
- К задачам добавлены имитации исследователей с разными предпочтениями и контекстным обратным связями, поэтому агенты должны адаптироваться через диалог.
- Авторы проверили восемнадцать конфигураций моделей и провели детальный анализ с использованием GPT‑6 Astra, показав, что результаты по задачам, восстановление фактов и поведение в взаимодействии могут расходиться — агенты могут по‑разному вести себя с разными профилями исследователей, даже при схожих итоговых оценках.
ПОЧЕМУ ЭТО ВАЖНО
Бенчмарк проверяет, насколько научные агенты адаптируются к разным предпочтениям соавторов в диалоге, выявляя различия в поведении, которые не видны по одним только оценкам задач.