ИССЛЕДОВАНИЕ · RESEARCH · #2030
Статья выявляет масштабные методологические сбои в агентных системах для анализа данных
Эта статья на arXiv оценивает «агентные» системы для анализа данных не только по точности, но и через (1) масштабный анализ 220 задач, (2) повторно используемый набор тестов для шести типов ошибок и (3) качественное сравнение с экспертными решениями на Kaggle. Авторы обнаруживают, что большинство агентных пайплайнов содержат по крайней мере одну методологическую ошибку (например, утечку данных или неправильную валидацию), утечка данных часто коррелирует с завышенной производительностью, и агенты уступают людям в творчестве и знании предметной области.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Эта статья на arXiv оценивает «агентные» системы для анализа данных не только по точности, но и через (1) масштабный анализ 220 задач, (2) повторно используемый набор тестов для шести типов ошибок и (3) качественное сравнение с экспертными решениями на Kaggle.
- Авторы обнаруживают, что большинство агентных пайплайнов содержат по крайней мере одну методологическую ошибку (например, утечку данных или неправильную валидацию), утечка данных часто коррелирует с завышенной производительностью, и агенты уступают людям в творчестве и знании предметной области.
- Потому что оценка только по точности может скрывать критические методологические ошибки (например, утечку данных), которые подрывают надёжность и практическую ценность агентных систем для анализа данных.
ПОЧЕМУ ЭТО ВАЖНО
Потому что оценка только по точности может скрывать критические методологические ошибки (например, утечку данных), которые подрывают надёжность и практическую ценность агентных систем для анализа данных.