Статья выявляет масштабные методологические сбои в агентных системах для анализа данных
Эта статья на arXiv оценивает «агентные» системы для анализа данных не только по точности, но и через (1) масштабный анализ 220 задач, (2) повторно используемый набор тестов для шести типов ошибок и (3) качественное сравнение с экспертными решениями на Kaggle. Авторы обнаруживают, что большинство агентных пайплайнов содержат по крайней мере одну методологическую ошибку (например, утечку данных или неправильную валидацию), утечка данных часто коррелирует с завышенной производительностью, и агенты уступают людям в творчестве и знании предметной области.