ИССЛЕДОВАНИЕ · RESEARCH · #3118
Статья на arXiv исследует итеративные циклы «писатель—оценщик» для сквозных проектов по анализу данных
В работе arXiv:2611.05548v1 исследуют, насколько агентные языковые модели способны выполнять сквозные проекты по анализу данных: «писатель» создаёт проект, «оценщик» его оценивает, затем вводятся до трёх раундов исправлений. Из 49 пар моделей (семь моделей от Anthropic, OpenAI, Google, DeepSeek и Z.AI) и 147 первичных отправок 107 были выполнены и отрендерены; средняя оценка выросла с 59% до 76% после трёх раундов, при значительной вариативности по моделям (например, Haiku 4.5 прибавил ~46 п.п., Opus 5.5 — ~3 п.п.).
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В работе arXiv:2611.05548v1 исследуют, насколько агентные языковые модели способны выполнять сквозные проекты по анализу данных: «писатель» создаёт проект, «оценщик» его оценивает, затем вводятся до трёх раундов исправлений.
- Из 49 пар моделей (семь моделей от Anthropic, OpenAI, Google, DeepSeek и Z.AI) и 147 первичных отправок 107 были выполнены и отрендерены; средняя оценка выросла с 59% до 76% после трёх раундов, при значительной вариативности по моделям (например, Haiku 4.5 прибавил ~46 п.п., Opus 5.5 — ~3 п.п.).
- Показывает, что итеративная оценка и исправления заметно улучшают выполнение сквозных задач по анализу данных и что эффект сильно зависит от ролей конкретных моделей.
ПОЧЕМУ ЭТО ВАЖНО
Показывает, что итеративная оценка и исправления заметно улучшают выполнение сквозных задач по анализу данных и что эффект сильно зависит от ролей конкретных моделей.