Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3118

Статья на arXiv исследует итеративные циклы «писатель—оценщик» для сквозных проектов по анализу данных

В работе arXiv:2611.05548v1 исследуют, насколько агентные языковые модели способны выполнять сквозные проекты по анализу данных: «писатель» создаёт проект, «оценщик» его оценивает, затем вводятся до трёх раундов исправлений. Из 49 пар моделей (семь моделей от Anthropic, OpenAI, Google, DeepSeek и Z.AI) и 147 первичных отправок 107 были выполнены и отрендерены; средняя оценка выросла с 59% до 76% после трёх раундов, при значительной вариативности по моделям (например, Haiku 4.5 прибавил ~46 п.п., Opus 5.5 — ~3 п.п.).

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. В работе arXiv:2611.05548v1 исследуют, насколько агентные языковые модели способны выполнять сквозные проекты по анализу данных: «писатель» создаёт проект, «оценщик» его оценивает, затем вводятся до трёх раундов исправлений.
  2. Из 49 пар моделей (семь моделей от Anthropic, OpenAI, Google, DeepSeek и Z.AI) и 147 первичных отправок 107 были выполнены и отрендерены; средняя оценка выросла с 59% до 76% после трёх раундов, при значительной вариативности по моделям (например, Haiku 4.5 прибавил ~46 п.п., Opus 5.5 — ~3 п.п.).
  3. Показывает, что итеративная оценка и исправления заметно улучшают выполнение сквозных задач по анализу данных и что эффект сильно зависит от ролей конкретных моделей.

ПОЧЕМУ ЭТО ВАЖНО

Показывает, что итеративная оценка и исправления заметно улучшают выполнение сквозных задач по анализу данных и что эффект сильно зависит от ролей конкретных моделей.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1