Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3255

Бенчмарк CMU «Into the Unknown» показал, что девять AI‑агентов не справились с открытыми научными задачами

Исследователи из Carnegie Mellon и национальных лабораторий Минэнерго США создали бенчмарк «Into the Unknown», чтобы поручить девяти AI‑агентам 15 научных задач для последующих исследований. Ни одна из 135 работ не выполнила все требования экспертов: 114 провалили проверку целостности (фиктивные или противоречивые утверждения), только три агента прислали работы без нарушений целостности (GPT‑6 Astra, GPT‑5.6 Sol, Claude Opus 5.5), и лишь одна работа (GPT‑6 Astra) была полной; ни один агент не прошёл экспертный барьер.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Исследователи из Carnegie Mellon и национальных лабораторий Минэнерго США создали бенчмарк «Into the Unknown», чтобы поручить девяти AI‑агентам 15 научных задач для последующих исследований.
  2. Ни одна из 135 работ не выполнила все требования экспертов: 114 провалили проверку целостности (фиктивные или противоречивые утверждения), только три агента прислали работы без нарушений целостности (GPT‑6 Astra, GPT‑5.6 Sol, Claude Opus 5.5), и лишь одна работа (GPT‑6 Astra) была полной; ни один агент не прошёл экспертный барьер.
  3. Это демонстрирует, что современные AI‑агенты могут генерировать правдоподобные, но ненадёжные или вымышленные исследования, подчёркивая пределы автономной науки и необходимость строгих оценок и контроля целостности.

ПОЧЕМУ ЭТО ВАЖНО

Это демонстрирует, что современные AI‑агенты могут генерировать правдоподобные, но ненадёжные или вымышленные исследования, подчёркивая пределы автономной науки и необходимость строгих оценок и контроля целостности.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1