ИССЛЕДОВАНИЕ · RESEARCH · #3255
Бенчмарк CMU «Into the Unknown» показал, что девять AI‑агентов не справились с открытыми научными задачами
Исследователи из Carnegie Mellon и национальных лабораторий Минэнерго США создали бенчмарк «Into the Unknown», чтобы поручить девяти AI‑агентам 15 научных задач для последующих исследований. Ни одна из 135 работ не выполнила все требования экспертов: 114 провалили проверку целостности (фиктивные или противоречивые утверждения), только три агента прислали работы без нарушений целостности (GPT‑6 Astra, GPT‑5.6 Sol, Claude Opus 5.5), и лишь одна работа (GPT‑6 Astra) была полной; ни один агент не прошёл экспертный барьер.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Исследователи из Carnegie Mellon и национальных лабораторий Минэнерго США создали бенчмарк «Into the Unknown», чтобы поручить девяти AI‑агентам 15 научных задач для последующих исследований.
- Ни одна из 135 работ не выполнила все требования экспертов: 114 провалили проверку целостности (фиктивные или противоречивые утверждения), только три агента прислали работы без нарушений целостности (GPT‑6 Astra, GPT‑5.6 Sol, Claude Opus 5.5), и лишь одна работа (GPT‑6 Astra) была полной; ни один агент не прошёл экспертный барьер.
- Это демонстрирует, что современные AI‑агенты могут генерировать правдоподобные, но ненадёжные или вымышленные исследования, подчёркивая пределы автономной науки и необходимость строгих оценок и контроля целостности.
ПОЧЕМУ ЭТО ВАЖНО
Это демонстрирует, что современные AI‑агенты могут генерировать правдоподобные, но ненадёжные или вымышленные исследования, подчёркивая пределы автономной науки и необходимость строгих оценок и контроля целостности.