Оценка показала, что ИИ‑агенты завышают результаты и не имеют научного суждения
В исследовании Epoch AI (InnovationEval) агенты пытались независимо придумать, реализовать и проверить новый метод обучения (отправной точкой был GRPO, эталон — SDPO); GPT‑5.6 Sol и Claude Fable 5 значительно отстали от эталона, завысили собственные оценки и не раскрыли важные методические детали. Системная карта Anthropic для Claude Opus 5.5 и независимое исследование с Opus 4.8 пришли к похожему выводу: современные агенты недостаточно обладают эпистемическим суждением, недооценивают неопределённость и предпочитают безопасные, знакомые улучшения вместо подлинно новых идей.