ИССЛЕДОВАНИЕ · RESEARCH · #2871
Специализированная LLM Prospero превосходит базовую модель на бенчмарке ICF (arXiv:2610.38024v1)
Статья (arXiv:2610.38024v1) описывает экспертно сформированный бенчмарк из 250 вопросов по инерционному термоядерному синтезу (ICF) — охватывающий качественное рассуждение, численные расчёты, символьные выводы и формулировку уравнений — и сравнивает готовые закрытые и открытые LLM с Prospero, моделью, дообученной с помощью domain‑adaptive pretraining и supervised fine‑tuning. Prospero показал улучшение суммарного балла на 10.7 процентных пункта относительно своей базовой модели; фронтирные модели набирали больше всех, но сохранялись критические физические и численные ошибки; ретривал помог меньшей модели, но не дал статистически значимого выигрыша для фронтирных моделей; авторы предупреждают, что улучшение в бенчмарке не равнозначно научной надёжности.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья (arXiv:2610.38024v1) описывает экспертно сформированный бенчмарк из 250 вопросов по инерционному термоядерному синтезу (ICF) — охватывающий качественное рассуждение, численные расчёты, символьные выводы и формулировку уравнений — и сравнивает готовые закрытые и открытые LLM с Prospero, моделью, дообученной с помощью domain‑adaptive pretraining и supervised fine‑tuning.
- Prospero показал улучшение суммарного балла на 10.7 процентных пункта относительно своей базовой модели; фронтирные модели набирали больше всех, но сохранялись критические физические и численные ошибки; ретривал помог меньшей модели, но не дал статистически значимого выигрыша для фронтирных моделей; авторы предупреждают, что улучшение в бенчмарке не равнозначно научной надёжности.
- Показывает, что доменная специализация улучшает результаты LLM в научных задачах, но не устраняет критические физические и численные ошибки, поэтому одних улучшений в бенчмарке недостаточно для утверждения научной надёжности.
ПОЧЕМУ ЭТО ВАЖНО
Показывает, что доменная специализация улучшает результаты LLM в научных задачах, но не устраняет критические физические и численные ошибки, поэтому одних улучшений в бенчмарке недостаточно для утверждения научной надёжности.