Специализированная LLM Prospero превосходит базовую модель на бенчмарке ICF (arXiv:2610.38024v1)
Статья (arXiv:2610.38024v1) описывает экспертно сформированный бенчмарк из 250 вопросов по инерционному термоядерному синтезу (ICF) — охватывающий качественное рассуждение, численные расчёты, символьные выводы и формулировку уравнений — и сравнивает готовые закрытые и открытые LLM с Prospero, моделью, дообученной с помощью domain‑adaptive pretraining и supervised fine‑tuning. Prospero показал улучшение суммарного балла на 10.7 процентных пункта относительно своей базовой модели; фронтирные модели набирали больше всех, но сохранялись критические физические и численные ошибки; ретривал помог меньшей модели, но не дал статистически значимого выигрыша для фронтирных моделей; авторы предупреждают, что улучшение в бенчмарке не равнозначно научной надёжности.