supervised fine-tuning

2026-10-31

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Специализированная LLM Prospero превосходит базовую модель на бенчмарке ICF (arXiv:2610.38024v1)

Статья (arXiv:2610.38024v1) описывает экспертно сформированный бенчмарк из 250 вопросов по инерционному термоядерному синтезу (ICF) — охватывающий качественное рассуждение, численные расчёты, символьные выводы и формулировку уравнений — и сравнивает готовые закрытые и открытые LLM с Prospero, моделью, дообученной с помощью domain‑adaptive pretraining и supervised fine‑tuning. Prospero показал улучшение суммарного балла на 10.7 процентных пункта относительно своей базовой модели; фронтирные модели набирали больше всех, но сохранялись критические физические и численные ошибки; ретривал помог меньшей модели, но не дал статистически значимого выигрыша для фронтирных моделей; авторы предупреждают, что улучшение в бенчмарке не равнозначно научной надёжности.

6.0

2026-10-31

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

LLMON — постобучение даёт явное разделение инструкций и данных и снижает успех атак prompt‑injection

В работе представлен LLMON (LLM Object Notation) — формат постобучения, который заставляет модели явно разделять инструкции и данные и требует идентификаторов для исполнения. На 4,6‑миллиардном корпусе (включая RAG и вызов инструментов с «отвлекающими» вариантами) авторы постобучили Granite-4.1 (3B и 8B) через SFT и RL и показывают, что LLMON снижает успех косвенных prompt‑injection атак с 53–100% до 0,02–5,6%, сохраняя общие способности модели; также предложены метрики интерпретируемости внимания, показывающие изменения в слоях трансформера.

8.0

2026-09-30

RESEARCH · 1 ИСТОЧН. · Apple Machine Learning Research

Систематическое исследование выявляет компромисс между эффективностью и плавностью при кондиционировании LLM

Работа систематически оценивает методы кондиционирования LLM для задач внедрения и удаления концептов и показывает, что многие эффективные методы управления заметно ухудшают качество генерации. Авторы отмечают, что activation-steering существенно слабее на инструкционно дообученных моделях по сравнению с базовыми, в то время как подсказки и супервизированная дообучка годятся для внедрения концептов (но хуже для их удаления); дешёвые текстовые метрики хорошо коррелируют с оценками LLM в роли судей. Опубликовано в TMLR (18 сентября 2026 г.).

7.0

2026-09-25

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Forecast-Dojo: воспроизводимая среда для бенчмарка и обучения LLM-прогнозирующих агентов (arXiv:2609.28876v1)

Forecast-Dojo — воспроизводимая среда, связывающая 1 568 решённых вопросов Polymarket с 18,8 млн датированных новостных статей, чтобы агенты могли исследовать события и пересматривать прогнозы по историческим датам. Авторы протестировали 12 моделей: инструменты исследования снижают Brier score и прогнозы улучшаются по мере поступления новых данных (однако все модели уступают историческим рыночным прогнозам); также опубликованы траектории взаимодействий и пример дообучения с контролем.

6.0

2026-08-26

RESEARCH · 1 ИСТОЧН. · Apple Machine Learning Research

PROOF-Gen: от оптимизированных данных к лучшей дистилляции для вызова инструментов

Статья представляет PROOF-Gen — подход, который генерирует оптимизированные тренировочные данные для улучшения supervised fine-tuning студентских моделей, дистиллируемых из траекторий, сгенерированных «учителем», чтобы преодолеть ограничение распространённого конвейера generate-and-filter, оставляющего трудные случаи без обработки. Авторы отмечают, что на τ 2-bench 57% попыток «учителя» завершаются неудачей, и примерно две трети этих неудач — «близкие промахи» (большинство вызовов инструментов было правильным, но затем отменено), что обосновывает необходимость использования сигналов из ошибок вместо их отбрасывания.

7.0