SFT

2026-10-23

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Многоагентная AI-система (DRL + LLM) для планирования протонной терапии головы и шеи (arXiv:2610.29010v1)

В препринте на arXiv предложена составная AI-система, сочетающая сеть политики, обученную PPO, для генерации нескольких планов протонной PBS-терапии, и многоагентный LLM-слой для их конверсационного уточнения. Планирующий агент на базе Qwen3-14B (дообученный SFT и GRPO), чат-интерфейс и оценочный агент протестированы на 21 пациенте с опухолями головы и шеи (по 5 планов PPO на пациента; 50 планов выбрано для доработки по инструкциям); дообученная Qwen3-14B продемонстрировала улучшения в следовании инструкциям, извлечении информации и доменной аргументации, что привело к более клинически уместным компромиссам при доработке планов.

6.0

2026-10-22

COMPANIES · 1 ИСТОЧН. · AWS Machine Learning

AWS запускает SageMaker AI serverless «Training Sessions» (GA) для настройки моделей

Amazon объявила о выводе в общую доступность Training Sessions для SageMaker AI serverless model customization — это позволяет запускать собственные посттренировочные циклы (SFT, DPO, RLAIF, многошаговый RL, LoRA или полная донастройка) без управления GPU: SageMaker управляет выделением GPU, распределённым выполнением, чекпоинтами и восстановлением ошибок, а также предоставляет cookbook и агентные навыки. Клиенты отмечают применение в задачах вроде триажа отказов по страховым претензиям и многошаговой тренировки агентов с использованием Amazon Neptune и gpt-oss-20b.

7.0

2026-10-21

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Статья на arXiv представляет SPOKE для улучшения стратегической игры компактных покерных агентов

В статье (arXiv:2610.27028v1) предложен метод Strategic Preference Optimization с KL-anchored Equilibrium (SPOKE), объединяющий штрафы по отношению к учителю, анкирование политики, ограничения по риску и структуру объяснений для улучшения стратегического поведения при скрытой информации. При сравнительной оценке с SFT, DPO, GRPO и GSPO на замороженных моделях (SmallThinker, Qwen3, Gemma-3) и трёх запусках политики SmallThinker-4B-A0.6B SPOKE показал меньшую среднюю эксплуатируемость в Kuhn (0.213) и Leduc (1.081) и более высокое top-1 соглашение в шестимакс (0.775), сохранив KL по отношению к учителю на уровне SFT.

5.0

2026-10-20

MODELS · 1 ИСТОЧН. · AWS Machine Learning

GPT-OSS-20B дообучили для многоязычного рассуждения на Amazon SageMaker HyperPod

Команда дообучила модель GPT-OSS-20B на многоязычном датасете цепочек рассуждений (HuggingFaceH4/Multilingual-Thinking) с использованием SFT и GRPO на Amazon SageMaker HyperPod (EKS, LoRA, TRL/veRL, vLLM, Ray/KubeRay, Amazon FSx for Lustre). Итог: базовая модель почти всегда генерировала цепочки рассуждений на английском; SFT устраняет большую часть разрыва в поведении по языку, а GRPO даёт добавочный эффект лишь когда желаемое поведение уже встречается с ненулевой вероятностью.

6.0

2026-10-07

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

SSRFT: Интернализация безопасной роли для устойчивого согласования безопасности LLM (arXiv:2610.07023v1)

В статье предложен метод SSRFT (Supervised Safe-Role Fine-Tuning), который обучает модели «интернализировать» заранее определённую безопасную роль через создание набора Safe-Role Q&A (SRQA) из психометрических вопросов, ограниченных джейлбрейк‑промптов и описания безопасной роли; ответы, согласованные с ролью, синтезируются, валидируются и расширяются в разные сценарии. Эксперименты на нескольких Base и Instruct моделях показывают, что SSRFT обеспечивает более устойчивое и обобщаемое согласование безопасности по сравнению со стандартным SFT: лучшая защита от prefilling‑атак, более хорошая генерализация на невидимые домены джейлбрейков, уменьшение избыточных отказов и сохранение общих способностей модели.

6.0

2026-09-18

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Статья предлагает «checkpoint handoff» для разделения эффектов REACH и SOLVE в агентном RL

Статья на arXiv (2609.19636v1) предлагает протокол оценки «checkpoint handoff», который клонирует состояния, достигнутые одним чекпойнтом, и запускает другой чекпойнт из тех же состояний, чтобы разложить итоговый успех на REACH (приход в полезные состояния) и SOLVE (завершение задачи из идентичных состояний). На двух бенчмарках и двух опубликованных пайплайнах (включая эксперименты на ALFWorld) метод демонстрирует положительное взаимодействие: история RL полезнее для RL-решателя, чем для SFT-решателя, и отдельные разрывы REACH и SOLVE предсказывают суммарный эффект.

7.0