Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #14691

RLHF

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

4

RESEARCH · 1 ИСТОЧН. · Apple Machine Learning Research

Теоретические пределы согласования языковых моделей

В работе получены информационно-теоретические пределы улучшения награды при фиксированном бюджете KL-дивергенции для KL-регуляризованного согласования: закрытая форма, управляемая дивергентностью Джеффриса, и представление в виде ковариации по базовой модели, дающее практический оценщик. Показано, что разрыв при использовании прокси-наград (reward hacking) растёт с ошибкой в награде и при уменьшении KL-пени, доказано, что объединение наград (reward ensembling) уменьшает reward hacking, и эмпирически best-of-N почти достигает теоретического фронтира KL–награда, тогда как PPO и GRPO остаются существенно неоптимальными на задачах безопасности и суммирования.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Cognition-Aligned Reasoning Distillation (CARD): преобразование траекторий решателя в траектории обучения

В статье представлен CARD — фреймворк на основе RL, который преобразует имеющиеся траектории решателя в траектории обучения, согласованные с когнитивными возможностями студента, оптимизируя два вознаграждения (совпадение распределений и логическая согласованность) для облегчения усвоения рассуждений малыми моделями. Оценки показывают улучшение дистилляции в домене и значительный рост качества вне домена; код доступен на GitHub авторов.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Всеобъемлющая структура для всех этапов обучения больших моделей (arXiv:2610.33451v1)

Этот препринт на arXiv предлагает единую деление этапов и шестимерную аналитическую структуру (данные, функция цели, оптимизация, системные ограничения, оценка, риски/управление), охватывающую данные/токенизацию, предобучение и посттренировочную адаптацию для LLM и MLLM, и систематически ревьюирует 395 ссылок (2017–2026). Авторы приводят карту кросс-этапных эффектов, дерево решений, как минимум десять проверяемых открытых проблем и три ключевых вывода: сопоставимость законов масштабирования зависит от качества/смешения данных; методы выравнивания предпочтений (RLHF, DPO) и RL с верифицируемыми наградами меняют границы постобучения; мультимодальная тренировка ставит проблемы в дизайне токенизаторов, целевых функциях и оценке.

7.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

SSRFT: Интернализация безопасной роли для устойчивого согласования безопасности LLM (arXiv:2610.07023v1)

В статье предложен метод SSRFT (Supervised Safe-Role Fine-Tuning), который обучает модели «интернализировать» заранее определённую безопасную роль через создание набора Safe-Role Q&A (SRQA) из психометрических вопросов, ограниченных джейлбрейк‑промптов и описания безопасной роли; ответы, согласованные с ролью, синтезируются, валидируются и расширяются в разные сценарии. Эксперименты на нескольких Base и Instruct моделях показывают, что SSRFT обеспечивает более устойчивое и обобщаемое согласование безопасности по сравнению со стандартным SFT: лучшая защита от prefilling‑атак, более хорошая генерализация на невидимые домены джейлбрейков, уменьшение избыточных отказов и сохранение общих способностей модели.

6.0