Всеобъемлющая структура для всех этапов обучения больших моделей (arXiv:2610.33451v1)
Этот препринт на arXiv предлагает единую деление этапов и шестимерную аналитическую структуру (данные, функция цели, оптимизация, системные ограничения, оценка, риски/управление), охватывающую данные/токенизацию, предобучение и посттренировочную адаптацию для LLM и MLLM, и систематически ревьюирует 395 ссылок (2017–2026). Авторы приводят карту кросс-этапных эффектов, дерево решений, как минимум десять проверяемых открытых проблем и три ключевых вывода: сопоставимость законов масштабирования зависит от качества/смешения данных; методы выравнивания предпочтений (RLHF, DPO) и RL с верифицируемыми наградами меняют границы постобучения; мультимодальная тренировка ставит проблемы в дизайне токенизаторов, целевых функциях и оценке.