ИССЛЕДОВАНИЕ · RESEARCH · #2485
Scaling in Games: исследование продолженного предобучения (arXiv:2610.28698v1)
В препринте на arXiv представлен контролируемый анализ продолженного предобучения (CPT) для воплощённых агентов по 120 настройкам обучения, варьирующим размер модели (0,8B–27B), объём данных (50–1 600 часов) и разнообразие данных (от Minecraft до многомировых корпусов). Авторы аппроксимируют эмпирический закон масштабирования и показывают, что больше данных улучшает показатели в корпусе, разнообразие помогает переносу в родственных мирах, но слабо — в удалённых мирах; большие модели эффективнее по данным, но при обучении на одном мире хуже обобщаются, и CPT сам по себе вряд ли закрывает пробелы в дистантных средах.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В препринте на arXiv представлен контролируемый анализ продолженного предобучения (CPT) для воплощённых агентов по 120 настройкам обучения, варьирующим размер модели (0,8B–27B), объём данных (50–1 600 часов) и разнообразие данных (от Minecraft до многомировых корпусов).
- Авторы аппроксимируют эмпирический закон масштабирования и показывают, что больше данных улучшает показатели в корпусе, разнообразие помогает переносу в родственных мирах, но слабо — в удалённых мирах; большие модели эффективнее по данным, но при обучении на одном мире хуже обобщаются, и CPT сам по себе вряд ли закрывает пробелы в дистантных средах.
- Статья количественно показывает взаимодействие объёма данных, разнообразия и размера модели для воплощённых агентов в виртуальных мирах и демонстрирует ограничения CPT, указывая, когда масштабирование помогает, а когда требуются дополнительные стадии обучения.
ПОЧЕМУ ЭТО ВАЖНО
Статья количественно показывает взаимодействие объёма данных, разнообразия и размера модели для воплощённых агентов в виртуальных мирах и демонстрирует ограничения CPT, указывая, когда масштабирование помогает, а когда требуются дополнительные стадии обучения.