Scaling in Games: исследование продолженного предобучения (arXiv:2610.28698v1)
В препринте на arXiv представлен контролируемый анализ продолженного предобучения (CPT) для воплощённых агентов по 120 настройкам обучения, варьирующим размер модели (0,8B–27B), объём данных (50–1 600 часов) и разнообразие данных (от Minecraft до многомировых корпусов). Авторы аппроксимируют эмпирический закон масштабирования и показывают, что больше данных улучшает показатели в корпусе, разнообразие помогает переносу в родственных мирах, но слабо — в удалённых мирах; большие модели эффективнее по данным, но при обучении на одном мире хуже обобщаются, и CPT сам по себе вряд ли закрывает пробелы в дистантных средах.