Mix, Don't Tune (ICLR 2026): билингвальная предобучение лучше гиперпараметрического тюнинга для малоданных языков
Статья ICLR 2026 «Mix, Don't Tune» сравнивает агрессивную настройку гиперпараметров и добавление данных на высокоресурсном языке (английский) при предобучении для малоресурсного языка (арабский). На ~1000 запусков и четырех масштабах моделей (150M–1.43B) авторы показывают, что смешивание даёт большие улучшения по валидационной потере и downstream‑метрикам (по оценкам, эквивалентно добавлению 2–3× уникальных целевых данных для валидации и 2–13× для точности задач), преимущество растёт с размером модели, валидационная потеря недооценивает вклад знаний от смешивания; в практических рекомендациях — отдавать приоритет коэффициенту смешивания и переносить гиперпараметры через μP.