ИССЛЕДОВАНИЕ · RESEARCH · #1908
Mix, Don't Tune (ICLR 2026): билингвальная предобучение лучше гиперпараметрического тюнинга для малоданных языков
Статья ICLR 2026 «Mix, Don't Tune» сравнивает агрессивную настройку гиперпараметров и добавление данных на высокоресурсном языке (английский) при предобучении для малоресурсного языка (арабский). На ~1000 запусков и четырех масштабах моделей (150M–1.43B) авторы показывают, что смешивание даёт большие улучшения по валидационной потере и downstream‑метрикам (по оценкам, эквивалентно добавлению 2–3× уникальных целевых данных для валидации и 2–13× для точности задач), преимущество растёт с размером модели, валидационная потеря недооценивает вклад знаний от смешивания; в практических рекомендациях — отдавать приоритет коэффициенту смешивания и переносить гиперпараметры через μP.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья ICLR 2026 «Mix, Don't Tune» сравнивает агрессивную настройку гиперпараметров и добавление данных на высокоресурсном языке (английский) при предобучении для малоресурсного языка (арабский).
- На ~1000 запусков и четырех масштабах моделей (150M–1.43B) авторы показывают, что смешивание даёт большие улучшения по валидационной потере и downstream‑метрикам (по оценкам, эквивалентно добавлению 2–3× уникальных целевых данных для валидации и 2–13× для точности задач), преимущество растёт с размером модели, валидационная потеря недооценивает вклад знаний от смешивания; в практических рекомендациях — отдавать приоритет коэффициенту смешивания и переносить гиперпараметры через μP.
- Это демонстрирует, что добавление данных с высокоресурсного языка эффективнее и масштабируемее, чем дорогой поиск гиперпараметров для улучшения предобучения в малоданных языках, и влияет на практические решения при обучении мультилингвальных моделей.
ПОЧЕМУ ЭТО ВАЖНО
Это демонстрирует, что добавление данных с высокоресурсного языка эффективнее и масштабируемее, чем дорогой поиск гиперпараметров для улучшения предобучения в малоданных языках, и влияет на практические решения при обучении мультилингвальных моделей.