ИССЛЕДОВАНИЕ · RESEARCH · #3792
Ухудшение при длинной генерации — проблема сэмплинга; top-nsigma предотвращает коллапс при высокой температуре
Статья на arXiv (arXiv:2611.22148v1) протестировала 29 открытых моделей (1B–122B) на десяти бенчмарках для длинного контекста, включая поиск до миллиона токенов, и показала, что сэмплеры, сохраняющие небольшой пул кандидатов при росте температуры (особенно top-nsigma), сохраняют точность, тогда как сэмплеры, допускающие множество маловероятных токенов (top-p, top-k, Top-H), разрушаются при высокой температуре. Авторы отмечают, что размер пула предсказывает качество (Spearman −0.77), приводят примеры на Llama-3.1-8B и Qwen3.5 и публикуют код и данные.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья на arXiv (arXiv:2611.22148v1) протестировала 29 открытых моделей (1B–122B) на десяти бенчмарках для длинного контекста, включая поиск до миллиона токенов, и показала, что сэмплеры, сохраняющие небольшой пул кандидатов при росте температуры (особенно top-nsigma), сохраняют точность, тогда как сэмплеры, допускающие множество маловероятных токенов (top-p, top-k, Top-H), разрушаются при высокой температуре.
- Авторы отмечают, что размер пула предсказывает качество (Spearman −0.77), приводят примеры на Llama-3.1-8B и Qwen3.5 и публикуют код и данные.
- Это показывает, что конструкция сэмплера — особенно контроль размера пула кандидатов — может быть так же решающей, как обучение модели, для сохранения точности при длинной или высокотемпературной генерации, и влияет на выбор настроек для задач с длинным контекстом.
ПОЧЕМУ ЭТО ВАЖНО
Это показывает, что конструкция сэмплера — особенно контроль размера пула кандидатов — может быть так же решающей, как обучение модели, для сохранения точности при длинной или высокотемпературной генерации, и влияет на выбор настроек для задач с длинным контекстом.