Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3792

Ухудшение при длинной генерации — проблема сэмплинга; top-nsigma предотвращает коллапс при высокой температуре

Статья на arXiv (arXiv:2611.22148v1) протестировала 29 открытых моделей (1B–122B) на десяти бенчмарках для длинного контекста, включая поиск до миллиона токенов, и показала, что сэмплеры, сохраняющие небольшой пул кандидатов при росте температуры (особенно top-nsigma), сохраняют точность, тогда как сэмплеры, допускающие множество маловероятных токенов (top-p, top-k, Top-H), разрушаются при высокой температуре. Авторы отмечают, что размер пула предсказывает качество (Spearman −0.77), приводят примеры на Llama-3.1-8B и Qwen3.5 и публикуют код и данные.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Статья на arXiv (arXiv:2611.22148v1) протестировала 29 открытых моделей (1B–122B) на десяти бенчмарках для длинного контекста, включая поиск до миллиона токенов, и показала, что сэмплеры, сохраняющие небольшой пул кандидатов при росте температуры (особенно top-nsigma), сохраняют точность, тогда как сэмплеры, допускающие множество маловероятных токенов (top-p, top-k, Top-H), разрушаются при высокой температуре.
  2. Авторы отмечают, что размер пула предсказывает качество (Spearman −0.77), приводят примеры на Llama-3.1-8B и Qwen3.5 и публикуют код и данные.
  3. Это показывает, что конструкция сэмплера — особенно контроль размера пула кандидатов — может быть так же решающей, как обучение модели, для сохранения точности при длинной или высокотемпературной генерации, и влияет на выбор настроек для задач с длинным контекстом.

ПОЧЕМУ ЭТО ВАЖНО

Это показывает, что конструкция сэмплера — особенно контроль размера пула кандидатов — может быть так же решающей, как обучение модели, для сохранения точности при длинной или высокотемпературной генерации, и влияет на выбор настроек для задач с длинным контекстом.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1