Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #36184

needle retrieval

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Ухудшение при длинной генерации — проблема сэмплинга; top-nsigma предотвращает коллапс при высокой температуре

Статья на arXiv (arXiv:2611.22148v1) протестировала 29 открытых моделей (1B–122B) на десяти бенчмарках для длинного контекста, включая поиск до миллиона токенов, и показала, что сэмплеры, сохраняющие небольшой пул кандидатов при росте температуры (особенно top-nsigma), сохраняют точность, тогда как сэмплеры, допускающие множество маловероятных токенов (top-p, top-k, Top-H), разрушаются при высокой температуре. Авторы отмечают, что размер пула предсказывает качество (Spearman −0.77), приводят примеры на Llama-3.1-8B и Qwen3.5 и публикуют код и данные.

7.0