НОВОСТЬ · RESEARCH · #355
arXiv:2609.16454v1 — Тонкая настройка снижает коллапс мод и перерассеяние в LLM
Этот препринт на arXiv исследует, когда большие языковые модели демонстрируют коллапс мод (недостаточную разнообразность) или перерассеяние и показывает, что при достаточном объёме данных для контролируемой тонкой настройки (SFT) разнообразие ответов модели приближается к целевому распределению. Авторы выводят декомпозицию смещения и дисперсии для разницы в вероятностях совпадения ответов, доказывают оценку абсолютной разницы через квадратный корень от KL-дивергенции до цели и подтверждают результаты на синтетических языках, четырёх LLM, натренированных на опросах людей, и на наборе решений CodeNet.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Этот препринт на arXiv исследует, когда большие языковые модели демонстрируют коллапс мод (недостаточную разнообразность) или перерассеяние и показывает, что при достаточном объёме данных для контролируемой тонкой настройки (SFT) разнообразие ответов модели приближается к целевому распределению.
- Авторы выводят декомпозицию смещения и дисперсии для разницы в вероятностях совпадения ответов, доказывают оценку абсолютной разницы через квадратный корень от KL-дивергенции до цели и подтверждают результаты на синтетических языках, четырёх LLM, натренированных на опросах людей, и на наборе решений CodeNet.
- Статья даёт теоретическое и эмпирическое объяснение того, что контролируемая тонкая настройка может исправить некалиброванное разнообразие в LLM, указывая, сколько данных SFT требуется и как оценивать разнообразие.
ПОЧЕМУ ЭТО ВАЖНО
Статья даёт теоретическое и эмпирическое объяснение того, что контролируемая тонкая настройка может исправить некалиброванное разнообразие в LLM, указывая, сколько данных SFT требуется и как оценивать разнообразие.