НОВОСТЬ · MODELS · #2598
Исследование NYU и Техасского университета выявило шесть лингвистических паттернов, делающих текст LLM утомительным
Исследователи из NYU и Техасского университета проанализировали выводы 14 языковых моделей (120 бесед, 45 сессий кодирования, 980 эссе) и выявили шесть повторяющихся лингвистических паттернов — необычные сочетания слов, дальние зависимости в предложениях, опущенные связки, стекающиеся существительные, превращение существительных в глаголы и перенос признаков одушевлённости — которые делают текст моделей менее удобным для чтения по сравнению с человеческим. В работе отмечается вариативность между моделями (Llama и Olmo ближе к людям; внутри Olmo улучшения с instruct→reasoning, Opus 5.5 улучшил читабельность), связывается проблема с целями обучения (переход от RLHF к RLVR) и показано, что штрафы за длину в тренировке могут повысить читаемость.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Исследователи из NYU и Техасского университета проанализировали выводы 14 языковых моделей (120 бесед, 45 сессий кодирования, 980 эссе) и выявили шесть повторяющихся лингвистических паттернов — необычные сочетания слов, дальние зависимости в предложениях, опущенные связки, стекающиеся существительные, превращение существительных в глаголы и перенос признаков одушевлённости — которые делают текст моделей менее удобным для чтения по сравнению с человеческим.
- В работе отмечается вариативность между моделями (Llama и Olmo ближе к людям; внутри Olmo улучшения с instruct→reasoning, Opus 5.5 улучшил читабельность), связывается проблема с целями обучения (переход от RLHF к RLVR) и показано, что штрафы за длину в тренировке могут повысить читаемость.
- Результаты показывают, что распространённые методы обучения и дообучения систематически ухудшают читаемость выводов передовых LLM, что важно для их пригодности в продуктах, удобства пользователей и выравнивания моделей.
ПОЧЕМУ ЭТО ВАЖНО
Результаты показывают, что распространённые методы обучения и дообучения систематически ухудшают читаемость выводов передовых LLM, что важно для их пригодности в продуктах, удобства пользователей и выравнивания моделей.