Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3040

Исследование Стэнфорда: 44% из 50 популярных утверждений о LLM устарели, средний срок 15,7 месяца

Исследователи Стэнфорда Оуэн Куин и Джеймс Джоу перепроверили 50 широко цитируемых утверждений о больших языковых моделях на 20 моделях, выпущенных с июля 2024 по сентябрь 2026 года, и обнаружили, что 44% утверждений «устарели», 34% ослабли, 16% сохранились и 6% усилились; средняя «жизнь» 22 выводов с оценкой срока — 15,7 месяца. Ошибки в рассуждениях устаревают быстрее, поведенческие предпочтения живут дольше, результаты сильно различаются между моделями (например, GPT-6.1 Sol и Qwen3.7-Flash показали противоположные результаты по выдумыванию ссылок), и авторы рекомендуют указывать модель, версию и дату и публиковать промпты и код для повторного тестирования.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. Исследователи Стэнфорда Оуэн Куин и Джеймс Джоу перепроверили 50 широко цитируемых утверждений о больших языковых моделях на 20 моделях, выпущенных с июля 2024 по сентябрь 2026 года, и обнаружили, что 44% утверждений «устарели», 34% ослабли, 16% сохранились и 6% усилились; средняя «жизнь» 22 выводов с оценкой срока — 15,7 месяца.
  2. Ошибки в рассуждениях устаревают быстрее, поведенческие предпочтения живут дольше, результаты сильно различаются между моделями (например, GPT-6.1 Sol и Qwen3.7-Flash показали противоположные результаты по выдумыванию ссылок), и авторы рекомендуют указывать модель, версию и дату и публиковать промпты и код для повторного тестирования.
  3. Это показывает, что эмпирические утверждения о LLM быстро меняются между релизами, поэтому оценки должны быть привязаны к конкретной модели и дате и быть воспроизводимыми для надёжности.

ПОЧЕМУ ЭТО ВАЖНО

Это показывает, что эмпирические утверждения о LLM быстро меняются между релизами, поэтому оценки должны быть привязаны к конкретной модели и дате и быть воспроизводимыми для надёжности.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1