Tech Meridian← ВСЕ МОДЕЛИ
PROМОЙ MERIDIAN

OPENAI · ТРЕКЕР МОДЕЛИ

GPT-5.4

GPT-5.4 — конкретная модель серии GPT от OpenAI. По данным OpenAI, GPT-5.4 демонстрировала низкую контролируемость внутреннего монолога/цепочки рассуждений («едва могла управлять своим внутренним монологом по команде»), что важно для мониторинга и безопасности.

ТЕКУЩИЙ СНИМОК1/5 РАЗДЕЛОВ С ДАННЫМИ

Главные характеристики в одном месте.

ЦЕНА

Не установлено по доступным источникам.

КОНТЕКСТ

Не установлено по доступным источникам.

МОДАЛЬНОСТИ

Не установлено по доступным источникам.

БЕНЧМАРКИ
Улучшение успеха на ALFWorld с EvoBeliefВ экспериментах EvoBelief на ALFWorld (без памяти переходов актёра) EvoBelief повысила долю успешных задач на 31,3% по сравнению с сопоставимой Frozen World Model при использовании GPT-5.4.
Включение в исследованиеGPT-5.4 была одной из моделей OpenAI, оценённых в исследовании (перечислена вместе с o1, o3, GPT-5, GPT-5.1 и GPT-5.5).
Тестируемые научные областиВ исследовании модели оценивались на теоретических задачах из областей: теория вероятностей, теория статистики, экономическая теория, теория высоких энергий, гравитация и космология, квантовая физика.
Доступ в интернет во время тестированияИсследователи отключили доступ в интернет во время тестирования, что не позволило моделям искать решения онлайн.
Согласие с эталонным судьёй бенчмарка (HealthBench Professional)В исследовании GPT-5.4 выступал в роли эталонного судьи для HealthBench Professional; модель Jev совпала с GPT-5.4 по 91% критериев.
Оценивалась в бенчмарке новизныВключена в число шести LLM-судей (GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 и Claude Opus 4.6) в бенчмарке «Old Ideas, Novel Problems» для оценки способности LLM определять новизну научных идей.
Влияние малых изменений в подсказке на точностьВ одном эксперименте, описанном в бенчмарке, изменение всего нескольких слов в подсказке изменило точность модели в определении более новаторской из двух идей более чем на 50 процентных пунктов.
ДОСТУПНОСТЬ

Не установлено по доступным источникам.

ПРОВЕРЯЕМЫЕ ФАКТЫ

Каждое значение привязано к источнику и дате.

БЕНЧМАРКИ · Улучшение успеха на ALFWorld с EvoBeliefНЕЗАВИСИМО ПОДТВЕРЖДЕНО

В экспериментах EvoBelief на ALFWorld (без памяти переходов актёра) EvoBelief повысила долю успешных задач на 31,3% по сравнению с сопоставимой Frozen World Model при использовании GPT-5.4.

ВОЗМОЖНОСТИ · Использована в экспериментах EvoBelief как зафиксированная языковая модельНЕЗАВИСИМО ПОДТВЕРЖДЕНО

GPT-5.4 использовалась в экспериментaх исследования EvoBelief как зафиксированная языковая модель.

БЕНЧМАРКИ · Тестируемые научные областиДАННЫЕ РАЗРАБОТЧИКА

В исследовании модели оценивались на теоретических задачах из областей: теория вероятностей, теория статистики, экономическая теория, теория высоких энергий, гравитация и космология, квантовая физика.

БЕНЧМАРКИ · Доступ в интернет во время тестированияДАННЫЕ РАЗРАБОТЧИКА

Исследователи отключили доступ в интернет во время тестирования, что не позволило моделям искать решения онлайн.

ОГРАНИЧЕНИЯ · Дата отсечки обучения относительно эталонных статейДАННЫЕ РАЗРАБОТЧИКА

Решения, использованные как эталон, были опубликованы после даты отсечки обучения для GPT-5.5 и предшествующих моделей, что подразумевает, что GPT-5.4 не могла быть обучена на этих решениях.

БЕНЧМАРКИ · Согласие с эталонным судьёй бенчмарка (HealthBench Professional)НЕЗАВИСИМО ПОДТВЕРЖДЕНО

В исследовании GPT-5.4 выступал в роли эталонного судьи для HealthBench Professional; модель Jev совпала с GPT-5.4 по 91% критериев.

БЕНЧМАРКИ · Оценивалась в бенчмарке новизныДАННЫЕ РАЗРАБОТЧИКА

Включена в число шести LLM-судей (GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 и Claude Opus 4.6) в бенчмарке «Old Ideas, Novel Problems» для оценки способности LLM определять новизну научных идей.

ОГРАНИЧЕНИЯ · Чувствительность к настройкам оценкиДАННЫЕ РАЗРАБОТЧИКА

Исследование показало, что оценка новизны LLM, включая GPT-5.4, далека от надёжной: казалось бы небольшие изменения в настройках оценки могут приводить к кардинально различным суждениям об одних и тех же идеях.

БЕНЧМАРКИ · Влияние малых изменений в подсказке на точностьДАННЫЕ РАЗРАБОТЧИКА

В одном эксперименте, описанном в бенчмарке, изменение всего нескольких слов в подсказке изменило точность модели в определении более новаторской из двух идей более чем на 50 процентных пунктов.

БЕЗОПАСНОСТЬ · Контролируемость цепочки рассуждений (внутреннего монолога)ДАННЫЕ РАЗРАБОТЧИКА

OpenAI сообщила, что GPT-5.4 «едва могла управлять своим внутренним монологом по команде», что указывает на низкую контролируемость цепочек рассуждений и возможные ограничения мониторинга.

ЧТО ИЗМЕНИЛОСЬ

Сохранённые версии паспорта, без догадок задним числом.

Паспорт обновлён11 фактов
БЕЗОПАСНОСТЬ · Контролируемость цепочки рассуждений (внутреннего монолога)+ OpenAI сообщила, что GPT-5.4 «едва могла управлять своим внутренним монологом по команде», что указывает на низкую контролируемость цепочек рассуждений и возможные ограничения мониторинга.
Паспорт обновлён10 фактов
БЕНЧМАРКИ · Оценивалась в бенчмарке новизны+ Включена в число шести LLM-судей (GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 и Claude Opus 4.6) в бенчмарке «Old Ideas, Novel Problems» для оценки способности LLM определять новизну научных идей.
БЕНЧМАРКИ · Влияние малых изменений в подсказке на точность+ В одном эксперименте, описанном в бенчмарке, изменение всего нескольких слов в подсказке изменило точность модели в определении более новаторской из двух идей более чем на 50 процентных пунктов.
ОГРАНИЧЕНИЯ · Чувствительность к настройкам оценки+ Исследование показало, что оценка новизны LLM, включая GPT-5.4, далека от надёжной: казалось бы небольшие изменения в настройках оценки могут приводить к кардинально различным суждениям об одних и тех же идеях.
Паспорт обновлён7 фактов
БЕНЧМАРКИ · Согласие с эталонным судьёй бенчмарка (HealthBench Professional)+ В исследовании GPT-5.4 выступал в роли эталонного судьи для HealthBench Professional; модель Jev совпала с GPT-5.4 по 91% критериев.
Паспорт обновлён6 фактов
БЕНЧМАРКИ · Тестируемые научные области+ В исследовании модели оценивались на теоретических задачах из областей: теория вероятностей, теория статистики, экономическая теория, теория высоких энергий, гравитация и космология, квантовая физика.
БЕНЧМАРКИ · Включение в исследование+ GPT-5.4 была одной из моделей OpenAI, оценённых в исследовании (перечислена вместе с o1, o3, GPT-5, GPT-5.1 и GPT-5.5).
БЕНЧМАРКИ · Доступ в интернет во время тестирования+ Исследователи отключили доступ в интернет во время тестирования, что не позволило моделям искать решения онлайн.
ОГРАНИЧЕНИЯ · Дата отсечки обучения относительно эталонных статей+ Решения, использованные как эталон, были опубликованы после даты отсечки обучения для GPT-5.5 и предшествующих моделей, что подразумевает, что GPT-5.4 не могла быть обучена на этих решениях.
Паспорт создан2 фактов