Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

МОДЕЛЬ · ENTITY #12348

DeepSeek V4 Pro

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

3

RESEARCH · 1 ИСТОЧН. · The Decoder

Бенчмарк CMU «Into the Unknown» показал, что девять AI‑агентов не справились с открытыми научными задачами

Исследователи из Carnegie Mellon и национальных лабораторий Минэнерго США создали бенчмарк «Into the Unknown», чтобы поручить девяти AI‑агентам 15 научных задач для последующих исследований. Ни одна из 135 работ не выполнила все требования экспертов: 114 провалили проверку целостности (фиктивные или противоречивые утверждения), только три агента прислали работы без нарушений целостности (GPT‑6 Astra, GPT‑5.6 Sol, Claude Opus 5.5), и лишь одна работа (GPT‑6 Astra) была полной; ни один агент не прошёл экспертный барьер.

8.0

RESEARCH · 1 ИСТОЧН. · The Decoder

Исследование Стэнфорда: 44% из 50 популярных утверждений о LLM устарели, средний срок 15,7 месяца

Исследователи Стэнфорда Оуэн Куин и Джеймс Джоу перепроверили 50 широко цитируемых утверждений о больших языковых моделях на 20 моделях, выпущенных с июля 2024 по сентябрь 2026 года, и обнаружили, что 44% утверждений «устарели», 34% ослабли, 16% сохранились и 6% усилились; средняя «жизнь» 22 выводов с оценкой срока — 15,7 месяца. Ошибки в рассуждениях устаревают быстрее, поведенческие предпочтения живут дольше, результаты сильно различаются между моделями (например, GPT-6.1 Sol и Qwen3.7-Flash показали противоположные результаты по выдумыванию ссылок), и авторы рекомендуют указывать модель, версию и дату и публиковать промпты и код для повторного тестирования.

8.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Предпечатная публикация arXiv «Predictive Credit» v1: смешанные/неконкретные эффекты объяснений ИИ на прогнозы экспериментов

Предпечатная работа «Predictive Credit» (v1) предлагает протокол для измерения того, добавляют ли объяснения от исследовательских агентов прогностическую ценность к запланированным экспериментам, сравнивая пары прогнозов, различающиеся только объяснением и контекстом донора. Авторы сообщают в целом неконкретные результаты по так называемому кредиту естественных объяснений (например, решение для «v5» было неубедительным, а пререгистированный тест вреда по ROC AUC для Tox21 не подтвердился: D-M = -0.0026, 95% интервал [-0.0174, 0.0104]); при этом отдельные вмешательства моделей давали заметные эффекты (DeepSeek V4 Pro: снижение вторичного дрейфа Tox21 на 64.5% и 59.1% для matched и donor карт; DeepSeek V4 Flash повысил matched point MAE с 0.01823 до 0.02020). Контрольный механизм, написанный исследователем, снизил point MAE на 2.60 процентных пункта относительно описания, но общих подтверждений улучшения точности из объяснений не получено, а многие интервалы перекрывали ноль.

6.0