Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #5847

MMLU

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

4

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Эмпирический аудит выявил побочные эффекты безопасности при превентивном управлении персонами (arXiv:2611.17620v1)

В препринте на arXiv проведён эмпирический аудит «превентивного» управления персонами — добавления векторов персонажей при дообучении с последующим удалением при оценке — для сикофании и галлюцинаций на трёх моделях. Авторы измеряли выраженность черт, когерентность, MMLU и три теста безопасности и показали, что превентивное управление изменяет поведение отказа в зависимости от черты, поэтому оно не является явно нейтральным по безопасности.

6.0

RESEARCH · 1 ИСТОЧН. · Apple Machine Learning Research

Evaluating the Evaluators: судьи-LLM часто расходятся с людьми в оценке персонального стиля письма (NeurIPS 2026)

Статья (принята на воркшоп Can We Trust AI Evaluation? на NeurIPS 2026) исследует, насколько хорошо LLM выступают в роли судей для персонализированных заданий по длинным текстам. Авторы сгенерировали ответы четырьмя LLM для трёх задач, собрали парные человеческие предпочтения и сравнили их с ранжированиями LLM-судей; они обнаружили слабую корреляцию качества судей с общей способностью (MMLU ρ ≤ 0.2), вариативность по задаче и цели оценки, большую согласованность при парных сравнениях и то, что самые мощные LLM не всегда наиболее согласуются с людьми.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Статья на arXiv: декомпозиция «generate-transform» объясняет, когда масштабирование команд малых LLM помогает

В препринте на arXiv (arXiv:2609.36104v1) протестированы восемь архитектур оркестрации агентов на пяти инструкционно-настроенных моделях 7–9B и нескольких бенчмарках (GSM8K, GSMHard, ARC, GPQA, MMLU и задача с исполняемым кодом) до 30 вызовов. Авторы предлагают точную декомпозицию generate–transform, разделяющую изменение точности на вклад покрытия и преобразования, и показывают, что эффект масштабирования команд зависит от задачи и архитектуры: Proposer-Critic сильно масштабируется и даёт большие выигрыши на арифметике (до +17 пунктов), но не на выборочных тестах, при этом стоимость токенов при одинаковом бюджете различается примерно в 2.1×.

7.0

RESEARCH · 1 ИСТОЧН. · Hugging Face

Multiverse сводит удаление блоков в LLM к оптимизации Исинга и сообщает о значительном росте MMLU

В новой работе Multiverse «LLM Compression by Block Removal with Constrained Binary Optimization» выбор блоков для глубинного прауннинга формализован как задача бинарной оптимизации с ограничением, эквивалентная стеклу Исинга; гессиан связей между блоками вычисляется один раз на небольшой калибровочной выборке, что позволяет дешево оценивать конфигурации по энергии. Авторы утверждают, что поиск по взаимодействующим комбинациям блоков даёт значительный выигрыш в глубокой компрессии — например, почти на 23 процентных пункта по MMLU при 50% сжатии Llama-3.3-70B-Instruct по сравнению с лучшим соперником среди методов удаления блоков.

8.0