Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

КОМПАНИЯ · ENTITY #10829

GPQA

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

2

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Статья оценивает verify-by-certify-or-decline (пошаговую проверку доказательств) для моделей с открытым весом

В препринте (arXiv v1) исследуют 'certify-or-decline' пошаговую проверку доказательств для моделей с открытым весом на GPQA, AIME-2025 и подмножестве MATH-500. Сертификация значительно повышает точность совпадения с ответом (например, +31 пункт для сильной конфигурации GPQA, +46 для AIME), но отвечает на намного меньше попыток (35% и 21% соответственно); на почти идеальном MATH-500 прирост ≤5 пунктов при потере покрытия 13–27 пунктов. Селектор самосогласованности по совпадающим токенам даёт 82.9% точности при 35% покрытия против 87.6% у верификатора; выявлен частый режим ошибочного поведения, когда многие задачи завершаются некорректной конструкцией доказательства до достижения судьи, а внешние LLM принимают отрендеренные цепочки лишь в 61.0–67.6% случаев, что заметно ниже 87.6% совпадения с ответом. Аудиты не имеют человеческой или формальной опоры, а пары аудиторов открытого веса показывают почти нулевую скорректированную по случаю согласованность.

6.0

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Статья на arXiv: декомпозиция «generate-transform» объясняет, когда масштабирование команд малых LLM помогает

В препринте на arXiv (arXiv:2609.36104v1) протестированы восемь архитектур оркестрации агентов на пяти инструкционно-настроенных моделях 7–9B и нескольких бенчмарках (GSM8K, GSMHard, ARC, GPQA, MMLU и задача с исполняемым кодом) до 30 вызовов. Авторы предлагают точную декомпозицию generate–transform, разделяющую изменение точности на вклад покрытия и преобразования, и показывают, что эффект масштабирования команд зависит от задачи и архитектуры: Proposer-Critic сильно масштабируется и даёт большие выигрыши на арифметике (до +17 пунктов), но не на выборочных тестах, при этом стоимость токенов при одинаковом бюджете различается примерно в 2.1×.

7.0