Tech Meridian ← К СУЩНОСТЯМ
PROМОЙ MERIDIAN EN

ТЕМА · ENTITY #34158

self-consistency selector

Хронология связанных событий, источники и контекст из новостной базы.

ХРОНОЛОГИЯ СОБЫТИЙ

1

RESEARCH · 1 ИСТОЧН. · arXiv cs.AI

Статья оценивает verify-by-certify-or-decline (пошаговую проверку доказательств) для моделей с открытым весом

В препринте (arXiv v1) исследуют 'certify-or-decline' пошаговую проверку доказательств для моделей с открытым весом на GPQA, AIME-2025 и подмножестве MATH-500. Сертификация значительно повышает точность совпадения с ответом (например, +31 пункт для сильной конфигурации GPQA, +46 для AIME), но отвечает на намного меньше попыток (35% и 21% соответственно); на почти идеальном MATH-500 прирост ≤5 пунктов при потере покрытия 13–27 пунктов. Селектор самосогласованности по совпадающим токенам даёт 82.9% точности при 35% покрытия против 87.6% у верификатора; выявлен частый режим ошибочного поведения, когда многие задачи завершаются некорректной конструкцией доказательства до достижения судьи, а внешние LLM принимают отрендеренные цепочки лишь в 61.0–67.6% случаев, что заметно ниже 87.6% совпадения с ответом. Аудиты не имеют человеческой или формальной опоры, а пары аудиторов открытого веса показывают почти нулевую скорректированную по случаю согласованность.

6.0