ИССЛЕДОВАНИЕ · RESEARCH · #3811
Conserved Verdicts, Drifting Commitments: статья выявляет вредный «переразмышляющий» эффект у моделей рассуждения
arXiv:2611.21946v1 формализует различие между текущим ответом модели при остановке (commitment) и итоговым ответом после продолжения рассуждения (verdict) и показывает, что только verdict не позволяет предсказать, поможет ли дальнейшее рассуждение. Авторы вводят разность commitment–verdict как ожидаемое оставшееся изменение качества ответа, разлагают кривые точности относительно бюджета и измеряют эффект на MATH-500 и OlympiadBench: например, в 379 случаях, где DeepSeek-R1-Distill-Qwen-1.5B имела корректный commitment, продолжение уменьшало точность в среднем на 3.6 пункта (95% ДИ [2.2, 5.2]); снижение точности в шести моделях объясняется тем, какие цепочки продолжаются, а не ухудшением ответов в тех цепочках, и оракульное правило остановки даёт ограниченный выигрыш (+1.8–+2.5 при 1.5B и 7B) при бюджетах до 16 384 токенов.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- arXiv:2611.21946v1 формализует различие между текущим ответом модели при остановке (commitment) и итоговым ответом после продолжения рассуждения (verdict) и показывает, что только verdict не позволяет предсказать, поможет ли дальнейшее рассуждение.
- Авторы вводят разность commitment–verdict как ожидаемое оставшееся изменение качества ответа, разлагают кривые точности относительно бюджета и измеряют эффект на MATH-500 и OlympiadBench: например, в 379 случаях, где DeepSeek-R1-Distill-Qwen-1.5B имела корректный commitment, продолжение уменьшало точность в среднем на 3.6 пункта (95% ДИ [2.2, 5.2]); снижение точности в шести моделях объясняется тем, какие цепочки продолжаются, а не ухудшением ответов в тех цепочках, и оракульное правило остановки даёт ограниченный выигрыш (+1.8–+2.5 при 1.5B и 7B) при бюджетах до 16 384 токенов.
- Это даёт измеримую схему и эмпирические доказательства того, что продолжение цепочки рассуждений может ухудшить правильность, и указывает, что измерять перед разработкой правил остановки.
ПОЧЕМУ ЭТО ВАЖНО
Это даёт измеримую схему и эмпирические доказательства того, что продолжение цепочки рассуждений может ухудшить правильность, и указывает, что измерять перед разработкой правил остановки.