ИССЛЕДОВАНИЕ · RESEARCH · #2098
Конфигурация ответа определяет, следуют ли модели собственному следу рассуждений или текущим данным
Препринт на arXiv (2610.20805v1) исследует, как сохранённый след рассуждений модели взаимодействует с проверяемыми доказательствами, сравнивая две конфигурации ответа: продолжение собственного мышления модели и отдельный вызов для ответа. На примере gpt-oss, Gemma4 и Qwen3 на наборах HotpotQA и MuSiQue отдельный вызов для ответа повышает следование доказательствам на 29.9–60.6 пунктов по сравнению с продолжением; удаление следа снижает точность в обоих режимах примерно одинаково, но при продолжении модель чаще повторяет устаревший вывод, тогда как отдельный вызов чаще учитывает текущие доказательства. Авторы также показывают, что последняя строка следа приносит основную пользу, «золотые» доказательства помогают больше до записи следа, отвлекающие факторы ослабляют исправление при отдельном вызове, а возобновлённое рассуждение чаще следует текущим доказательствам, поэтому при оценке следов следует указывать и выгоду от следа, и следование доказательствам вместе с конфигурацией ответа.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Препринт на arXiv (2610.20805v1) исследует, как сохранённый след рассуждений модели взаимодействует с проверяемыми доказательствами, сравнивая две конфигурации ответа: продолжение собственного мышления модели и отдельный вызов для ответа.
- На примере gpt-oss, Gemma4 и Qwen3 на наборах HotpotQA и MuSiQue отдельный вызов для ответа повышает следование доказательствам на 29.9–60.6 пунктов по сравнению с продолжением; удаление следа снижает точность в обоих режимах примерно одинаково, но при продолжении модель чаще повторяет устаревший вывод, тогда как отдельный вызов чаще учитывает текущие доказательства.
- Авторы также показывают, что последняя строка следа приносит основную пользу, «золотые» доказательства помогают больше до записи следа, отвлекающие факторы ослабляют исправление при отдельном вызове, а возобновлённое рассуждение чаще следует текущим доказательствам, поэтому при оценке следов следует указывать и выгоду от следа, и следование доказательствам вместе с конфигурацией ответа.
ПОЧЕМУ ЭТО ВАЖНО
Результат показывает, что решение модели следовать старому следу рассуждений или текущим доказательствам зависит от конфигурации ответа, поэтому оценки и способы формирования подсказок должны учитывать конфигурацию, чтобы не делать вводящих в заблуждение выводов о надёжности модели.