CToM: обучение больших моделей предсказывать ответы пользователей и самокорректироваться
В статье на arXiv предлагается Collaborative Theory of Mind (CToM) — метод, при котором модель сначала формирует черновой ответ, предсказывает, как пользователь на него отреагирует, и использует это предсказание для внутренней правки перед окончательной выдачей. В сочетании с group-relative policy optimization (GRPO) и задачей предсказания ответов пользователей CToM повышает результативность совместных задач и экономит взаимодействия в математике, кодинге и написании текстов — например, точность в совместной математической задаче выросла с 74.1% до 79.6% по сравнению с простым GRPO, а число ответов пользователя сократилось на 8% в кодинге и на 17% в написании при равной награде.