CALIBER обучает модели рассуждений сообщать начальную и конечную уверенность
CALIBER — метод обучения, который заставляет модели рассуждений выдавать две оценки уверенности: начальную (вероятность решить задачу до рассуждений) и конечную (вероятность правильности полученного ответа). На математическом бенчмарке откалиброванная модель 7B с CALIBER сократила ошибку калибровки (ECE) более чем вдвое по сравнению с лучшим одномерным базовым подходом и улучшила AUROC для ранжирования вероятно корректных ответов.