ИССЛЕДОВАНИЕ · RESEARCH · #3696
Toward a Theory of Evaluability — формализация оценки моделей при возможном использовании теста в обучении
В статье формализуется понятие «оценимости» моделей без предположения о выделенном тестовом наборе и исследуется, когда возможна точная чернокоробочная оценка при условии, что тестовые примеры могли попасть в данные обучения. Авторы характеризуют распределения, при которых оценка по выходам модели возможна (выполнима тогда и только тогда, когда распределение близко к малой поддержке), дают точные оценки сложности по объёму выборки и показывают, что небольшая возможность запросов к модели расширяет оценки благодаря связям с self-correctors.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье формализуется понятие «оценимости» моделей без предположения о выделенном тестовом наборе и исследуется, когда возможна точная чернокоробочная оценка при условии, что тестовые примеры могли попасть в данные обучения.
- Авторы характеризуют распределения, при которых оценка по выходам модели возможна (выполнима тогда и только тогда, когда распределение близко к малой поддержке), дают точные оценки сложности по объёму выборки и показывают, что небольшая возможность запросов к модели расширяет оценки благодаря связям с self-correctors.
- Позволяет понять, когда внешняя оценка или аудит больших фундаментальных моделей теоретически возможны при утечке тестовых данных в обучении, и подсказывает, как проектировать процедуры оценки и доступ по запросам.
ПОЧЕМУ ЭТО ВАЖНО
Позволяет понять, когда внешняя оценка или аудит больших фундаментальных моделей теоретически возможны при утечке тестовых данных в обучении, и подсказывает, как проектировать процедуры оценки и доступ по запросам.