Tech Meridian ← К ЛЕНТЕ
PROМОЙ MERIDIAN EN

ИССЛЕДОВАНИЕ · RESEARCH · #3696

Toward a Theory of Evaluability — формализация оценки моделей при возможном использовании теста в обучении

В статье формализуется понятие «оценимости» моделей без предположения о выделенном тестовом наборе и исследуется, когда возможна точная чернокоробочная оценка при условии, что тестовые примеры могли попасть в данные обучения. Авторы характеризуют распределения, при которых оценка по выходам модели возможна (выполнима тогда и только тогда, когда распределение близко к малой поддержке), дают точные оценки сложности по объёму выборки и показывают, что небольшая возможность запросов к модели расширяет оценки благодаря связям с self-correctors.

КЛЮЧЕВЫЕ ТЕЗИСЫ

  1. В статье формализуется понятие «оценимости» моделей без предположения о выделенном тестовом наборе и исследуется, когда возможна точная чернокоробочная оценка при условии, что тестовые примеры могли попасть в данные обучения.
  2. Авторы характеризуют распределения, при которых оценка по выходам модели возможна (выполнима тогда и только тогда, когда распределение близко к малой поддержке), дают точные оценки сложности по объёму выборки и показывают, что небольшая возможность запросов к модели расширяет оценки благодаря связям с self-correctors.
  3. Позволяет понять, когда внешняя оценка или аудит больших фундаментальных моделей теоретически возможны при утечке тестовых данных в обучении, и подсказывает, как проектировать процедуры оценки и доступ по запросам.

ПОЧЕМУ ЭТО ВАЖНО

Позволяет понять, когда внешняя оценка или аудит больших фундаментальных моделей теоретически возможны при утечке тестовых данных в обучении, и подсказывает, как проектировать процедуры оценки и доступ по запросам.

ИСТОЧНИКИ И ХРОНОЛОГИЯ

1