ИССЛЕДОВАНИЕ · RESEARCH · #925
PotARCin расширяет ARC пятимерной оценкой навыков абстрактного рассуждения
PotARCin — новый бенчмарк, расширяющий Abstraction and Reasoning Corpus (ARC) тестированием понимания базового правила задачи по пяти измерениям — определение, классификация, ограниченная генерация, редактирование и инверсия — с помощью программной генерации примеров. При оценке на наборе ARC-AGI-1 пять современных моделей показывают снижение результата на 25–52 процентных пункта по сравнению со стандартной метрикой ARC, а на отложенном наборе P-ARC точность по всем пяти измерениям составляет 1–8%, при этом модели нередко противоречат собственным формализованным правилам.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- PotARCin — новый бенчмарк, расширяющий Abstraction and Reasoning Corpus (ARC) тестированием понимания базового правила задачи по пяти измерениям — определение, классификация, ограниченная генерация, редактирование и инверсия — с помощью программной генерации примеров.
- При оценке на наборе ARC-AGI-1 пять современных моделей показывают снижение результата на 25–52 процентных пункта по сравнению со стандартной метрикой ARC, а на отложенном наборе P-ARC точность по всем пяти измерениям составляет 1–8%, при этом модели нередко противоречат собственным формализованным правилам.
- PotARCin показывает, что стандартная оценка ARC по выходным сеткам может существенно переоценивать способности к абстрактному рассуждению и предлагает более многогранный тест, который выявляет противоречия и виды ошибок.
ПОЧЕМУ ЭТО ВАЖНО
PotARCin показывает, что стандартная оценка ARC по выходным сеткам может существенно переоценивать способности к абстрактному рассуждению и предлагает более многогранный тест, который выявляет противоречия и виды ошибок.