PotARCin расширяет ARC пятимерной оценкой навыков абстрактного рассуждения
PotARCin — новый бенчмарк, расширяющий Abstraction and Reasoning Corpus (ARC) тестированием понимания базового правила задачи по пяти измерениям — определение, классификация, ограниченная генерация, редактирование и инверсия — с помощью программной генерации примеров. При оценке на наборе ARC-AGI-1 пять современных моделей показывают снижение результата на 25–52 процентных пункта по сравнению со стандартной метрикой ARC, а на отложенном наборе P-ARC точность по всем пяти измерениям составляет 1–8%, при этом модели нередко противоречат собственным формализованным правилам.