ISA-Bench: эталон задач с ограниченным набором команд для оценки вычислительного рассуждения
Исследователи опубликовали ISA-Bench (arXiv:2609.22878v1) — набор задач‑«игр» на программирование для оценки рассуждений в архитектурах с ограниченным набором команд (ISA). Для каждой задачи предоставлен полный стек выполнения (парсер, виртуальная машина, проверяющий модуль) для автоматической оценки; в экспериментах модели, ориентированные на рассуждение, в среднем опережают модели, специализированные на коде, и универсальные модели, незнакомый синтаксис часто приводит к ошибкам, итеративная обратная связь помогает с переменным эффектом в разных архитектурах, и авторы вводят анализ reasoning–execution gap (REG); код опубликован с открытой лицензией.