Статья на arXiv (AutoTuring) проверяет, понимают ли агенты архитектуру ЭВМ
В статье (arXiv:2609.19387v1) представлен AutoTuring — контролируемый бенчмарк, который дважды даёт тому же агенту задачу проектирования ускорителя: с именованными архитектурными параметрами и со всеми параметрами анонимизированными в [0,1]. Авторы приводят предварительные результаты (5–6 прогонов на условие на одном модельном ускорителе): смысловая постановка задачи улучшает результаты — агент с именованными параметрами обошёл смоделированный H200 на 5,4% и «слепого» собрата на 12,3% для набора из девяти ядер FP16 GEMM и при этом сделал на 70,1% меньше вызовов симулятора; добавление critic loop почти полностью восполняет отставание слепого агента, что указывает на взаимозаменяемость архитектурных знаний и структурированной критики.