ИССЛЕДОВАНИЕ · RESEARCH · #607
Статья на arXiv (AutoTuring) проверяет, понимают ли агенты архитектуру ЭВМ
В статье (arXiv:2609.19387v1) представлен AutoTuring — контролируемый бенчмарк, который дважды даёт тому же агенту задачу проектирования ускорителя: с именованными архитектурными параметрами и со всеми параметрами анонимизированными в [0,1]. Авторы приводят предварительные результаты (5–6 прогонов на условие на одном модельном ускорителе): смысловая постановка задачи улучшает результаты — агент с именованными параметрами обошёл смоделированный H200 на 5,4% и «слепого» собрата на 12,3% для набора из девяти ядер FP16 GEMM и при этом сделал на 70,1% меньше вызовов симулятора; добавление critic loop почти полностью восполняет отставание слепого агента, что указывает на взаимозаменяемость архитектурных знаний и структурированной критики.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В статье (arXiv:2609.19387v1) представлен AutoTuring — контролируемый бенчмарк, который дважды даёт тому же агенту задачу проектирования ускорителя: с именованными архитектурными параметрами и со всеми параметрами анонимизированными в [0,1].
- Авторы приводят предварительные результаты (5–6 прогонов на условие на одном модельном ускорителе): смысловая постановка задачи улучшает результаты — агент с именованными параметрами обошёл смоделированный H200 на 5,4% и «слепого» собрата на 12,3% для набора из девяти ядер FP16 GEMM и при этом сделал на 70,1% меньше вызовов симулятора; добавление critic loop почти полностью восполняет отставание слепого агента, что указывает на взаимозаменяемость архитектурных знаний и структурированной критики.
- Это важно, потому что метод позволяет отличить, улучшается ли проектирование за счёт переносимого понимания архитектуры агента или лишь за счёт «чёрного» перебора параметров, что влияет на оценку и надёжность AI‑дизайна аппаратуры.
ПОЧЕМУ ЭТО ВАЖНО
Это важно, потому что метод позволяет отличить, улучшается ли проектирование за счёт переносимого понимания архитектуры агента или лишь за счёт «чёрного» перебора параметров, что влияет на оценку и надёжность AI‑дизайна аппаратуры.