ИССЛЕДОВАНИЕ · RESEARCH · #2120
Ник Каммарата (Goodfire) утверждает, что нейросети в основном интерпретируемы в новом эссе
В эссе «Neural Networks Are Already Clean» исследователь Goodfire Ник Каммарата переосмысливает примеры полиcемантических нейронов и утверждает, что большинство активаций нейронов можно понять с помощью масштабного автоматизированного анализа: в Qwen3-32B около 90% «полюсов» нейронов имеют одну основную функцию, 2–4% остаются необъяснёнными. Работа вызвала восторг у некоторых (включая постера OpenAI Roon) и призывы к осторожности от других (включая Neel Nanda); Goodfire сообщает о похожих наблюдениях в более крупных моделях, но требуется независимая проверка.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- В эссе «Neural Networks Are Already Clean» исследователь Goodfire Ник Каммарата переосмысливает примеры полиcемантических нейронов и утверждает, что большинство активаций нейронов можно понять с помощью масштабного автоматизированного анализа: в Qwen3-32B около 90% «полюсов» нейронов имеют одну основную функцию, 2–4% остаются необъяснёнными.
- Работа вызвала восторг у некоторых (включая постера OpenAI Roon) и призывы к осторожности от других (включая Neel Nanda); Goodfire сообщает о похожих наблюдениях в более крупных моделях, но требуется независимая проверка.
- Если это подтвердится, утверждение о том, что нейроны в основном интерпретируемы, может существенно повлиять на безопасность ИИ и согласование целей, потому что внутреннее поведение модели, в том числе возможное обманное, станет более доступно для анализа.
ПОЧЕМУ ЭТО ВАЖНО
Если это подтвердится, утверждение о том, что нейроны в основном интерпретируемы, может существенно повлиять на безопасность ИИ и согласование целей, потому что внутреннее поведение модели, в том числе возможное обманное, станет более доступно для анализа.