ИССЛЕДОВАНИЕ · RESEARCH · #1851
Нейронные сети более модульны на уровне подпространств, чем указывают отдельные нейроны
Статья (arXiv:2610.12842v1) вводит иерархию модульности — на уровне нейронов, ортогональную и линейную — и предлагает общий метод обучения и причинной проверки разложений через селективную абляцию. В моделях зрения, языке и многозадачных RNN исследователи показывают, что разные вычисления часто разделяются на подпространства, несмотря на пересекающиеся популяции нейронов; эти подпространства по-разному согласуются с активностью зрительной и языковой коры мозга.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья (arXiv:2610.12842v1) вводит иерархию модульности — на уровне нейронов, ортогональную и линейную — и предлагает общий метод обучения и причинной проверки разложений через селективную абляцию.
- В моделях зрения, языке и многозадачных RNN исследователи показывают, что разные вычисления часто разделяются на подпространства, несмотря на пересекающиеся популяции нейронов; эти подпространства по-разному согласуются с активностью зрительной и языковой коры мозга.
- Это демонстрирует, что функциональная модульность может существовать на уровне подпространств даже при многофункциональности отдельных нейронов, что упрощает интерпретируемость и целевые вмешательства в искусственных и биологических сетях.
ПОЧЕМУ ЭТО ВАЖНО
Это демонстрирует, что функциональная модульность может существовать на уровне подпространств даже при многофункциональности отдельных нейронов, что упрощает интерпретируемость и целевые вмешательства в искусственных и биологических сетях.