Нейронные сети более модульны на уровне подпространств, чем указывают отдельные нейроны
Статья (arXiv:2610.12842v1) вводит иерархию модульности — на уровне нейронов, ортогональную и линейную — и предлагает общий метод обучения и причинной проверки разложений через селективную абляцию. В моделях зрения, языке и многозадачных RNN исследователи показывают, что разные вычисления часто разделяются на подпространства, несмотря на пересекающиеся популяции нейронов; эти подпространства по-разному согласуются с активностью зрительной и языковой коры мозга.