ИССЛЕДОВАНИЕ · RESEARCH · #1939
Команда MIT показала, что нейросети могут самоорганизовывать механизмы обучения
Статья, опубликованная 9 октября в PNAS исследователями из Института МакГоверн и центра ICoN при MIT, описывает самоорганизующуюся искусственную нейросеть, которая с помощью простых локальных правил пластичности (например, схожих с правилом «нейроны, которые активируются вместе, усиливают связь») самоформирует повторяющиеся мотивации и обучается задачам (например, классификации изображений); модель перестраивается через механизмы, напоминающие градиентный спуск, и показывает производительность, сопоставимую с сетями, обученными с помощью backprop, но авторы предупреждают о прямых параллелях с биологией.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- Статья, опубликованная 9 октября в PNAS исследователями из Института МакГоверн и центра ICoN при MIT, описывает самоорганизующуюся искусственную нейросеть, которая с помощью простых локальных правил пластичности (например, схожих с правилом «нейроны, которые активируются вместе, усиливают связь») самоформирует повторяющиеся мотивации и обучается задачам (например, классификации изображений); модель перестраивается через механизмы, напоминающие градиентный спуск, и показывает производительность, сопоставимую с сетями, обученными с помощью backprop, но авторы предупреждают о прямых параллелях с биологией.
- Исследование предлагает реализуемую альтернативу backprop-подобным схемам, что может помочь связать алгоритмы машинного обучения с биологически правдоподобными правилами обучения и пригодиться нейронауке и разработке интерфейсов мозг‑компьютер.
- How artificial neural networks build their own learning machinery
ПОЧЕМУ ЭТО ВАЖНО
Исследование предлагает реализуемую альтернативу backprop-подобным схемам, что может помочь связать алгоритмы машинного обучения с биологически правдоподобными правилами обучения и пригодиться нейронауке и разработке интерфейсов мозг‑компьютер.