Ли наш мозг глубокое обучение для осмысления мира использует?

Сразу же, когда доктор Блейк Ричардс услышал о глубоком обучении, он понял, что столкнулся не только с методом, который революционизирует искусственный интеллект. Он понял, что смотрит на нечто фундаментальное от мозга человека. Это было начало 2000-х, а Ричардс проводил курс в университете Торонто вместе с Джеффом хинтоном. Хинтону, который стоял у истоков создания алгоритма, покорившего мир, предложили читать вводный курс о его методе обучения, вдохновленном человеческим мозгом.

Ключевые слова здесь "Вдохновленном Мозгом". Несмотря на убежденность Ричардса, ставка играла против него. Мозг человека, как оказалось, не имеет важной функции, которая программируется в алгоритмах глубокого обучения. На поверхности эти алгоритмы нарушали основные биологические факты, уже доказанные нейробиологами.
Но что, если глубокое обучение и мозг на самом деле совместимы?
И вот, в новом исследовании, опубликованном в Elife, Ричардс, работая с Deepmind, предложил новый алгоритм, основанный на биологической структуре нейронов в неокортексе. Кортекс, кора головного мозга, является домом для высших когнитивных функций, таких как рассуждение, прогнозирование и гибкое мышление.
Команда объединила свои искусственные нейроны в многоуровневую сеть и поставила перед ней задачу классического компьютерного зрения - определять рукописные цифры.
Новый алгоритм справился на отлично. Но важно другое: он анализировал примеры для обучения так, как это делают алгоритмы глубокого обучения, но построен был полностью на фундаментальной биологии мозга.
"Глубокое Обучение Возможно в Биологической Структуре", заключили ученые.
Поскольку на текущий момент эта модель представляет собой компьютерный вариант, Ричардс надеется передать эстафету экспериментальным нейробиологам, которые могли бы проверить, работает ли такой алгоритм в реальном мозге.
В том случае, если да, данные могут быть переданы компьютерным ученым для разработки массово параллельных и эффективных алгоритмов, на которых будут работать наши машины. Это первый шаг по направлению к слиянию двух областей в "Добродетельный Хоровод" открытий и инноваций.
Поиск козла отпущения.
Хотя вы наверняка слышали о том, что искусственный интеллект недавно обыграл лучшего из лучших в го, вы вряд ли знаете, как именно работают алгоритмы в основе этого искусственного интеллекта.
В двух словах, глубокое обучение основано на искусственной нейронной сети с виртуальными "Нейронами". Как и высокий небоскреб, сеть структурирована в иерархии: нейроны низкого уровня обрабатывают ввод - например, горизонтальные или вертикальные черточки, образующие цифру 4, - а нейроны высокого уровня обрабатывают абстрактные аспекты цифры 4.
Чтобы обучить сеть, вы даете ей примеры того, что ищете. Сигнал распространяется по сети (поднимается по ступенькам здания), и каждый нейрон пытается усмотреть нечто фундаментальное в работе "Четверки".
Как дети учатся чему-то новому, сначала сеть справляется не очень хорошо. Она выдает все, что, по ее мнению, похоже на цифру четыре - и получаются образы в духе Пикассо.
Но именно так протекает обучение: алгоритм сопоставляет вывод с идеальным вводом и рассчитывает разницу между ними (читай: ошибки. Ошибки "Обратно Распространяются" по сети, обучая каждый нейрон, мол, это не то, что вы ищете, ищите лучше.
Спустя миллионы примеров и повторений, сеть начинает работать безукоризненно.
Сигнал ошибки крайне важен для обучения. Без эффективного "Обратного Распространения Ошибки" сеть не будет знать, какие из ее нейронов ошибаются. В поисках козла отпущения искусственный интеллект улучшает себя.
Мозг делает тоже это. Но как? Мы понятия не имеем.
Биологический тупик.
Очевидно другое: решение с глубоким обучением не работает.
Обратное распространение ошибки - крайне важная функция. Она наличия определенной инфраструктуры для корректной работы требует.
Во-первых, каждый нейрон в сети должен получать уведомление об ошибке. Но в мозге нейроны соединены только с несколькими партнерами по нисходящему потоку (если вообще соединены. Чтобы обратное распространение работало в мозге, нейроны на первых уровнях должны воспринимать информацию от миллиардов соединений в нисходящих каналах - а это биологически невозможно.
И хотя некоторые алгоритмы глубокого обучения адаптируют локальную форму обратного распространения ошибки - по существу между нейронами - она требует, чтобы их соединение вперед и назад было симметричным. В синапсах мозга такого не происходит почти никогда.
Более современные алгоритмы адаптируют несколько иную стратегию, реализуя отдельный путь обратной связи, который помогает нейронам находить ошибки локально. Хотя это более реализуемо биологически, у мозга нет отдельной вычислительной сети, посвященной поиску козлов отпущения.
Но у него есть нейроны со сложными структурами, в отличие от однородных "Шаров", которые в настоящее время применяются в глубоком обучении.
Ветвящиеся сети.
Ученые черпают вдохновение из пирамидальных клеток, которые заполняют кору головного мозга человека.
"Большинство Этих Нейронов Имеют Форму Деревьев, их"корни" глубоко уходят в мозг, а "ветви" выходят на поверхность", говорит Ричардс. "Что Примечательно, Корни Получают Одни Наборы Входных Данных, а Ветви Другие".
Любопытно, но структура нейронов зачастую оказывается "Именно Такой, как Нужно" для эффективного решения вычислительной задачи. Взять, к примеру, обработку ощущений: днища пирамидальных нейронов находятся там, где должны, для получения сенсорного ввода, а верхушки удобно расположены для передачи ошибок через обратную связь.
Может ли эта сложная структура быть эволюционным решением по борьбе с ошибочным сигналом?
Ученые многослойную нейронную сеть на основе предыдущих алгоритмов создали. Но вместо однородных нейронов они дали ей нейроны средних слоев - зажатые между вводом и выводом - похожие на настоящие. Обучаясь на рукописных цифрах, алгоритм показал себя намного лучше, чем однослойная сеть, несмотря на отсутствие классического обратного распространения ошибки. Клеточные структуры самостоятельно могли определить ошибку. Затем, в нужный момент, нейрон объединял оба источник информации для поиска лучшего решения.
В этом есть биологическая основа: нейробиологи давно знают, что входные ветви нейрона выполняют локальные расчеты, которые можно интегрировать с сигналами обратного распространения ошибки от ветвей вывода. Но мы не знаем, так ли работает мозг на самом деле - поэтому Ричардс поручил нейробиологам выяснить это.

Более того, эта сеть обрабатывает проблему похожим на традиционный метод глубокого обучения образом: использует многослойную структуру для извлечения прогрессивно более абстрактных идей о каждом числе.
"Это Особенность Глубокого Обучения", объясняют авторы.
Глубоко обучающийся мозг.
Без сомнения, в этой истории будет больше неожиданных поворотов, потому что компьютерные ученые вносят все больше биологических деталей в алгоритмы ИИ. Ричардс и его команда рассматривают прогностическую функцию сверху - вниз, когда сигналы с более высоких уровней непосредственно влияют на то, как более низкие уровни реагируют на ввод.
Обратная связь с верхними уровнями не только улучшает сигнализацию ошибок; она также может поощрять нейроны низшего уровня обработки работать "Лучше" в режиме реального времени, говорит Ричардс. Пока сеть не превзошла другие небиологические сети глубокого обучения. Но это и не важно.
"Глубокое Обучение Оказало Огромное Влияние на ИИ, но до Сегодняшнего дня его Влияние на Нейронауку Было Ограничено", говорят авторы исследования. Теперь у нейробиологов будет повод провести экспериментальную проверку и узнать, лежит ли структура нейронов в основе природного алгоритма глубокого обучения. Возможно, в следующие десять лет начнется взаимовыгодный обмен данными между нейробиологами и исследователями искусственного интеллекта. Источник: hi - News. ru.