нейросети

В середине XX века двое ученых, Уоррен Маккаллок и Уолтер Питтс, предположили, что нейроны в мозгу человека, если говорить просто, оперируют двоичными числами, как и компьютеры. Они создали конструкцию электронных аналогов нейронов и предсказали, что такая сеть сможет повторять работу мозга: обучаться, распознавать текст и изображения и многое другое. Их исследование, опубликованное в 1943 году, легло в основу работы «Логическое исчисление идей, относящихся к нервной активности». Ее можно считать точкой отсчета существования нейросетей — математических моделей, построенных по принципу организации и функционирования биологических нейронных сетей — нервных клеток живого организма.

[Spoiler (click to open)]На исследования в этой области также повлияли работы Алана Тьюринга и разработка фон Нейманом вычислительных машин. В дальнейшем изучение нейросетей развивалось в двух направлениях: одни ученые изучали биологические процессы, которые протекают в человеческом мозге, а другие начали создавать нейронные сети как часть искусственного интеллекта.

В 1950 году в журнале Mind появилась статья Алана Тьюринга «Вычислительные машины и разум», где ученый предложил идею теста, который мог однозначно определить, может ли машина мыслить. Впрочем, ни искусственного интеллекта, ни нейросетей, которые описывали Маккаллок и Питтс, тогда еще не существовало.
В 1958 году Фрэнк Розенблатт закончил работу над перцептроном с обучением на градиентном спуске. Это устройство, в сущности, представляло собой один-единственный нейрон (современные нейросети состоят из миллионов нейронов).
На рубеже 1970–1980-х годов ученые поняли, что перцептроны можно объединять в сколь угодно большие сети и обучать их не как отдельные элементы, а как единый организм. Однако эта идея существовала лишь в теории: никто не обладал мощностями, необходимыми для выполнения этой задачи.
Несмотря на невозможность практической реализации, именно тогда были придуманы новые алгоритмы, в том числе сверточные и рекуррентные: сверточные используются для классификации изображений, а рекуррентные — для анализа текста и машинного перевода. В журналах того времени писали, что роботы вот-вот заменят человека, стартапы обещали небывалую прибыль бизнесу, но нейросети все равно считались идеей, которая работает только на бумаге.

К концу XX века алгоритмов стало больше, вычислительные машины научились делать более мощными и компактными, а кроме того, появились наборы данных для обучения. Желания ученых наконец стали осуществимы. Вскоре им удалось добиться успеха в распознавании речи, а затем и в области компьютерного зрения (подробнее об этом читайте в нашем материале «Смотри внимательно») — в 2012 году была опубликована знаковая статья, посвященная нейросети ImageNet и глубокому обучению. Читать всю статью - Зоопарк алгоритмов.Что такое нейросети и какими они бывают