← Прорыв мыслитель 11 из 12 · вторая партия

Джеффри Хинтон

1947–

Главный урок

Идея может быть правильной задолго до того, как мир будет готов её оценить. Если данные подтверждают — держись, даже если никто не верит.

Когда

1970-е — PhD в Эдинбурге. Молодой учёный берётся за нейросети, когда вся индустрия от них отказалась после книги Минского «Perceptrons».

1986 — статья с Румельхартом и Уильямсом. Backpropagation становится известным. Кажется, что нейросети вернулись.

1990–2006 — вторая «зима». SVM, kernel methods, байесовские подходы доминируют. Хинтон остаётся в теме один — почти в одиночку.

2006 — «Deep Belief Nets». Хинтон показывает, что глубокие сети можно предобучать слой за слоем. Это размораживает тему.

2012 — AlexNet, написанный его студентами Крижевским и Суцкевером. В конкурсе ImageNet ошибка падает с 26% до 15% — впервые нейросеть обходит все остальные подходы.

2012–2018 — революция глубокого обучения. Компьютерное зрение, речь, NLP, игры — всё захватывают нейросети.

2018 — Turing Award (с Яном ЛеКуном и Йошуа Бенжио). «Крёстные отцы» глубокого обучения.

2023 — уходит из Google, чтобы свободно говорить об опасностях ИИ. «Я хочу сказать то, что считаю правильным, а не то, что Google хочет услышать».

Контекст

Семейная традиция думать о мышлении. Прадед — Джордж Буль, изобрёл булеву алгебру, основу всех компьютеров. Прабабушка — Мэри Эверест Буль, математик. Прадед по матери — Стэнли Джевонс, логик и экономист.

Внук Буля — это не случайность, а среда. Хинтон с детства рос среди людей, которые считали, что мышление можно формализовать.

Карнеги-Меллон → Торонто → Google Brain. 40 лет между первой статьёй и признанием. Это самый длинный разрыв в этой коллекции — и, возможно, самый поучительный.

Логическая цепочка

  1. Мозг — это сеть нейронов. Если хотим понять мышление, надо моделировать нейроны.
  2. В 1969 году Минский и Пейперт «опровергли» нейросети — показали, что однослойные не решают XOR. Индустрия ушла в символический ИИ.
  3. Хинтон верил: проблема не в идее, а в архитектуре. Нужны глубокие сети (много слоёв).
  4. Оставался один — работал над backpropagation и глубокими сетями 30 лет. Научные статьи, аспиранты, маленькие лаборатории. Без славы.
  5. 2006: нашёл способ предобучать сети слой за слоем (Deep Belief Networks). Сеть учится не сразу, а постепенно — каждый слой отдельно.
  6. 2012: студенты применили его идеи к GPU. Оказалось, что вычисления, которые раньше занимали месяцы, занимают дни.
  7. 2012–2018: глубокое обучение захватывает всё. Компьютерное зрение, речь, NLP, игры, генерация.
  8. 2023: Хинтон уходит из Google, чтобы предупреждать об опасностях того, что сам создал.

Как ему это удавалось

  • 30 лет держался за идею, когда все вокруг не верили. Это редкое качество — большинство учёных переключается на модные темы.
  • Не пошёл в индустрию раньше, чем идея была готова. Когда в 2012 всё взорвалось — у него уже было что показать.
  • Нашёл правильных учеников: Крижевский, Суцкевер, Салахутдинов. Они перевели его идеи на GPU и сделали практическими.
  • Признал риски своей работы, когда пришло время. Не прятался за «я просто учёный».
  • Семейная традиция: его прадед Джордж Буль изобрёл булеву алгебру — основу всех компьютеров. Внук Буля буквально завершил начатое.

Что отсюда можно взять

  • Если данные подтверждают твою идею — держись, даже если все не верят. Большинство «безумных» идей в момент появления казались безумными.
  • Иногда прорыв — это «правильная идея + правильные инструменты + правильный момент». Хинтон ждал 30 лет, пока появятся GPU.
  • Ищи учеников и коллег, которые усилят твою работу. Хинтон не написал AlexNet — это сделали его студенты. Но он создал среду, где это стало возможно.
  • Будь готов критически оценить то, что сам создал. Хинтон не закрывает глаза на риски ИИ.
  • Думай о последствиях своих инструментов. Тех, кто это делает, помнят и уважают.

Связанные