← Прорыв мыслитель 10 из 12 · вторая партия

Юрген Шмидхубер

1963–

Главный урок

Идея может быть простой и при этом фундаментальной. LSTM — это «просто» способ учить на длинных последовательностях. Но именно это нужно для языка, музыки, истории.

Когда

1992 — PhD в Мюнхене, 29 лет. Идея: «учиться предсказывать следующий элемент последовательности». Звучит банально, но это фундамент всего обучения с временной структурой.

1997 — публикация LSTM (Long Short-Term Memory) с Зеппом Хохрайтером. Решает «проблему затухания градиента» — сеть теперь может помнить контекст на сотни шагов назад.

2000-е — LSTM остаётся нишевой технологией. Мир увлечён SVM, kernel methods, байесовскими подходами.

2014–2017 — LSTM захватывает NLP. Google Translate, распознавание речи, генерация текста — везде LSTM под капотом.

2017 — «Attention is All You Need» (Васвани и др. из Google). Трансформеры начинают заменять LSTM.

2020-е — LSTM всё ещё используется в задачах с ограниченными ресурсами, но уступил первенство трансформерам. Идея Шмидхубера пережила свою первую реализацию.

Контекст

С 15 лет хотел построить ИИ, более умный, чем он сам. Не метафорически — буквально сформулировал эту цель как подросток и не отступил.

Работал в Мюнхенском университете (TU Munich) и в IDSIA (Швейцария). Не уехал в Кремниевую долину — остался в Европе, когда вся индустрия уезжала. Это редкость, и она ему стоила славы, но не дала потерять фокус.

Известен жёсткой защитой приоритета. Иногда это выглядит чрезмерно, но без этого вклад Шмидхубера был бы забыт — он настоял, чтобы его имя помнили рядом с backpropagation и LSTM.

Логическая цепочка

  1. Интеллект — это способность учиться на опыте.
  2. Большая часть опыта — последовательности: текст, речь, видео, история, причинно-следственные цепочки.
  3. Чтобы учиться на последовательностях, нужна память — способность помнить далёкий контекст.
  4. Обычные нейросети «забывают» то, что было давно (проблема затухания градиента). Дальше 5–10 шагов — и сигнал теряется.
  5. LSTM добавляет «gate» — механизм, который решает, что помнить, а что забыть. Один дополнительный элемент, но он меняет всё.
  6. Это позволяет сети учиться на длинных последовательностях — предложениях, абзацах, часах музыки.
  7. В 2014–2017 LSTM — основа всех крупных NLP-систем. Перевод, распознавание речи, генерация текста — везде LSTM.
  8. Потом появились трансформеры (2017) — но они построены на тех же принципах. Без LSTM не было бы attention.

Как ему это удавалось

  • Сформулировал задачу в общем виде: «учиться на последовательностях». Не привязывался к конкретной области — говорил про текст, музыку, временные ряды одновременно.
  • Нашёл минимальное архитектурное решение (gate). Не перегружал архитектуру, добавил ровно столько, сколько нужно.
  • 20 лет ждал, пока индустрия дозреет. Не ушёл в маркетинг, не переключился на модные темы.
  • Не поехал в Silicon Valley. Остался в Европе, в маленькой лаборатории.
  • Жёстко отстаивал приоритет. Это раздражает, но без этого LSTM не носила бы его имени.

Что отсюда можно взять

  • Найди минимальную единицу, которая решает проблему. Gate — «просто» фильтр памяти. Но этот «просто» — фундамент.
  • Если идея работает — держись, даже если мейнстрим идёт в другую сторону.
  • 20 лет между изобретением и массовым применением — нормальный срок для фундаментальных идей. Не жди быстрой отдачи.
  • Последовательность — это всё: текст, код, музыка, история, причинно-следственные цепочки. Умение работать с ней — отдельный навык.
  • Можешь работать на фундаментальном уровне и не уезжать в модные локации. Глубина важнее видимости.

Связанные