Эпоха 1 · Истоки · 1949

2 Хеббовское обучение

The Organization of Behavior (книга) · Donald Hebb · Wiley

🟦 хватит конспекта~20–30 миноригинал ↗

Суть за 20 секунд. Первое правило обучения для нейросетей: связь усиливается, когда два нейрона активны одновременно. Локально, без учителя, биологически правдоподобно. Из этой одной идеи вырастают ассоциативная память (Хопфилд) и связь с анализом главных компонент.

Контекст

Нейрон Маккаллока–Питтса (1943) умел вычислять, но не учился — веса в нём фиксированы. Психолог Дональд Хебб ищет биологический механизм, объясняющий, как опыт меняет мозг. Его постулат станет краеугольным камнем теории обучения в нейросетях.

Идея и механизм

Постулат Хебба: если нейрон A систематически участвует в возбуждении нейрона B, связь A→B усиливается. В простейшей форме изменение веса пропорционально произведению активностей:

Δw_ij = η · x_i x_j

Правило локально (нужны только активности двух связанных нейронов, без глобального сигнала ошибки) и работает без учителя — сеть впитывает статистику корреляций входов. Хебб ввёл и клеточные ансамбли: группы совозбуждающихся нейронов «сшиваются» в устойчивый паттерн-носитель понятия.

линейная алгебра Почему чистый Хебб неустойчив — и как он связан с PCA

Возьмём линейный нейрон y = w·x и подставим его выход в правило Хебба Δw = η y x. Усредняя по данным:

E[Δw] = η · E[x(x·w)] = η · C w, где C = E[x x^⊤]

C — ковариационная матрица входов. Это степенная итерация: w растёт вдоль главного собственного вектора C — то есть направления максимальной дисперсии данных. Но норма w при этом неограниченно взрывается.

Лекарство — правило Оджи (1982), добавляющее нормирующий член:

Δw = η y (x − y w)

Теперь ‖w‖ → 1, и нейрон сходится к единичному главному собственному вектору — то есть вычисляет первую главную компоненту (PCA). Вывод: Хебб + нормировка = обучение представления, выделяющего главное направление в данных.

NumPy Реализация: правило Оджи → главная компонента

import numpy as np

def oja(X, eta=0.01, epochs=50):
    w = np.random.randn(X.shape[1]) * 0.01
    for _ in range(epochs):
        for x in X:
            y = w @ x                      # линейный нейрон
            w += eta * y * (x - y * w)     # Хебб + нормировка (Оджи)
    return w / np.linalg.norm(w)           # ≈ 1-я главная компонента X

Совместная активность усиливает связь A→B. Совозбуждающиеся нейроны сшиваются в клеточный ансамбль — устойчивый носитель памяти.

Аналогия. Тропинки в лесу: чем чаще по маршруту ходят, тем он протоптаннее и тем охотнее по нему идут снова. Хеббовское обучение — это «протаптывание» связей: пути, по которым сигналы ходят вместе, расширяются в магистрали. А правило Оджи — это лесник, который не даёт ни одной тропе разрастись до бесконечности.

Почему это важно

Это первое правило, по которому сеть меняет себя из опыта — переход от «нейрон как вентиль» к «нейрон как обучающийся элемент». Из него растут ассоциативная память Хопфилда (её веса задаются хеббовским правилом), самоорганизующиеся карты, и — на стороне биологии — долговременная потенциация (LTP), нейронный субстрат памяти. Слоган «cells that fire together, wire together» — поздний парафраз (~1992), но суть передаёт точно.

Связи

← опирается на1. Нейрон Маккаллока–Питтса

МП-нейрон даёт вычислительную единицу, но с фиксированными весами. Хебб добавляет к ней механизм пластичности — связи меняются сами. Вместе это первый образ «обучающейся сети»: вычисление (МП) плюс обучение (Хебб).

→ ведёт к6. Сеть Хопфилда

Хопфилд берёт хеббовское правило буквально: веса сети задаются суммой внешних произведений запоминаемых паттернов. Так абстрактный постулат превращается в работающую модель ассоциативной памяти с доказуемой динамикой.

↔ контраст3. Перцептрон

Два разных духа обучения. Хебб — без учителя: меняет веса по корреляции активностей, не зная «правильного ответа». Перцептрон — с учителем: двигает веса по сигналу ошибки относительно метки. Эта развилка (unsupervised vs supervised) проходит через всю историю ML.

Вопросы пытливого ума

Если правило только усиливает связи, почему сеть не «насыщается» — все веса в максимум?

Чистый Хебб действительно расходится — веса растут без предела (см. мат-блок). В реальных системах это лечат нормировкой (правило Оджи), латеральным торможением или конкуренцией между нейронами. В мозге за стабильность отвечает гомеостатическая пластичность — нейрон подстраивает общий уровень возбудимости, не давая связям убежать.

Хебб — обучение без учителя. Что именно сеть «выучивает», если ей не дают меток?

Статистику корреляций входов. Как показывает связь с PCA, хеббовский нейрон выделяет направление максимальной дисперсии — главную структуру данных. На уровне ансамблей это превращается в ассоциации: «что обычно встречается вместе». Меток нет — есть совместная встречаемость.

Это правда так, как учится мозг?

Ближе, чем backprop. Хеббовская пластичность имеет прямой нейронный коррелят — LTP/LTD (усиление/ослабление синапсов). Уточнённая версия, spike-timing-dependent plasticity, делает правило причинным: усиливается связь, если A срабатывает незадолго до B (а не просто одновременно). Так что «вместе» на самом деле означает «A, потом B».

Что читать в оригинале

Книга — нейропсихология середины века; ML-релевантна одна глава с постулатом. Достаточно конспекта. Если копать — смотрите идею клеточных ансамблей: она недооценённо современна.