🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Как методичка из 1990-х объясняет устройство современных нейросетей
В старой методичке по линейной алгебре, посреди упражнений, есть фраза про химию. Молекула воды это вектор (2, 0, 1), молекула метана вектор (4, 1, 0). И дальше автор методички как ни в чём не бывало переходит к линейной зависимости векторов, будто записать вещество тремя числами самое обычное дело.
Сначала это выглядит как учебная вольность ради задачки. Но полчаса с карандашом над этой строчкой приводят к другой мысли. Методичка девяностых, задолго до всякого хайпа, случайно описала ровно тот приём, на котором сегодня стоят и предсказание структуры белка, и языковые модели. Тогда у него просто не было модного названия.