Data Science - собесы

🤔 Что такое градиентный спуск? Это оптимизационный алгоритм, который используется для минимизации функции потерь в задачах машинного обучения. Основная идея заключается в поиске минимального значения функции потерь путём итеративного движения в направлении наискорейшего убывания этой функции, что определяется градиентом (или производной) функции. 🚩Как это работает 🟠Определение функции потерь В контексте машинного обучения функция потерь оценивает, насколько хорошо модель предсказывает данные. Чем меньше значение функции потерь, тем лучше подгонка модели к данным. 🟠Вычисление градиента Градиент функции потерь — это вектор частных производных, который показывает направление наискорейшего роста функции. Для минимизации функции потерь нужно двигаться в противоположном направлении, т.е. по направлению наискорейшего убывания. 🟠Обновление параметров На каждом шаге параметры модели (например, веса в линейной регрессии) корректируются в направлении, противоположном градиенту, что осуществляется по формуле: 🟠Итерации Шаги 2 и 3 повторяются до тех пор, пока не будет достигнут критерий остановки, например, до достижения заданного числа итераций, минимального изменения функции потерь или минимального значения градиента. 🚩Вариации 🟠Стандартный градиентный спуск (Batch Gradient Descent) Градиент вычисляется на основе всех обучающих данных на каждом шаге, что обеспечивает точное направление к минимуму, но может быть вычислительно дорогостоящим на больших данных. 🟠Стохастический градиентный спуск (Stochastic Gradient Descent, SGD) Градиент вычисляется на основе одного случайно выбранного примера данных на каждом шаге, что делает процесс более быстрым, но увеличивает стохастичность движения к минимуму. 🟠Мини-пакетный градиентный спуск (Mini-batch Gradient Descent) Компромисс между двумя предыдущими подходами, градиент вычисляется для небольшого подмножества данных (мини-пакета). import numpy as np def gradient_descent(x, y, lr=0.01, epochs=100): m, b = 0.1, 0.1 # начальная инициализация параметров n = len(x) # количество данных for _ in range(epochs): f = y - (m*x + b) # Обновление m и b m -= lr * (-2 * x.dot(f).sum() / n) b -= lr * (-2 * f.sum() / n) return m, b # Демонстрация на простых данных x = np.array([1, 2, 3, 4, 5]) y = np.array([5, 7, 9, 11, 13]) m, b = gradient_descent(x, y) print("Наклон m:", m, "Пересечение b:", b) Ставь 👍 и забирай 📚 Базу знаний