Data Science - interviews

🤔 Как градиент бустинг регрессор работает? Это мощный метод машинного обучения, использующийся для построения предсказательных моделей. Основная идея градиентного бустинга заключается в последовательном добавлении простых моделей (например, деревьев решений), так чтобы каждая последующая модель корректировала ошибки предыдущих. 🚩Как это работает 🟠Инициализация Модель начинает с простой начальной предсказательной модели, обычно с использованием среднего значения целевой переменной. 🟠Пошаговое обучение Для каждой модели в ансамбле вычисляется градиент функции потерь по отношению к предсказаниям текущей композитной модели. Градиент показывает направление наибольшего увеличения ошибки и используется для определения того, как должна измениться следующая модель, чтобы уменьшить ошибку. Следующая модель обучается, чтобы предсказывать отрицательный градиент (т.е., ошибку) предыдущих моделей. Эта модель затем добавляется к композитной модели с некоторым коэффициентом обучения (learning rate), который определяет степень влияния новой модели на общую модель. 🟠Повторение Этот процесс повторяется множество раз, и каждая новая модель улучшает предсказательные способности композитной модели, пока не будет достигнут критерий остановки или не будет добавлено заранее определенное количество моделей. from sklearn.ensemble import GradientBoostingRegressor from sklearn.datasets import make_regression from sklearn.model_selection import train_test_split Создание синтетических данных X, y = make_regression(n_samples=100, n_features=4, noise=0.1) Разделение данных на обучающую и тестовую выборки X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) Создание модели градиентного бустинга model = GradientBoostingRegressor(n_estimators=100, learning_rate=0.1, max_depth=3, random_state=42) Обучение модели model.fit(X_train, y_train) Оценка модели print("Точность модели на тестовых данных:", model.score(X_test, y_test)) Ставь 👍 и забирай 📚 Базу знаний