🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
🤔 Расскажи о Gradient-boosted trees
Градиентный бустинг (Gradient Boosting) – это мощная техника машинного обучения, которая используется в задачах классификации и регрессии. Он строит последовательность деревьев решений, где каждое новое дерево исправляет ошибки предыдущих.
🚩Как работает градиентный бустинг?
Первое дерево делает предсказания (например, просто среднее значение таргета).
Считаются ошибки (остатки) между предсказанием и реальными значениями.
Следующее дерево обучается предсказывать эти ошибки.
Шаг 2 и 3 повторяются – каждое новое дерево учится уменьшать ошибку.
Итоговый ответ – сумма предсказаний всех деревьев, умноженная на коэффициент обучения.
F_{m}(x) = F_{m-1}(x) + \gamma \cdot h_m(x)
Где:
\( F_{m}(x) \) – предсказание на шаге \( m \)
\( h_m(x) \) – новое дерево, обученное на ошибках
\( \gamma \) – коэффициент обучения (learning rate), регулирует вклад каждого нового дерева
🚩Популярные реализации градиентного бустинга
🟠XGBoost
самый быстрый и популярный, поддерживает регуляризацию.
🟠LightGBM
быстрее XGBoost, строит деревья сверху вниз (leaf-wise).
🟠CatBoost
лучший для категориальных признаков, использует особые методы кодирования.
🚩Когда использовать градиентный бустинг?
Если важна высокая точность модели.
Если признаки имеют сложные нелинейные зависимости.
Если нужно предсказывать на табличных данных.
Не подходит, если данных мало – модель может переобучиться.
Требует тщательной настройки гиперпараметров.
Ставь 👍 и забирай 📚 Базу знаний