Data Science - собесы

🤔 Расскажи о Gradient-boosted trees Градиентный бустинг (Gradient Boosting) – это мощная техника машинного обучения, которая используется в задачах классификации и регрессии. Он строит последовательность деревьев решений, где каждое новое дерево исправляет ошибки предыдущих. 🚩Как работает градиентный бустинг? Первое дерево делает предсказания (например, просто среднее значение таргета). Считаются ошибки (остатки) между предсказанием и реальными значениями. Следующее дерево обучается предсказывать эти ошибки. Шаг 2 и 3 повторяются – каждое новое дерево учится уменьшать ошибку. Итоговый ответ – сумма предсказаний всех деревьев, умноженная на коэффициент обучения. F_{m}(x) = F_{m-1}(x) + \gamma \cdot h_m(x) Где: \( F_{m}(x) \) – предсказание на шаге \( m \) \( h_m(x) \) – новое дерево, обученное на ошибках \( \gamma \) – коэффициент обучения (learning rate), регулирует вклад каждого нового дерева 🚩Популярные реализации градиентного бустинга 🟠XGBoost самый быстрый и популярный, поддерживает регуляризацию. 🟠LightGBM быстрее XGBoost, строит деревья сверху вниз (leaf-wise). 🟠CatBoost лучший для категориальных признаков, использует особые методы кодирования. 🚩Когда использовать градиентный бустинг? Если важна высокая точность модели. Если признаки имеют сложные нелинейные зависимости. Если нужно предсказывать на табличных данных. Не подходит, если данных мало – модель может переобучиться. Требует тщательной настройки гиперпараметров. Ставь 👍 и забирай 📚 Базу знаний