Data Science - собесы

🤔 Как с помощью линейной модели понять какие фичи можно сразу откинуть? Использование линейной модели для выбора наиболее значимых признаков (фич) и отсеивания менее значимых может быть выполнено несколькими способами. Ниже я опишу наиболее популярные подходы: Анализ коэффициентов линейной модели: В линейной модели значимость признаков определяется величиной и знаком коэффициентов при этих признаках. Если коэффициент признака мал или близок к нулю, это может указывать на его низкую значимость. import numpy as np from sklearn.linear_model import LinearRegression # Пример данных X = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9], [10, 11, 12]]) y = np.array([1, 2, 3, 4]) # Создание и обучение линейной модели model = LinearRegression() model.fit(X, y) # Получение коэффициентов coefficients = model.coef_ print(f"Коэффициенты модели: {coefficients}") Интерпретация: 🟠Коэффициенты с малыми абсолютными значениями указывают на признаки, которые менее важны для модели. 🟠Признаки с большими абсолютными значениями коэффи­циентов считаются более важными. Регуляризация: Lasso (L1) и Ridge (L2): Методы регуляризации позволяют улучшить интерпретацию модели и выбрать значимые признаки: 🟠Lasso (L1): Принуждает некоторые коэффициенты быть равными нулю, эффективно отбирая признаки. 🟠Ridge (L2): Не отбирает признаки напрямую, но уменьшает влияние малозначимых признаков. from sklearn.linear_model import Lasso # Создание и обучение Lasso модели lasso = Lasso(alpha=0.1) # Параметр alpha контролирует силу регуляризации lasso.fit(X, y) # Получение коэффициентов coefficients = lasso.coef_ print(f"Коэффициенты Lasso модели: {coefficients}") Интерпретация: Коэффициенты, которые стали нулевыми после применения Lasso, указывают на признаки, которые можно отсеять. Методы оценки важности признаков (Feature Importance): Хотя это напрямую не относится к линейным моделям, такие методы как Random Forest или Gradient Boosting могут помочь оценить важность признаков. from sklearn.ensemble import RandomForestRegressor # Создание и обучение модели Random Forest model = RandomForestRegressor() model.fit(X, y) # Получение важности признаков importances = model.feature_importances_ print(f"Важность признаков: {importances}") Ставь 👍 и забирай 📚 Базу знаний