Data Science - собесы

🤔 Что такое метод максимизации правдоподобия ? Метод максимизации правдоподобия (Maximum Likelihood Estimation, MLE) — это статистический метод для оценки параметров модели. Основная идея MLE заключается в выборе таких значений параметров, которые максимизируют функцию правдоподобия, то есть делают наблюдаемые данные наиболее вероятными при заданных параметрах модели. 🚩Основные концепции 🟠Правдоподобие (likelihood) Правдоподобие — это вероятность наблюдаемых данных при заданных параметрах модели. Пусть \( \theta \) — вектор параметров модели, \( X = (x_1, x_2, \ldots, x_n) \) — наблюдаемые данные. Тогда функция правдоподобия \( L(\theta | X) \) — это вероятность получения этих данных при параметрах \( \theta \). L(\theta | X) = P(X | \theta) 🟠Логарифм правдоподобия Для удобства математических манипуляций часто используют логарифм функции правдоподобия, называемый логарифмическим правдоподобием (log-likelihood). Логарифм преобразует произведение вероятностей в сумму, что упрощает дифференцирование. \ell(\theta | X) = \log L(\theta | X) 🟠Максимизация правдоподобия Задача MLE состоит в нахождении такого значения параметров \( \hat{\theta} \), которое максимизирует функцию правдоподобия. Формально это выглядит как: \hat{\theta} = \arg\max_{\theta} L(\theta | X) \quad \text{или} \quad \hat{\theta} = \arg\max_{\theta} \ell(\theta | X) 🟠Функция плотности вероятности нормального распределения f(x | \mu, \sigma) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right) 🟠Функция правдоподобия для выборки \( X = (x_1, x_2, \ldots, x_n) \) L(\mu, \sigma | X) = \prod_{i=1}^{n} f(x_i | \mu, \sigma) 🟠Логарифм функции правдоподобия \ell(\mu, \sigma | X) = \sum_{i=1}^{n} \log f(x_i | \mu, \sigma) 🟠Подставив функцию плотности нормального распределения \ell(\mu, \sigma | X) = -n \log(\sqrt{2\pi\sigma^2}) - \frac{1}{2\sigma^2} \sum_{i=1}^{n} (x_i - \mu)^2 🟠Максимизация логарифма правдоподобия Найдем частные производные логарифма правдоподобия по \( \mu \) и \( \sigma \), приравняем их к нулю и решим систему уравнений. import numpy as np # Пример данных data = np.array([2.1, 2.5, 3.6, 3.9, 4.2, 5.0]) # Оценка параметров нормального распределения с использованием MLE mu_mle = np.mean(data) sigma_mle = np.std(data, ddof=0) print(f"Оценка среднего (mu) по MLE: {mu_mle}") print(f"Оценка стандартного отклонения (sigma) по MLE: {sigma_mle}") 🚩Применение MLE в машинном обучении 🟠Линейная регрессия В линейной регрессии параметры (коэффициенты) оцениваются с использованием метода наименьших квадратов, который эквивалентен максимизации правдоподобия при предположении нормального распределения ошибок. 🟠Логистическая регрессия В логистической регрессии MLE используется для оценки коэффициентов, максимизируя логарифм функции правдоподобия для логистической функции. Ставь 👍 и забирай 📚 Базу знаний