🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
🤔 Что такое метод максимизации правдоподобия ?
Метод максимизации правдоподобия (Maximum Likelihood Estimation, MLE) — это статистический метод для оценки параметров модели. Основная идея MLE заключается в выборе таких значений параметров, которые максимизируют функцию правдоподобия, то есть делают наблюдаемые данные наиболее вероятными при заданных параметрах модели.
🚩Основные концепции
🟠Правдоподобие (likelihood)
Правдоподобие — это вероятность наблюдаемых данных при заданных параметрах модели. Пусть \( \theta \) — вектор параметров модели, \( X = (x_1, x_2, \ldots, x_n) \) — наблюдаемые данные. Тогда функция правдоподобия \( L(\theta | X) \) — это вероятность получения этих данных при параметрах \( \theta \).
L(\theta | X) = P(X | \theta)
🟠Логарифм правдоподобия
Для удобства математических манипуляций часто используют логарифм функции правдоподобия, называемый логарифмическим правдоподобием (log-likelihood). Логарифм преобразует произведение вероятностей в сумму, что упрощает дифференцирование.
\ell(\theta | X) = \log L(\theta | X)
🟠Максимизация правдоподобия
Задача MLE состоит в нахождении такого значения параметров \( \hat{\theta} \), которое максимизирует функцию правдоподобия. Формально это выглядит как:
\hat{\theta} = \arg\max_{\theta} L(\theta | X) \quad \text{или} \quad \hat{\theta} = \arg\max_{\theta} \ell(\theta | X)
🟠Функция плотности вероятности нормального распределения
f(x | \mu, \sigma) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right)
🟠Функция правдоподобия для выборки \( X = (x_1, x_2, \ldots, x_n) \)
L(\mu, \sigma | X) = \prod_{i=1}^{n} f(x_i | \mu, \sigma)
🟠Логарифм функции правдоподобия
\ell(\mu, \sigma | X) = \sum_{i=1}^{n} \log f(x_i | \mu, \sigma)
🟠Подставив функцию плотности нормального распределения
\ell(\mu, \sigma | X) = -n \log(\sqrt{2\pi\sigma^2}) - \frac{1}{2\sigma^2} \sum_{i=1}^{n} (x_i - \mu)^2
🟠Максимизация логарифма правдоподобия
Найдем частные производные логарифма правдоподобия по \( \mu \) и \( \sigma \), приравняем их к нулю и решим систему уравнений.
import numpy as np
# Пример данных
data = np.array([2.1, 2.5, 3.6, 3.9, 4.2, 5.0])
# Оценка параметров нормального распределения с использованием MLE
mu_mle = np.mean(data)
sigma_mle = np.std(data, ddof=0)
print(f"Оценка среднего (mu) по MLE: {mu_mle}")
print(f"Оценка стандартного отклонения (sigma) по MLE: {sigma_mle}")
🚩Применение MLE в машинном обучении
🟠Линейная регрессия
В линейной регрессии параметры (коэффициенты) оцениваются с использованием метода наименьших квадратов, который эквивалентен максимизации правдоподобия при предположении нормального распределения ошибок.
🟠Логистическая регрессия
В логистической регрессии MLE используется для оценки коэффициентов, максимизируя логарифм функции правдоподобия для логистической функции.
Ставь 👍 и забирай 📚 Базу знаний