Data Science - собесы

🤔 Какие лоссы ты знаешь? В машинном обучении (и особенно в глубоких нейронных сетях) лосс-функция (или функция потерь) используется для оценки того, насколько хорошо модель предсказывает результат. Лосс — это численное выражение ошибки, которое модель пытается минимизировать во время обучения. 🚩Лоссы для задач регрессии Эти функции используются, когда нужно предсказать непрерывное значение (например, цену дома). 🟠MSE (Mean Squared Error, Среднеквадратичная ошибка) MSE = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 Почему: Она штрафует большие ошибки сильнее (из-за квадрата), поэтому модель пытается минимизировать крупные отклонения. Недостаток: Чувствительна к выбросам, так как большие ошибки сильно влияют на результат. 🟠MAE (Mean Absolute Error, Средняя абсолютная ошибка) MAE = \frac{1}{n} \sum_{i=1}^n |y_i - \hat{y}_i| Почему: Она менее чувствительна к выбросам. Недостаток: Может быть сложнее оптимизировать, поскольку производная модуля недифференцируема в 0. 🟠Huber Loss Комбинация MSE и MAE. Менее чувствительна к выбросам, чем MSE. L_{\delta}(a) = \begin{cases} \frac{1}{2}(y_i - \hat{y}_i)^2 & \text{if } |y_i - \hat{y}_i| \leq \delta, \\ \delta \cdot |y_i - \hat{y}_i| - \frac{1}{2} \delta^2 & \text{otherwise.} \end{cases} 🚩Лоссы для задач классификации Эти функции подходят для задач, где нужно определить категорию (например, "кот" или "собака"). 🟠Binary Cross-Entropy (Логарифмическая потеря) Используется для бинарной классификации. BCE = - \frac{1}{n} \sum_{i=1}^n \big(y_i \log(\hat{y}_i) + (1-y_i) \log(1-\hat{y}_i)\big) Почему: Лосс сильнее штрафует уверенные, но неправильные предсказания. Пример: Вероятность принадлежности классу "1" предсказана как 0.99, но правильный класс — "0". 🟠Categorical Cross-Entropy (Кросс-энтропия) Для многоклассовой классификации: CCE = - \sum_{i=1}^n \sum_{j=1}^k y_{ij} \log(\hat{y}_{ij}) Почему: Учитывает все классы, штрафуя уверенные ошибки сильнее. 🟠Hinge Loss Применяется в задачах с методами опорных векторов (SVM). L = \max(0, 1 - y_i \cdot \hat{y}_i) Почему: Стимулирует модель делать более "уверенные" предсказания. 🚩Лоссы для задач сегментации или генерации 🟠Dice Loss: Используется для задач сегментации изображений. Dice = 1 - \frac{2 |A \cap B|}{|A| + |B|} Почему: Учитывает пересечение предсказанной области и истинной разметки. 🟠Perceptual Loss Используется в задачах генерации изображений, чтобы сравнивать "перцептивное" различие между изображениями, а не просто пиксели. 🚩Специфические лоссы 🟠KL Divergence (Дивергенция Кульбака-Лейблера) Измеряет, насколько распределение предсказаний модели отличается от целевого распределения. D_{KL}(P || Q) = \sum_{x} P(x) \log \frac{P(x)}{Q(x)} 🟠Triplet Loss Для задач, связанных с обучением эмбеддингов (например, в системах рекомендаций или в задачах поиска изображений). 🚩Пример реализации (MSE) import torch import torch.nn as nn # Предсказания модели y_pred = torch.tensor([2.5, 0.0, 2.0, 8.0]) # Истинные значения y_true = torch.tensor([3.0, -0.5, 2.0, 7.0]) # Среднеквадратичная ошибка loss_fn = nn.MSELoss() loss = loss_fn(y_pred, y_true) print(f"MSE Loss: {loss.item()}") Ставь 👍 и забирай 📚 Базу знаний