🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
🤔 Какие способы регурялизации сеточек знаешь?
Регуляризация нейросетей помогает избежать переобучения, улучшая их способность к обобщению. Рассмотрим основные методы:
🟠L1 и L2-регуляризация (Weight Decay)
Добавляют штраф за большие веса в функцию ошибки, предотвращая слишком сложные модели.
L1-регуляризация (Lasso, L1-norm)
Добавляет к функции ошибки сумму абсолютных значений весов:
Loss = Loss_{original} + \lambda \sum |w|
Заставляет веса стремиться к нулю, создавая разреженные модели (некоторые веса становятся 0).
L2-регуляризация (Ridge, L2-norm)
Добавляет сумму квадратов весов:
Loss = Loss_{original} + \lambda \sum w^2
Уменьшает значения весов, но не зануляет их полностью.
import torch.nn as nn
import torch.optim as optim
model = nn.Linear(10, 1)
optimizer = optim.SGD(model.parameters(), lr=0.01, weight_decay=0.001) # L2-регуляризация
🟠Dropout
Отключает случайные нейроны в процессе обучения, предотвращая их зависимость друг от друга. В каждом шаге обучения случайные нейроны "выключаются" с вероятностью p. В тестовом режиме нейроны работают в полную силу, но с весами, скорректированными на p.
import torch.nn as nn
class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
self.fc1 = nn.Linear(10, 50)
self.dropout = nn.Dropout(p=0.5) # Выключаем 50% нейронов
self.fc2 = nn.Linear(50, 1)
def forward(self, x):
x = self.fc1(x)
x = self.dropout(x)
x = self.fc2(x)
return x
🟠Batch Normalization
Нормализует входные данные каждого слоя, уменьшая зависимость от масштаба входных данных.
Ускоряет обучение
Снижает зависимость от начальных весов
Обладает небольшим регуляризационным эффектом
import torch.nn as nn
class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
self.fc1 = nn.Linear(10, 50)
self.bn1 = nn.BatchNorm1d(50) # Нормализация
self.fc2 = nn.Linear(50, 1)
def forward(self, x):
x = self.fc1(x)
x = self.bn1(x)
x = self.fc2(x)
return x
🟠Data Augmentation (для CV-задач)
Искусственное увеличение данных путём аугментаций (повороты, отражения, изменения яркости).
import torchvision.transforms as transforms
transform = transforms.Compose([
transforms.RandomHorizontalFlip(),
transforms.RandomRotation(10),
transforms.ColorJitter(brightness=0.2, contrast=0.2),
transforms.ToTensor()
])
🟠Early Stopping
Останавливает обучение, если валидационная ошибка перестаёт уменьшаться.
from torch.optim.lr_scheduler import ReduceLROnPlateau
scheduler = ReduceLROnPlateau(optimizer, mode='min', patience=5)
Ставь 👍 и забирай 📚 Базу знаний