Data Science - собесы

🤔 Какие есть проблемы с batch norm ? Включают зависимость от размера батча, где маленькие батчи приводят к нестабильности статистик, неэффективность на малых данных или при невозможности разделить данные на большие батчи, ограничения при использовании в рекуррентных нейронных сетях (RNN), а также замедление обучения из-за дополнительных вычислений, требующих нормализации данных. 🚩Проблемы 🟠Зависимость от размера батча Batch Norm сильно зависит от размера батча. При маленьких размерах батча оценка среднего и стандартного отклонения становится менее точной, что может ухудшить производительность модели. В задачах, где использование больших батчей невозможно (например, из-за ограничений памяти GPU), Batch Norm может быть менее эффективным. 🟠Сложности при онлайн-обучении и малых батчах Batch Norm трудно применять в задачах онлайн-обучения или при использовании очень малых батчей, так как статистики, вычисленные на маленьких батчах, могут быть очень шумными и не репрезентативными. 🟠Неинвариантность к аугментация данных При использовании аугментации данных (например, горизонтальные перевороты изображений) статистики Batch Norm могут сильно варьироваться, что может приводить к нестабильности в обучении. 🟠Сложности с рекуррентными нейронными сетями (RNNs) Batch Norm плохо интегрируется с рекуррентными нейронными сетями (RNNs), так как каждый временной шаг зависит от предыдущих, и нормализация на уровне батча может нарушить временную корреляцию данных. 🟠Нестабильность при использовании с очень глубокими сетями В очень глубоких нейронных сетях использование Batch Norm может приводить к нестабильности и затруднениям при обучении. 🚩Альтернативы 🟠Layer Normalization (Layer Norm) Нормализует активации по каждому слою, а не по каждому батчу. Хорошо подходит для рекуррентных нейронных сетей. 🟠Instance Normalization (Instance Norm) Нормализует активации по каждому примеру в батче отдельно. Часто используется в задачах компьютерного зрения, таких как стилизация изображений. 🟠Group Normalization (Group Norm) Нормализует активации по группам каналов. Хорошо работает при небольших размерах батча и в задачах компьютерного зрения. 🟠Weight Normalization (Weight Norm) Нормализует веса нейронов, что уменьшает зависимость от размеров батча и улучшает сходимость. import numpy as np from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, LayerNormalization from tensorflow.keras.optimizers import Adam # Генерация данных np.random.seed(42) X = np.random.rand(1000, 10) y = np.dot(X, np.random.rand(10)) + np.random.rand(1000) * 0.1 # Создание модели с Layer Norm model = Sequential() model.add(Dense(64, input_dim=10, activation='relu')) model.add(LayerNormalization()) model.add(Dense(64, activation='relu')) model.add(LayerNormalization()) model.add(Dense(1, activation='linear')) # Компиляция модели model.compile(optimizer=Adam(learning_rate=0.001), loss='mse') # Обучение модели model.fit(X, y, epochs=50, batch_size=32, validation_split=0.2) 🚩Имеет ряд проблем 🟠Зависимость от размера батча Большие размеры батчей необходимы для точной оценки статистик. 🟠Сложности при онлайн-обучении и малых батчах Шумные статистики могут ухудшить производительность. 🟠Неинвариантность к аугментации данных Аугментация данных может вызвать нестабильность. 🟠Сложности с RNNs Batch Norm плохо сочетается с рекуррентными нейронными сетями. 🟠Нестабильность в очень глубоких сетях В очень глубоких сетях Batch Norm может быть нестабильным. Ставь 👍 и забирай 📚 Базу знаний