🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
🤔 Что такое градиентное затухание?
Градиентное затухание (vanishing gradients) — это проблема, когда в глубоких нейросетях градиенты становятся очень малыми при обратном распространении.
Это мешает обновлению весов в начальных слоях, и обучение "замирает".
Чаще всего возникает в RNN и в сетях с плохой инициализацией или неподходящей функцией активации.
Ставь 👍 если знал ответ, 🔥 если нет
Забирай 📚 Базу знаний