Data Science - собесы

🤔 Сравни архитектуру RNN, CNN, трансформера Архитектуры RNN, CNN и Transformer используются в глубоком обучении для разных задач. Давайте разберём их принципы работы, различия и области применения. 🚩Рекуррентные нейронные сети (RNN) Используются для работы с последовательными данными (текст, аудио, временные ряды). В RNN выход предыдущего состояния влияет на следующее состояние. Сеть запоминает последовательность, так как передаёт скрытое состояние \( h_t \) на следующий шаг. В классической RNN проблема исчезающего градиента, из-за чего трудно обрабатывать длинные последовательности. 🟠LSTM (Long Short-Term Memory) добавляет механизмы управления памятью (forget, input, output gate). 🟠GRU (Gated Recurrent Unit) упрощённая версия LSTM, но работает быстрее. Машинный перевод (seq2seq) Анализ временных рядов Обнаружение аномалий Плохо работает с длинными зависимостями Не поддерживает параллельные вычисления 🚩Сверточные нейронные сети (CNN) Используются для обработки изображений и данных с пространственными зависимостями. Применяет фильтры (свёртки) к изображению, извлекая признаки. Главные слои: 🟠Слой свёртки (Convolutional Layer) извлекает особенности изображения. 🟠Слой активации (ReLU) добавляет нелинейность. 🟠Слой субдискретизации (Pooling) уменьшает размерность. 🟠Полносвязные слои (FC Layers) делают финальную классификацию. Компьютерное зрение Обнаружение объектов Анализ медицинских снимков Плохо работает с последовательностями и контекстными зависимостями Требует много данных и вычислительных ресурсов 🚩 Трансформеры (Transformers) Используются для работы с последовательностями, заменяя RNN. Основной механизм – Self-Attention, который позволяет учитывать все элементы последовательности одновременно. Encoder-Decoder архитектура: Encoder обрабатывает входные данные. Decoder генерирует выходную последовательность. Для обучения используется механизм внимания (Attention Mechanism). 🟠Self-Attention определяет, какие части входных данных важны. 🟠Position Encoding добавляет информацию о порядке слов. 🟠Feed Forward Layers обрабатывает признаки после self-attention. NLP: GPT, BERT, T5 Машинный перевод (Google Translate) Генерация текста и изображений (ChatGPT, DALL-E) Требуют много вычислительных ресурсов Плохо работают с короткими и табличными данными Ставь 👍 и забирай 📚 Базу знаний