Data Science - собесы

🤔 Чем отличается берт от gpt? Это две популярные модели для обработки естественного языка, разработанные на основе архитектуры трансформеров. Хотя обе модели имеют общее происхождение, они разработаны для разных целей и обладают различными архитектурными особенностями. 🚩Основные отличия 🟠Архитектура BERT: Использует энкодерную часть трансформера. GPT: Использует декодерную часть трансформера. 🟠Направленность (Обучение контекста) BERT: Двунаправленный (bidirectional), то есть обучается, учитывая контекст как слева, так и справа от текущего слова. GPT: Однонаправленный (unidirectional), то есть обучается, учитывая только контекст слева направо (или наоборот). 🟠Цель обучения BERT: Обучается на задачах Masked Language Modeling (MLM) и Next Sentence Prediction (NSP). MLM: Некоторые слова в предложении заменяются на маскированные токены, и модель должна предсказать эти слова. NSP: Пара предложений используется для определения, идет ли одно предложение после другого. GPT: Обучается на задаче Language Modeling (LM). LM: Модель предсказывает следующее слово в предложении, учитывая предыдущие слова. 🟠Применение BERT: Лучше подходит для задач, требующих глубокого понимания контекста, таких как Named Entity Recognition (NER), Question Answering (QA) и текстовая классификация. GPT: Лучше подходит для генерации текста, диалоговых систем, создания контента и задач, где важно продолжение текста. 🚩Примеры задач и применения 🟠BERT BERT хорош для задач, где важно учитывать контекст с обеих сторон целевого слова. from transformers import BertTokenizer, BertForSequenceClassification from transformers import pipeline # Загрузка модели и токенизатора model_name = 'bert-base-uncased' tokenizer = BertTokenizer.from_pretrained(model_name) model = BertForSequenceClassification.from_pretrained(model_name) # Задача классификации текста nlp_pipeline = pipeline('sentiment-analysis', model=model, tokenizer=tokenizer) # Пример текста text = "BERT is a powerful model for natural language processing." # Анализ текста result = nlp_pipeline(text) print(result) 🟠GPT GPT хорош для задач, связанных с генерацией текста. from transformers import GPT2LMHeadModel, GPT2Tokenizer # Загрузка модели и токенизатора model_name = 'gpt2' tokenizer = GPT2Tokenizer.from_pretrained(model_name) model = GPT2LMHeadModel.from_pretrained(model_name) # Генерация текста input_text = "Once upon a time" input_ids = tokenizer.encode(input_text, return_tensors='pt') # Генерация продолжения текста output = model.generate(input_ids, max_length=50, num_return_sequences=1) # Декодирование и вывод текста generated_text = tokenizer.decode(output[0], skip_special_tokens=True) print(generated_text) Ставь 👍 и забирай 📚 Базу знаний