Ciencia de los datos - entrevistas

🤔 Какой функционал оптимизируется в задаче линейной регрессии? Как записать это в векторной записи? Оптимизируется ошибка между предсказанными и фактическими значениями, минимизируя среднеквадратичное отклонение, что позволяет определить параметры модели. Ставь 👍 если знал ответ, 🔥 если нет Забирай 📚 Базу знаний

🤔 Что такое median? Это статистическая мера центральной тенденции, которая представляет собой значение, делящее упорядоченный набор данных на две равные части. То есть, половина значений набора данных будет меньше медианы, а другая половина – больше. В отличие от среднего значения (mean), медиана менее чувствительна к выбросам и экстремальным значениям, что делает её полезной в случае асимметричных распределений данных или данных с выбросами. 🚩Как вычислить 🟠Для нечетного количества наблюдений Если количество наблюдений (n) нечетное, медиана – это среднее значение в упорядоченном наборе данных. Пример: Набор данных: [3, 1, 4, 2, 5] Упорядоченный набор: [1, 2, 3, 4, 5] Медиана: 3 (среднее значение) 🟠Для четного количества наблюдений Если количество наблюдений (n) четное, медиана – это среднее арифметическое двух средних значений в упорядоченном наборе данных. Пример: Набор данных: [3, 1, 4, 2] Упорядоченный набор: [1, 2, 3, 4] Медиана: (2 + 3) / 2 = 2.5 🚩Плюсы ➕Устойчивость к выбросам Медиана менее подвержена влиянию экстремальных значений по сравнению со средним арифметическим. ➕Справедливое представление В случаях, когда данные имеют асимметричное распределение, медиана может лучше представлять центральную тенденцию, чем среднее арифметическое. 🚩Примеры применения 🟠Доходы населения В исследованиях доходов медиана часто используется вместо среднего, поскольку доходы могут быть сильно искажены очень высокими значениями. 🟠Недвижимость Для оценки средней стоимости жилья медиана является полезным показателем, так как она не подвержена влиянию чрезвычайно дорогих или дешевых объектов недвижимости. 🟠Медицина В медицинских исследованиях медиана может использоваться для описания типичных значений биологических показателей, таких как уровень холестерина или артериального давления, в группе пациентов. Пример вычисления медианы на Python import numpy as np Пример с нечетным количеством элементов data_odd = [3, 1, 4, 2, 5] median_odd = np.median(data_odd) print(f"Медиана для нечетного количества элементов: {median_odd}") Пример с четным количеством элементов data_even = [3, 1, 4, 2] median_even = np.median(data_even) print(f"Медиана для четного количества элементов: {median_even}") Ставь 👍 и забирай 📚 Базу знаний

🤔 Как обучается модель? Процесс обучения модели машинного обучения включает: 1. Предобработку данных – нормализация, удаление выбросов, кодирование категориальных признаков. 2. Выбор модели – линейная регрессия, дерево решений, нейросети и т. д. 3. Разделение данных – обучение (train), валидация (validation), тестирование (test). 4. Оптимизация параметров – подбор коэффициентов с помощью градиентного спуска или других методов. 5. Оценка качества – использование метрик (MSE, Accuracy, ROC-AUC). Модель обучается за счет минимизации функции потерь и корректировки параметров. Ставь 👍 если знал ответ, 🔥 если нет Забирай 📚 Базу знаний

🤔 Как избегают коллизии в хеш мапе ? Это ситуации, когда два ключа имеют один и тот же хеш-код и, следовательно, претендуют на одно и то же место в структуре данных. Управление коллизиями — важная часть дизайна хеш-таблиц, поскольку эффективность хеш-таблицы сильно зависит от того, насколько эффективно решается проблема коллизий. 🚩Открытая адресация (Open Addressing) Открытая адресация решает проблемы коллизий путем поиска другого места в хеш-таблице для элемента, вызвавшего коллизию. Существуют различные методы открытой адресации: 🟠Линейное пробирование При коллизии проверяется следующая ячейка таблицы. Если она занята, проверяется следующая и т.д., пока не будет найдена свободная ячейка. 🟠Квадратичное пробирование Используется квадратичная функция для вычисления смещения от исходной позиции при каждом шаге пробирования (например, 1, 4, 9, 16 и т.д.). 🟠Двойное хеширование Используются две хеш-функции для вычисления начального индекса и шага пробирования, чтобы найти свободную ячейку. 🚩Сцепление (Chaining) Это метод, при котором каждая ячейка хеш-таблицы содержит указатель на связный список (или другую структуру данных, такую как дерево), содержащий все элементы, которые были отображены в эту ячейку. При коллизии новый элемент просто добавляется в конец списка. Сцепление может обрабатывать неограниченное количество коллизий, хотя производительность может снизиться, если списки становятся слишком длинными. 🚩Рехеширование (Rehashing) Рехеширование предполагает использование дополнительных хеш-функций при коллизиях. Если первичная хеш-функция приводит к коллизии, применяется вторая хеш-функция, и так далее, пока не будет найдена свободная ячейка или не будут использованы все доступные хеш-функции. class HashTable: def __init__(self, size=10): self.size = size self.table = [[] for _ in range(size)] def hash_function(self, key): return hash(key) % self.size def insert(self, key, value): index = self.hash_function(key) for item in self.table[index]: if item[0] == key: item[1] = value return self.table[index].append([key, value]) def get(self, key): index = self.hash_function(key) for item in self.table[index]: if item[0] == key: return item[1] raise KeyError('Key not found') def remove(self, key): index = self.hash_function(key) for i, item in enumerate(self.table[index]): if item[0] == key: del self.table[index][i] return raise KeyError('Key not found') # Пример использования ht = HashTable() ht.insert("key1", "value1") ht.insert("key2", "value2") print(ht.get("key1")) # выводит "value1" ht.remove("key1") Ставь 👍 и забирай 📚 Базу знаний

🤔 Какие есть усовершенствования бинарной кросс-энтропии? Бинарную кросс-энтропию можно улучшать в зависимости от задачи: - С взвешиванием классов — если классы несбалансированы. - Focal Loss — фокусируется на трудных примерах, уменьшая вклад лёгких. - Label smoothing — снижает переуверенность модели, заменяя метки вроде 1/0 на 0.9/0.1. - Dice Loss / Jaccard Loss — используются в задачах сегментации, где важна форма, а не только точность пикселя. - Combo Loss — сочетание BCE с другими функциями (например, с Dice), чтобы уравновесить разные аспекты задачи. Ставь 👍 если знал ответ, 🔥 если нет Забирай 📚 Базу знаний

🤔 Как можно прогнозировать задержку рейсов для авиакомпании? Включает использование различных методов машинного обучения и анализа данных. Этот процесс требует сбора, обработки и анализа большого объема данных, а затем применения подходящих моделей для предсказания задержек. 🟠Сбор данных Сбор данных является первым и важнейшим шагом в прогнозировании задержек рейсов. Основные источники данных: Исторические данные о рейсах: время отправления и прибытия, плановое и фактическое время, длительность задержки. Метеорологические данные: погода в пункте отправления и прибытия, погодные условия на маршруте. Данные о самолете: тип самолета, возраст, количество рейсов в день. Данные о пассажирах: количество пассажиров, багаж. Данные о воздушном движении: загруженность аэропортов, маршруты. Данные о персонале: доступность экипажа, смены. 🟠Предобработка данных Очистка данных Заполнение пропусков: заполнение отсутствующих значений, например, средними значениями или медианой. Удаление выбросов: выявление и удаление аномальных значений. Преобразование данных Преобразование категориальных признаков: преобразование категориальных данных в числовые значения (например, One-Hot Encoding). Нормализация данных: приведение данных к единому масштабу. Фиче инжиниринг Создание новых признаков: например, время суток, день недели, сезонность. Агрегация данных: создание агрегированных признаков, таких как среднее время задержки для конкретного маршрута или аэропорта. 🟠Выбор модели и обучение Регрессия Линейная регрессия: простая модель для предсказания количественных значений. Логистическая регрессия: если задача заключается в предсказании факта задержки (да/нет). Решающие деревья и ансамбли Decision Tree: модель на основе дерева решений. Random Forest: ансамбль деревьев решений для улучшения точности и обобщающей способности. Gradient Boosting (XGBoost, LightGBM): модели градиентного бустинга, эффективные для сложных задач прогнозирования. Нейронные сети Многослойный персептрон (MLP): простая нейронная сеть. Recurrent Neural Networks (RNN): сети для обработки последовательных данных, например, временных рядов. Long Short-Term Memory (LSTM): улучшенная версия RNN для работы с длительными зависимостями во временных рядах. Ставь 👍 и забирай 📚 Базу знаний