Data analysis - DA SQL

Основное про Tableau Tableau — это довольно объемный и популярный инструмент для визуализации данных и бизнес-аналитики (BI). Он позволяет создавать интерактивные дашборды, отчеты и визуализации на основе данных из различных источников. 🟠Первое, что бросается в глаза - это его способность подключаться к огромному количеству различных источников данных для создания визуализаций. Он поддерживает такие источники, как: Excel, CSV, базы данных (Oracle, MySQL, PostgreSQL), облачные хранилища (Google BigQuery, Amazon Redshift, Snowflake), веб-API и другие. Подключение к разным источникам довольно простое и интуитивно понятное: к файлам подключение происходит просто через встроенное меню; для баз данных же надо знать название сервера, порт, название базы данных, юзернейм и пароль. 🟠Еще можно писать SQL запросы к БД через Tableau. Для этого, опять же, в интерфейсе существует Custom SQL - такая опция, которая открывает поле для написания SQL запроса. Выгрузку, которая получится из этого скрипта, естественно, можно визуализировать. 🟠Также стоит упомянуть, что Tableau совместим с Python. Интеграция происходит через TabPy. Очень полезно, когда нужна визуализация чего-то, что нужно рассчитать: прогнозирование, кластеризация, стат анализ и т.п. Перед написанием самого скрипта нужно заранее прописать в Tableau, что этот скрипт будет возвращать: SCRIPT_REAL - числа с запятой SCRIPT_INT - целые числа SCRIPT_STR - строки SCRIPT_BOOL - логические значения Подробнее про Python в Tableau напишу чуть позднее. 🟠Также в Tableau существует два основных режима работы с данными: Live (прямое подключение) и Extract (извлечение данных). В чем разница? ▶️Основной принцип Live состоит в том, что в этом режиме Tableau подключается к источнику данных и выполняет запросы к нему в реальном времени. Данные не сохраняются в Tableau, а извлекаются непосредственно из источника при каждом взаимодействии с визуализацией. Это полезно, если данные часто обновляются, либо данные слишком большие для извлечения, либо не предоставляется возможным выделить место для их хранения и т.п. Но при этом источник данных должен быть всегда доступен. ▶️Принцип Extract в том, что в этом режиме Tableau извлекает данные из источника и сохраняет их в локальном файле (формат .hyper). Этот файл хранится на вашем компьютере или на Tableau Server. Полезно, если сам источник данных работает медленно или вообще недоступен - тогда из локальной копии данные можно быстрее извлечь; либо если бывают ситуации, когда данные нужно предварительно обработать перед визуализацией. Из недостатков: нужно место для хранения файла; данные могут стать неактуальными; размер выборки в целом меньше, чем в Live. 🟠С помощью Tableau можно строить столбчатые диаграммы, линейные графики, круговые диаграммы, карты, таблицы... Но по большей части он полезен для создания дашбордов - интерактивных страниц, на которых объединены несколько визуализаций. Также удобной фишкой является то, что дашбордами можно делиться и использовать их совместно. Одна из проблем, с которой вы, скорее всего, будете сталкиваться - оптимизация дашбордов. Что делать, чтобы они не тормозили? ▶️В случае, если данные обновляются нечасто, лучше будет использовать режим Extract ▶️По возможности выборку надо делать как можно меньше (как и с уменьшением самих данных, так и с помощью агрегации) ▶️Еще поможет упрощение самой визуализации: чем меньше элементов и чем более подходящий формат (например, не надо использовать графики там, где нужна гистограмма) - тем лучше ▶️Немаловажным будет еще и оптимизация SQL-запросов (если источник данных - БД). Чем проще - тем лучше. Промежуточные вычисления также можно кэшировать с помощью Extract.