🔒Открыть пост
и посмотреть медиа
и посмотреть медиа
Как искать расхождения?
Болезненная и довольная частая тема. Допустим, мы написали какой-то SQL-запрос, выгрузили по нему данные из БД и решили проверить, правильно ли всё сделано. Но внезапно выяснилось, что контрольные суммы по всей выгрузке и по изначальной таблице различаются.
🟠Значит, где-то есть ошибки, и надо их искать. Но как?
▶️Самый очевидный вариант - проверить дубликаты при джоинах. Делается это достаточно просто и возможно даже быстро:
SELECT id,
COUNT(*) AS cnt
FROM table
GROUP BY id
HAVING COUNT(*) > 1
▶️Может еще быть такое, что дубликатов при джоинах не возникло, зато какие-то id не включились в выгрузку. Или наоборот включились лишние. В этом случае могут помочь подзапросы:
SELECT * FROM table
WHERE id NOT IN
(SELECT id FROM query_result)
▶️Возможно, что с id вообще всё в порядке, но проблема не уходит. Тогда как вариант можно предложить группировать по какому-то признаку.
Например, если выгрузка представляет собой отчет за месяц в подробной детализации, то можно сгруппировать данные по дням. И каждый день сравнивать с тем же агрегированным днем в таблице. Если какие-то дни не совпадают, то уже распутывать и смотреть более детально, что же там не совпадает.
▶️Если в WHERE используется много условий, то можно проверять каждое условие по очереди, накопительно. Вполне возможно, что на каком-то этапе фильтрация работает неправильно.
Например, при WHERE col = cond_1 контрольные суммы совпадают, а при WHERE col = cond_1 AND cond_2 - уже нет.
▶️Еще нельзя исключать тот факт, что банально сама исходная таблица / витрина могла обновиться. Хоть это может казаться маловероятным, но проверить стоит - просто через время заново пересчитать контрольные суммы.