Junior Data Engineer — Вопросы на собеседовании data engineer

Чем структурированные данные отличаются от слабоструктурированных и неструктурированных?

Структурированные имеют фиксированную схему и живут в строках и столбцах — таблица базы, CSV. Слабоструктурированные несут схему с собой и меняются от записи к записи — JSON, XML, Avro. Неструктурированные схемы не имеют вовсе: текст, изображения, звук. Различие определяет, где их можно хранить и как запрашивать, поэтому конвейер обычно переводит слабоструктурированный вход в колонковый формат до того, как его кто-то анализирует.

Чем GROUP BY отличается от PARTITION BY?

GROUP BY схлопывает строки: вы получаете одну строку на группу и теряете детализацию. PARTITION BY внутри оконной функции сохраняет каждую строку и считает агрегат рядом с ней. Поэтому если нужен каждый заказ плюс сумма по клиенту, PARTITION BY даёт и то и другое за один проход, а GROUP BY заставляет присоединяться обратно к детализации.

Что такое оконная функция и чем она отличается от агрегатной?

Агрегатная возвращает одно значение на группу; оконная возвращает значение для каждой строки, вычисленное по окну связанных строк. Обычные — ROW_NUMBER, RANK, LAG и накопительная SUM. Запрос ROW_NUMBER() OVER (PARTITION BY customer_id ORDER BY created_at DESC) нумерует заказы каждого клиента от свежего, и так берут последнюю строку в группе без самосоединения.

Чем WHERE отличается от HAVING?

WHERE фильтрует строки до группировки, HAVING фильтрует группы после. Поэтому условие на обычный столбец место в WHERE, а условие на агрегат — в HAVING. Фильтр по обычному столбцу в HAVING сработает, но заставит движок сгруппировать строки, которые он потом выбросит, и на большой таблице это настоящие затраты.

Что такое индекс и когда он не помогает?

Отдельная структура, позволяющая движку находить строки, не сканируя таблицу. Не помогает, когда запрос возвращает большую часть таблицы — последовательное чтение дешевле прыжков по индексу; не помогает, если фильтр не совпадает с ведущими столбцами составного индекса; и он стоит на каждой записи, потому что его надо поддерживать.

Чем Data Lake отличается от Data Warehouse?

Озеро хранит сырые данные в исходном виде и применяет схему при чтении; хранилище хранит смоделированные и очищенные данные со схемой, применённой при записи. Озеро дешевле и держит всё, включая то, о чьём использовании ещё не решили. Хранилище — то, что запрашивают аналитики. У большинства компаний есть оба, и хранилище питается из озера.

Чем таблица фактов отличается от таблицы измерений?

Таблица фактов хранит измеримые события — продажу, клик — с числовыми мерами и внешними ключами. Таблицы измерений хранят описательный контекст, на который эти ключи указывают: клиент, товар, дата. Факты постоянно растут и узкие, измерения широкие и меняются медленно. Перепутать их — самая частая ошибка моделирования, и проявляется она запросами, которые никто не может написать.