Собеседование дата-инженера сильно опирается на SQL и на то, переживут ли ваши пайплайны запуск дважды, с опозданием или не по порядку. Будут и вопросы по моделированию, где нет единственно верного ответа. Ниже — вопросы, которые задают чаще всего, каждый с эталонным ответом. Middle: более глубокое понимание, оптимизацию и реальные рабочие ситуации.
Строчные вроде CSV или Avro хранят запись целиком, что удобно для записи и чтения записей полностью. Колонковые вроде Parquet и ORC хранят вместе каждый столбец, поэтому запрос, трогающий три столбца из пятидесяти, читает только эти три. Колонковые к тому же куда лучше сжимаются, потому что в столбце лежат похожие значения. Плата — дорогая запись одной строки, поэтому колонковые для аналитики, а не для транзакций.
Идемпотентность означает, что второй запуск оставляет тот же результат, что и первый, — а это важно, потому что повторы случаются: от планировщика, от сбоя, от человека. Для вставки обычные ответы — merge или upsert по бизнес-ключу, удаление целевой партиции перед записью, либо уникальное ограничение, из-за которого дубль падает безвредно. Обычный INSERT в повторённой джобе молча удваивает данные.
В звезде измерения денормализованы в одиночные таблицы, присоединённые прямо к факту. В снежинке измерения нормализованы в дополнительные таблицы. Звезде нужно меньше соединений и она быстрее в запросах; снежинка экономит место и избегает аномалий обновления. Аналитика обычно выбирает звезду, потому что место дёшево, а время аналитика нет.
Трансформации — map, filter, join — строят план и не выполняют ничего. Действие — count, collect, write — запускает весь план. Ленивость позволяет оптимизатору увидеть всю цепочку и переставить её, протолкнув фильтры вниз и схлопнув шаги. Практическое следствие: замер времени трансформации не измеряет ничего, а ошибка, которую вы ждали на третьей строке, появляется на действии.
При узкой зависимости каждая входная партиция питает одну выходную — map или filter, вычислимые на том же узле, где лежат данные. Широкая требует данных из многих партиций, а значит shuffle по сети. Shuffle определяет время большинства джоб, поэтому groupBy или join — первое, куда смотрят, когда что-то медленно.
Когда одна сторона достаточно мала, чтобы поместиться в память каждого исполнителя, — таблица измерений против большой таблицы фактов. Её рассылка убирает shuffle целиком, а это обычно разница между минутами и часами. Ограничение — память: разошлёте слишком большое, и заплатит каждый исполнитель, поэтому порог лучше знать, а не угадывать.
CDC читает собственный журнал изменений исходной базы и передаёт вставки, обновления и удаления, а не перечитывает таблицу целиком. Применяют, когда таблица настолько велика, что полная перезаливка не влезает в окно, или когда нужны сами изменения — особенно удаления, которые сравнение полных снимков обнаруживает только по отсутствию.
На собеседовании ты говоришь вслух под давлением. Кем задаст эти же вопросы, оценит каждый ответ и покажет, что именно подтянуть.
Пройти интервью Middle Data Engineer →