Senior Data Engineer — Вопросы на собеседовании data engineer

Чем партиционирование отличается от шардирования?

Партиционирование делит таблицу внутри одной базы, чтобы движок мог пропускать ненужные куски; шардирование раскладывает данные по отдельным базам, каждая из которых держит подмножество. Партиционирование — инструмент производительности и обслуживания, шардирование — инструмент масштаба с реальной ценой: межшардовые запросы и транзакции становятся сложными или невозможными. Браться за шардирование до того, как исчерпаны партиционирование и индексы, — частая и дорогая ошибка.

Как обрабатывать эволюцию схемы, когда меняется источник?

Выбрав формат, который несёт схему и поддерживает эволюцию — Avro или Parquet с реестром схем, — и решив заранее, какие изменения совместимы: добавление необязательного поля обычно да, удаление или смена типа нет. Зона подготовки должна принимать новую форму, не роняя всю загрузку, а закладываться надо на тихое расширение типа, которое портит агрегаты ниже по потоку.

Как измерять и автоматизировать качество данных?

По названным измерениям — полнота, уникальность, валидность, своевременность, согласованность, — каждое выражено проверкой с порогом, а не ощущением. Автоматизация означает, что проверки идут частью конвейера и могут его остановить, потому что отчёт о качестве, который никто не читает, качеством не управляет. Пропускают обычно своевременность, а устаревшие данные, выглядящие корректно, вредят больше, чем явно отсутствующие.

Джоба, шедшая двадцать минут, теперь идёт четыре часа. Как искать причину?

Начать с того, что изменилось: объём данных, перекос, размер кластера или код. Затем смотреть на стадии — одна стадия, занимающая большую часть времени, обычно означает shuffle, а несколько задач, идущих намного дольше остальных, означают перекос. Перекос оказывается ответом чаще, чем ожидают, а лечится он подсолкой ключа, рассылкой малой стороны или перепартиционированием.

Что такое медальонная архитектура и какую проблему она решает?

Bronze держит сырые загруженные данные, silver — очищенные и приведённые, gold — агрегаты бизнес-уровня. Решает она то, что преобразования запутываются, когда каждый читает откуда удобно: со слоями происхождение читаемо, а плохую загрузку можно переработать из bronze, не обращаясь заново к источнику. Это соглашение, а не технология, и вся её ценность в том, чтобы её соблюдали.

Когда вы принимаете eventual consistency в платформе данных?

Почти всегда для аналитики, потому что дашборд, отстающий на минуту, ничего не меняет, а цена сильной согласованности в распределённом хранилище — доступность во время сетевого разделения. Не принимаете там, где решение ниже по потоку финансовое или регуляторное, или где две системы обязаны согласиться о числе в один момент. Важно, чтобы выбор был проговорён: неприятность в том, что о нём узнают во время аудита.