Співбесіда дата-інженера сильно спирається на SQL і на те, чи переживуть ваші пайплайни запуск двічі, із запізненням або не по порядку. Будуть і питання з моделювання, де немає єдино правильної відповіді. Нижче — питання, які ставлять найчастіше, кожне з еталонною відповіддю. Middle: глибше розуміння, оптимізацію та реальні робочі ситуації.
Рядкові на кшталт CSV або Avro зберігають запис цілком, що зручно для запису й читання записів повністю. Колонкові на кшталт Parquet і ORC зберігають разом кожен стовпець, тому запит, що торкається трьох стовпців із пʼятдесяти, читає лише ці три. Колонкові до того ж набагато краще стискаються, бо в стовпці лежать схожі значення. Плата — дорогий запис одного рядка, тому колонкові для аналітики, а не для транзакцій.
Ідемпотентність означає, що другий запуск лишає той самий результат, що й перший, — а це важливо, бо повтори трапляються: від планувальника, від збою, від людини. Для вставки звичні відповіді — merge чи upsert за бізнес-ключем, видалення цільової партиції перед записом, або унікальне обмеження, через яке дубль падає безпечно. Звичайний INSERT у повтореній джобі мовчки подвоює дані.
У зірці виміри денормалізовані в одиничні таблиці, приєднані прямо до факту. У сніжинці виміри нормалізовані в додаткові таблиці. Зірці потрібно менше зʼєднань і вона швидша в запитах; сніжинка економить місце й уникає аномалій оновлення. Аналітика зазвичай обирає зірку, бо місце дешеве, а час аналітика ні.
Трансформації — map, filter, join — будують план і не виконують нічого. Дія — count, collect, write — запускає весь план. Лінивість дозволяє оптимізатору побачити весь ланцюг і переставити його, проштовхнувши фільтри вниз і схлопнувши кроки. Практичний наслідок: замір часу трансформації не вимірює нічого, а помилка, яку ви чекали на третьому рядку, зʼявляється на дії.
За вузької залежності кожна вхідна партиція живить одну вихідну — map чи filter, обчислювані на тому ж вузлі, де лежать дані. Широка потребує даних із багатьох партицій, а отже shuffle мережею. Shuffle визначає час більшості джоб, тому groupBy чи join — перше, куди дивляться, коли щось повільно.
Коли одна сторона достатньо мала, щоб уміститися в памʼять кожного виконавця, — таблиця вимірів проти великої таблиці фактів. Її розсилка прибирає shuffle цілком, а це зазвичай різниця між хвилинами і годинами. Обмеження — памʼять: розішлете завелике, і заплатить кожен виконавець, тому поріг краще знати, а не вгадувати.
CDC читає власний журнал змін вихідної бази і передає вставки, оновлення та видалення, а не перечитує таблицю цілком. Застосовують, коли таблиця настільки велика, що повне перезавантаження не влазить у вікно, або коли потрібні самі зміни — особливо видалення, які порівняння повних знімків виявляє лише за відсутністю.
На співбесіді ти говориш вголос під тиском. Кем поставить ті самі питання, оцінить кожну відповідь і покаже, що саме підтягнути.
Пройти інтерв'ю Middle Data Engineer →