Middle Data Engineer — Data-Engineer-Interviewfragen

Was ist der Unterschied zwischen zeilenorientierten und spaltenorientierten Formaten?

Zeilenformate wie CSV oder Avro speichern einen Datensatz zusammenhängend, was sich für das Schreiben und Lesen ganzer Datensätze eignet. Spaltenformate wie Parquet und ORC speichern jede Spalte zusammenhängend, sodass eine Abfrage, die drei von fünfzig Spalten anfasst, auch nur diese drei liest. Spaltenformate komprimieren zudem deutlich besser, weil eine Spalte ähnliche Werte enthält. Der Preis dafür ist, dass das Schreiben einer einzelnen Zeile teuer ist, weshalb Spaltenformate für Analytics gedacht sind und nicht für Transaktionen.

Was bedeutet es, dass ein Batch-Job idempotent ist, und wie machst du einen Insert idempotent?

Idempotent bedeutet, dass ein zweiter Lauf dasselbe Ergebnis hinterlässt wie der erste — wichtig, weil Wiederholungen vorkommen, sei es durch den Scheduler, einen Fehler oder einen Menschen. Für einen Insert sind die üblichen Antworten ein Merge oder Upsert über einen Business Key, das Löschen der Zielpartition vor dem Schreiben, oder ein Unique Constraint, der das Duplikat harmlos scheitern lässt. Ein einfaches INSERT in einem wiederholten Job verdoppelt die Daten stillschweigend.

Was ist der Unterschied zwischen einem Star- und einem Snowflake-Schema?

Im Star Schema sind Dimensionen in einzelne Tabellen denormalisiert, die direkt mit dem Fact gejoint werden. Im Snowflake Schema sind Dimensionen in weitere Tabellen normalisiert. Der Star braucht weniger Joins und ist schneller abzufragen; die Snowflake spart Speicherplatz und vermeidet Update-Anomalien. Analytics entscheidet sich meist für den Star, weil Speicherplatz billig ist und die Zeit der Analysten nicht.

Was ist Lazy Evaluation in Spark, und was ist der Unterschied zwischen einer Transformation und einer Action?

Transformationen — map, filter, join — bauen einen Plan auf und führen nichts aus. Eine Action — count, collect, write — löst den gesamten Plan aus. Lazy Evaluation erlaubt es dem Optimizer, die gesamte Kette zu sehen und umzuordnen, Filter nach unten zu schieben und Schritte zusammenzufassen. Die praktische Konsequenz: Die Zeit einer Transformation zu stoppen misst gar nichts, und der Fehler, den du in Zeile drei erwartet hast, taucht erst bei der Action auf.

Was ist der Unterschied zwischen einer wide und einer narrow Dependency, und warum ist das wichtig?

Bei einer narrow Dependency speist jede Eingabepartition genau eine Ausgabepartition — ein map oder filter, berechenbar auf dem Node, der die Daten hält. Eine wide Dependency braucht Daten aus vielen Partitionen, was einen Shuffle übers Netzwerk bedeutet. Shuffles dominieren die Laufzeit der meisten Jobs, weshalb ein groupBy oder join der erste Ort ist, an dem man nachschaut, wenn etwas langsam ist.

Wann würdest du einen Broadcast Join einsetzen?

Wenn eine Seite klein genug ist, um in den Speicher jedes Executors zu passen — eine Dimensionstabelle gegen eine große Faktentabelle. Sie zu broadcasten entfernt den Shuffle komplett, was oft den Unterschied zwischen Minuten und Stunden ausmacht. Die Grenze ist der Speicher: Broadcastest du etwas zu Großes, zahlt jeder Executor dafür, deshalb sollte man den Schwellenwert kennen statt zu raten.

Was ist Change Data Capture, und wann nutzt du es statt eines vollständigen Reloads?

CDC liest das eigene Change-Log der Quelldatenbank und streamt Inserts, Updates und Deletes, statt die gesamte Tabelle erneut zu lesen. Man nutzt es, wenn die Tabelle so groß ist, dass ein vollständiger Reload nicht ins Zeitfenster passt, oder wenn man die Änderungen selbst braucht — insbesondere Deletes, die ein Vergleich vollständiger Snapshots nur über ihre Abwesenheit erkennt.