Senior Data Engineer — Perguntas de entrevista Data Engineer

Qual é a diferença entre partitioning e sharding?

Partitioning divide uma tabela dentro de um banco de dados para que o motor possa pular chunks irrelevantes; sharding divide dados entre bancos de dados separados para que cada um tenha um subconjunto. Partitioning é uma ferramenta de performance e manutenção, sharding é uma ferramenta de escala com custo real — consultas e transações cross-shard ficam difíceis ou impossíveis. Recorrer a sharding antes de esgotar partitioning e indexação é um erro comum e caro.

Como você lida com evolução de schema quando a fonte muda?

Escolhendo um formato que carregue o schema e suporte evolução — Avro ou Parquet com um schema registry — e decidindo de antemão quais mudanças são compatíveis: adicionar um campo opcional geralmente é, remover ou mudar o tipo de um não é. A área de staging deveria aceitar a nova forma sem derrubar toda a carga, e o modo de falha para o qual você precisa projetar é um alargamento de tipo silencioso que corrompe os agregados downstream.

Como você mede e automatiza qualidade de dados?

Contra dimensões nomeadas — completude, unicidade, validade, oportunidade, consistência — cada uma expressa como uma checagem com um limiar, em vez de uma sensação. Automação significa que as checagens rodam como parte do pipeline e podem interrompê-lo, porque um relatório de qualidade que ninguém lê não é controle de qualidade. A que as pessoas costumam pular é a oportunidade, e dados obsoletos que parecem corretos causam mais dano do que dados que obviamente faltam.

Um job que costumava levar vinte minutos agora leva quatro horas. Como você descobre por quê?

Comece pelo que mudou: volume de dados, skew, tamanho do cluster, ou o código. Depois olhe a visão de stages — um stage tomando a maior parte do tempo geralmente significa um shuffle, e poucas tarefas levando muito mais tempo que as outras significa skew. Skew é a resposta mais vezes do que as pessoas esperam, e as correções são salgar a chave, fazer broadcast do lado pequeno, ou fazer repartitioning.

O que é a arquitetura medallion e que problema ela resolve?

Bronze tem os dados crus ingeridos, silver tem dados limpos e conformados, gold tem agregados em nível de negócio. O problema que ela resolve é que as transformações viram uma bagunça quando todo mundo lê de onde for conveniente — com camadas, a linhagem fica legível e uma carga ruim pode ser reprocessada a partir do bronze sem reingerir da fonte. É mais uma convenção do que uma tecnologia, e o valor dela está inteiramente em ela ser respeitada.

Quando você aceita consistência eventual numa plataforma de dados?

Quase sempre para analytics, porque um dashboard que está um minuto atrasado não muda nada, e o custo de consistência forte por um store distribuído é a disponibilidade durante uma partição. Você não aceita isso onde uma decisão downstream é financeira ou regulatória, ou onde dois sistemas precisam concordar num número no mesmo instante. A parte importante é que a escolha seja declarada, porque o modo de falha é descobrir isso durante uma auditoria.