Junior Data Engineer — Perguntas de entrevista Data Engineer

Qual é a diferença entre dados estruturados, semiestruturados e não estruturados?

Dados estruturados têm um schema fixo e vivem em linhas e colunas — uma tabela de banco de dados, um CSV. Semiestruturados carregam o próprio schema junto e variam de linha para linha — JSON, XML, Avro. Não estruturados não têm schema nenhum: texto, imagens, áudio. Essa distinção decide onde os dados podem ser armazenados e como são consultados, por isso um pipeline geralmente converte input semiestruturado em algo colunar antes que alguém o analise.

Qual é a diferença entre GROUP BY e PARTITION BY?

GROUP BY colapsa linhas — você obtém uma linha por grupo e perde o detalhe. PARTITION BY, usado com uma window function, mantém cada linha e calcula o agregado ao lado dela. Então se você quer cada pedido mais o total do cliente, PARTITION BY te dá os dois numa única passada; GROUP BY força um join de volta ao detalhe.

O que é uma window function e como ela se diferencia de um agregado?

Um agregado devolve um valor por grupo; uma window function devolve um valor por linha, calculado sobre uma janela de linhas relacionadas. ROW_NUMBER, RANK, LAG e um SUM acumulado são os mais comuns. ROW_NUMBER() OVER (PARTITION BY customer_id ORDER BY created_at DESC) numera os pedidos de cada cliente do mais novo para o mais velho, que é como você pega a última linha por grupo sem um self-join.

Qual é a diferença entre WHERE e HAVING?

WHERE filtra linhas antes de agrupar, HAVING filtra grupos depois. Então uma condição sobre uma coluna crua pertence ao WHERE e uma condição sobre um agregado pertence ao HAVING. Colocar um filtro simples de coluna no HAVING até funciona, mas faz o motor agrupar linhas que depois vai descartar, o que numa tabela grande é um custo real.

O que é um índice, e quando ele não ajuda?

Uma estrutura separada que permite ao motor achar linhas sem varrer a tabela toda. Não ajuda quando a consulta devolve a maior parte da tabela, porque uma varredura sequencial sai mais barato do que pular pelo índice; não ajuda se o filtro da consulta não bate com as colunas líderes de um índice composto; e custa a cada escrita, já que o índice precisa ser mantido.

Qual é a diferença entre um Data Lake e um Data Warehouse?

Um lake armazena dados crus na forma original e aplica o schema na leitura; um warehouse armazena dados modelados e limpos com um schema aplicado na escrita. O lake é mais barato e guarda tudo, inclusive coisas que ninguém decidiu ainda como usar. O warehouse é o que os analistas consultam. A maioria das empresas tem os dois, com o warehouse alimentado a partir do lake.

Qual é a diferença entre uma tabela fato e uma tabela de dimensão?

Uma tabela fato guarda os eventos mensuráveis — uma venda, um clique — com medidas numéricas e foreign keys. As tabelas de dimensão guardam o contexto descritivo para o qual essas chaves apontam: cliente, produto, data. Os fatos crescem constantemente e são estreitos; as dimensões são largas e mudam devagar. Confundir isso é o erro de modelagem mais comum, e aparece como consultas que ninguém consegue escrever.