Junior Data Scientist — Perguntas de entrevista data scientist

Qual é a diferença entre estatística populacional e amostral, e por que isso muda suas fórmulas?

Uma estatística populacional descreve todos que interessam a você; uma estatística amostral a estima a partir de um subconjunto, e essa estimativa adiciona incerteza que um parâmetro populacional não tem. Isso aparece concretamente na variância: dividir por n-1 em vez de n na variância amostral (correção de Bessel) corrige um viés que, de outra forma, subestimaria sistematicamente a verdadeira variância populacional.

Qual é a diferença entre correlação e causalidade, em termos simples?

Correlação significa que duas variáveis se movem juntas; causalidade significa que uma produz uma mudança na outra. Vendas de sorvete e mortes por afogamento correlacionam porque ambas sobem no calor do verão — nenhuma causa a outra. Tratar uma correlação como causal sem uma comparação controlada ou um mecanismo plausível é o erro analítico mais comum de analistas juniores.

Como você juntaria duas tabelas em SQL, e qual é a diferença entre INNER e LEFT JOIN?

INNER JOIN mantém só as linhas que combinam na chave de junção em ambas as tabelas; LEFT JOIN mantém cada linha da tabela da esquerda e preenche com NULL onde não há correspondência à direita. Escolher INNER JOIN por padrão quando na verdade você quer LEFT JOIN descarta linhas silenciosamente — clientes sem pedidos simplesmente desaparecem em vez de aparecer com zero, o que enviesa silenciosamente qualquer agregação construída em cima.

O que uma distribuição normal te diz, e o que quebra essa suposição em dados reais?

Uma distribuição normal é simétrica em torno da média, com cerca de 68% dos valores dentro de um desvio-padrão e 95% dentro de dois — ela fundamenta a maioria dos testes estatísticos clássicos. Dados reais de negócio muitas vezes não são normais: receita e duração de sessão são enviesados à direita com uma cauda longa, e contagens de eventos raros seguem mais um formato de Poisson, por isso você verifica a distribuição antes de assumir que um teste t é válido.

Qual é a diferença entre `.loc` e `.iloc` no pandas?

.loc seleciona por rótulo — o índice real ou nome da coluna —, enquanto .iloc seleciona por posição inteira, independentemente de quais são os rótulos. Eles divergem dolorosamente depois de filtrar ou ordenar um DataFrame, porque a ordem posicional já não corresponde ao índice original; usar .iloc[0] ali te dá a primeira linha da view atual, não "índice 0".

O que é p-hacking, e como você evita fazer isso sem querer?

P-hacking é rodar muitas análises — métricas diferentes, cortes diferentes dos dados, janelas de tempo diferentes — até uma cruzar p < 0,05, e então reportar só essa como se fosse o único teste planejado. Isso acontece sem querer quando você checa um dashboard todo dia e para no momento em que uma métrica parece significativa. A solução é pré-registrar o que você vai medir e quando vai olhar antes de os dados chegarem, não depois.