Perguntas de entrevista data scientist

Quando você reportaria a mediana em vez da média?

Quando a distribuição é enviesada ou tem outliers que a média não sobrevive — renda, latência, tempo até a compra. Um salário de executivo ou uma única requisição de 30 segundos arrasta a média para um lugar onde nenhum dado típico realmente está, enquanto a mediana permanece onde está a maior parte dos dados. Na prática você reporta as duas coisas mais um percentil como p95, porque a diferença entre média e mediana já é informativa sobre o viés.

O que um p-value realmente significa, e qual é o erro mais comum na sua interpretação?

Um p-value é a probabilidade de observar dados tão extremos (ou mais) se a hipótese nula fosse verdadeira — não é a probabilidade de a hipótese nula ser verdadeira, nem a probabilidade de o resultado ser fruto do acaso. O erro comum trata p < 0,05 como "95% de confiança de que o efeito é real", o que confunde uma afirmação sobre os dados dado a hipótese com uma afirmação sobre a hipótese dado os dados. Essa confusão é exatamente o que impulsiona o p-hacking: rode testes suficientes e um deles vai cruzar 0,05 só por acaso.

O que um intervalo de confiança de 95% realmente diz?

Se você repetisse o processo de amostragem muitas vezes e construísse um intervalo da mesma forma a cada vez, 95% desses intervalos conteriam o parâmetro verdadeiro — é uma afirmação sobre o procedimento, não uma probabilidade de 95% de que este intervalo específico contenha o valor verdadeiro. Um intervalo largo é informação honesta: geralmente significa que a amostra é pequena demais para afirmar muita coisa, e uma estimativa pontual sem ele é um número fingindo mais certeza do que os dados sustentam.

Quando você recorre a uma window function em vez de GROUP BY em SQL?

GROUP BY colapsa linhas em uma por grupo, então você perde o detalhe no nível da linha. Uma window function como ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY created_at) calcula um valor sobre uma partição mas mantém cada linha — é isso que você precisa para "último pedido por cliente", totais acumulados, ou ranking dentro de um grupo. Recorrer a um self-join ou a uma subquery onde uma window function resolveria é o sinal clássico de quem aprendeu SQL antes de as window functions se tornarem comuns.

Como você decide entre uma abordagem de regressão e uma de classificação para a mesma pergunta de negócio?

Depende do que o target realmente é e de como o resultado será usado, não de qual modelo tem melhor desempenho isoladamente. "Esse usuário vai fazer churn em 30 dias" é naturalmente uma classificação com um limiar que você ajusta ao custo de negócio de falsos positivos versus falsos negativos; "quanta receita essa conta vai gerar" é uma regressão, e transformá-la em buckets descarta informação que o negócio geralmente quer. Às vezes a resposta honesta é modelar o target contínuo e derivar a classificação depois, o que evita fixar um limiar arbitrário dentro do próprio modelo.

Explique o trade-off entre viés e variância com um exemplo concreto.

Um modelo com viés alto — digamos, uma regressão linear em dados com curvatura real — underfitta: erra de forma consistente na mesma direção tanto no train quanto no test. Um modelo com variância alta — uma árvore de decisão profunda e não podada — overfitta: memoriza o ruído do treino e seu desempenho oscila muito entre train e test. Regularização, cross-validation e conjuntos de features mais simples trocam algum viés por uma redução real de variância, e o objetivo é o ponto onde o erro de test — não o de train — é minimizado.

Como você determina o tamanho da amostra antes de rodar um teste A/B?

Você precisa de quatro entradas: taxa de conversão base, o efeito mínimo detectável que vale a pena notar, poder estatístico (geralmente 80%) e nível de significância (geralmente 0,05). Efeitos menores e maior poder exigido demandam mais tráfego, por isso equipes que pulam essa etapa acabam rodando testes subdimensionados que não conseguem detectar um efeito real, ou rodando testes de meses para uma mudança pequena demais para importar. Um cálculo de poder antes do lançamento transforma "o teste não mostrou diferença" numa resposta real em vez de um dar de ombros.

Quais são as formas mais comuns de um teste A/B te dar uma resposta errada mesmo quando a estatística está correta?

Espiar os resultados e parar assim que parecem significativos infla a taxa de falsos positivos bem além de 5%, porque na prática você está rodando muitos testes implícitos ao longo do tempo. O sample ratio mismatch — quando a divisão real desvia do 50/50 pretendido — normalmente indica um bug na lógica de atribuição e invalida o resultado antes mesmo de você olhar para a métrica. Efeitos de novidade inflam ganhos de curto prazo que depois desaparecem, e efeitos de rede entre grupo de teste e controle (dois usuários do mesmo grafo social, um em cada braço) violam a independência que a estatística do teste assume.

Por que correlação não implica causalidade, e a quais ferramentas você recorre quando não pode rodar um experimento?

Duas variáveis podem se mover juntas porque uma causa a outra, porque uma terceira variável causa ambas (um confounder), ou por pura coincidência num dataset grande o suficiente. Quando a randomização não é possível, você recorre a designs quase-experimentais: difference-in-differences, regression discontinuity ao redor de um limiar, variáveis instrumentais, ou propensity score matching para aproximar uma comparação randomizada a partir de dados observacionais. Cada um deles se apoia numa suposição que você não consegue verificar totalmente, então a entrega honesta é a estimativa mais uma declaração clara do que a derrubaria.