Middle Data Scientist — Preguntas de entrevista data scientist

Explica cómo elegirías features para un modelo de churn y evitarías el leakage.

Empieza por lo que es conocible en el momento de la predicción — un feature calculado a partir de datos que solo existen después del resultado (como "días desde que se abrió el email de cancelación", si ese email solo se envía después de que alguien ya decidió irse) filtra el label directamente al input y te da un modelo que se ve genial offline y falla en producción. Después de descartar el leakage, reduces la lista con conocimiento de dominio, correlación con el target, y algo como permutation importance, y luego revisas multicolinealidad entre los sobrevivientes en lugar de confiar en un solo score de importancia aislado.

¿Cómo funciona la cross-validation k-fold, y por qué no basta un solo split train/test?

Divides los datos en k folds, entrenas en k-1 de ellos y validas en el fold restante, luego rotas por todas las k combinaciones y promedias los resultados. Un solo split te da una estimación ruidosa que depende mucho de qué filas terminaron en el conjunto de test — un split afortunado o desafortunado puede hacer que un modelo mediocre luzca genial o que uno bueno luzca malo. La cross-validation intercambia más cómputo por una estimación mucho más estable de cómo generaliza el modelo, y es lo que usas para comparar modelos con honestidad antes de elegir uno.

¿Cómo diseñarías un A/B test para un cambio que sospechas tiene un efecto pequeño en una página de bajo tráfico?

Un efecto esperado pequeño con bajo tráfico es la peor combinación para la potencia estadística, así que el primer paso es verificar con la matemática si el test siquiera es factible en un plazo razonable, no diseñarlo y esperar lo mejor. Si no lo es, las opciones honestas son ampliar la población elegible, extender la duración, cambiar a una métrica más sensible (una métrica proxy continua en lugar de una conversión binaria), o aceptar un efecto mínimo detectable mayor y ser explícito en que efectos reales más pequeños pasarán desapercibidos.

¿Cuándo usarías una window function en vez de una subconsulta para calcular un total acumulado en SQL?

Una window function como SUM(amount) OVER (PARTITION BY customer_id ORDER BY order_date) calcula el total acumulado en un solo paso sin colapsar filas, y la mayoría de los planificadores de consultas la optimizan mucho mejor que la subconsulta correlacionada equivalente, que reescanea filas anteriores por cada fila de salida. El enfoque de subconsulta todavía aparece en codebases antiguos y en entrevistas como la respuesta "ingenua" — reconocer cuándo reemplazarlo es en sí mismo una señal de madurez en SQL.

Le muestras a un product manager un modelo con 92% de accuracy y quiere lanzarlo. ¿Qué revisas antes de aceptar?

Primero, el balance de clases — si el 92% de los datos es la clase mayoritaria, un modelo que siempre predice la clase mayoritaria también alcanza 92% de accuracy siendo inútil, así que precision, recall y una matriz de confusión por clase importan más que la accuracy sola. Segundo, si la métrica coincide con el costo de negocio real: para detección de fraude un falso negativo es caro y un falso positivo es una molestia menor, así que ajustarías el umbral hacia recall aunque cueste algo de accuracy bruta, y lo dirías explícitamente antes de que alguien lo lance.