Middle AI/ML Engineer — Preguntas de entrevista de ingeniero de IA/ML

¿Qué causa los gradientes que desaparecen y explotan, y cómo se manejan?

En una red profunda, los gradientes se multiplican entre sí a través de muchas capas durante el backpropagation, así que si esos factores son consistentemente menores a 1 el gradiente se encoge hacia cero al llegar a las primeras capas, y si son mayores a 1 explota. Las activaciones tipo ReLU, una inicialización de pesos cuidadosa (Xavier, He), la normalización batch o layer, y las conexiones residuales abordan esto — en parte por eso ResNets y transformers se pueden entrenar mucho más profundos que las redes feedforward simples.

¿Qué es transfer learning y cuándo ayuda?

Transfer learning toma un modelo preentrenado en un dataset grande y general y lo adapta a una tarea más pequeña y específica, ya sea haciendo fine-tuning de algunas capas o usándolo como extractor de features congelado. Ayuda más cuando tu propio dataset es demasiado pequeño para entrenar un buen modelo desde cero — que es la mayoría de proyectos reales — porque el modelo preentrenado ya aprendió características genéricas como bordes o sintaxis que se transfieren entre tareas.

¿En qué se diferencian CNN, RNN y transformers en aquello para lo que son buenos?

Las CNN usan filtros convolucionales que explotan la localidad espacial, por eso dominan en tareas de imágenes. Los RNN procesan secuencias paso a paso y llevan un estado oculto hacia adelante, lo que los hizo el estándar para texto y series temporales hasta que su naturaleza secuencial los hizo lentos de entrenar y malos con dependencias de largo alcance. Los transformers procesan toda la secuencia en paralelo usando attention, lo que es más rápido de entrenar y mejor con dependencias de largo alcance, y por eso ahora dominan NLP y se usan cada vez más también en visión.

Describe un bucle de entrenamiento típico en PyTorch o TensorFlow.

Se carga un batch, se hace el forward pass para obtener predicciones, se calcula la loss contra el ground truth, se llama a backward para calcular gradientes vía autograd, luego se avanza el optimizer para actualizar los pesos y se ponen los gradientes en cero antes del siguiente batch. Alrededor de ese bucle central hay validación en un conjunto reservado cada época, checkpointing del mejor modelo, y normalmente un scheduler de learning rate que lo va reduciendo conforme avanza el entrenamiento.

¿Cómo abordas el ajuste de hiperparámetros?

Grid search es exhaustivo pero caro y desperdicia recursos cuando algunos parámetros apenas importan. Random search suele encontrar una buena configuración más rápido porque no desperdicia intentos en dimensiones poco importantes. Herramientas como Optuna usan optimización bayesiana para elegir activamente la siguiente configuración basándose en resultados pasados, lo que converge más rápido que ambos — pero la verdadera habilidad está en reducir primero el espacio de búsqueda con conocimiento del dominio, en vez de ajustar a ciegas.