Middle AI/ML Engineer — Perguntas de entrevista para engenheiro de IA/ML

O que causa gradientes que desaparecem e explodem, e como lidar com isso?

Numa rede profunda, os gradientes são multiplicados entre si ao longo de várias camadas durante o backpropagation, então se esses fatores forem consistentemente menores que 1 o gradiente encolhe até quase zero ao chegar nas primeiras camadas, e se forem maiores que 1 ele explode. Ativações da família ReLU, inicialização cuidadosa dos pesos (Xavier, He), normalização batch ou layer, e conexões residuais tratam disso — em parte por isso ResNets e transformers podem ser treinados muito mais profundos que redes feedforward simples.

O que é transfer learning, e quando ele ajuda?

Transfer learning pega um modelo pré-treinado num dataset grande e geral e o adapta para uma tarefa menor e mais específica, seja fazendo fine-tuning de algumas camadas, seja usando-o como extrator de features congelado. Ajuda mais quando seu próprio dataset é pequeno demais para treinar um bom modelo do zero — que é a maioria dos projetos reais — porque o modelo pré-treinado já aprendeu características genéricas como bordas ou sintaxe que se transferem entre tarefas.

Em que CNNs, RNNs e transformers diferem naquilo que fazem bem?

CNNs usam filtros convolucionais que exploram localidade espacial, por isso dominam tarefas de imagem. RNNs processam sequências passo a passo, carregando um estado oculto adiante, o que os tornou o padrão para texto e séries temporais até sua natureza sequencial torná-los lentos para treinar e ruins com dependências de longo alcance. Transformers processam a sequência inteira em paralelo usando attention, o que é mais rápido de treinar e melhor com dependências de longo alcance, e por isso hoje dominam NLP e são cada vez mais usados em visão computacional também.

Descreva um loop de treinamento típico em PyTorch ou TensorFlow.

Carrega-se um batch, faz-se o forward pass para obter previsões, calcula-se a loss contra o ground truth, chama-se backward para calcular gradientes via autograd, depois dá-se um passo no optimizer para atualizar os pesos e zeram-se os gradientes antes do próximo batch. Em torno desse loop central fica a validação num conjunto separado a cada época, checkpointing do melhor modelo, e geralmente um scheduler de learning rate que a reduz conforme o treinamento avança.

Como você aborda o ajuste de hiperparâmetros?

Grid search é exaustivo, mas caro e desperdiça recursos quando alguns parâmetros quase não importam. Random search costuma achar uma boa configuração mais rápido porque não desperdiça tentativas em dimensões pouco importantes. Ferramentas como Optuna usam otimização bayesiana para escolher ativamente a próxima configuração com base em resultados passados, o que converge mais rápido que os dois — mas a verdadeira habilidade está em reduzir primeiro o espaço de busca usando conhecimento de domínio, em vez de ajustar às cegas.