Middle AI/ML Engineer — KI/ML-Ingenieur Interviewfragen

Was verursacht verschwindende und explodierende Gradienten, und wie geht man damit um?

In einem tiefen Netz werden Gradienten während der Backpropagation über viele Schichten hinweg miteinander multipliziert; sind diese Faktoren durchgehend kleiner als 1, schrumpft der Gradient bis zu den frühen Schichten gegen null, sind sie größer als 1, explodiert er. ReLU-Aktivierungen, sorgfältige Gewichtsinitialisierung (Xavier, He), Batch- oder Layer-Normalisierung und Residual-Verbindungen adressieren das alle — teilweise deshalb lassen sich ResNets und Transformer so viel tiefer trainieren als einfache Feedforward-Netze.

Was ist Transfer Learning, und wann hilft es?

Transfer Learning nimmt ein Modell, das auf einem großen, allgemeinen Datensatz vortrainiert wurde, und passt es an eine kleinere, spezifischere Aufgabe an — entweder durch Fine-Tuning einzelner Schichten oder durch Nutzung als eingefrorenen Feature-Extraktor. Es hilft am meisten, wenn der eigene Datensatz zu klein ist, um ein gutes Modell von Grund auf zu trainieren — was auf die meisten realen Projekte zutrifft —, weil das vortrainierte Modell bereits generische Merkmale wie Kanten oder Syntax gelernt hat, die sich über Aufgaben hinweg übertragen lassen.

Worin unterscheiden sich CNNs, RNNs und Transformer in ihren Stärken?

CNNs nutzen Convolution-Filter, die räumliche Lokalität ausnutzen, weshalb sie bei Bildaufgaben dominieren. RNNs verarbeiten Sequenzen Schritt für Schritt und tragen einen versteckten Zustand weiter, was sie lange zum Standard für Text und Zeitreihen machte, bis ihre sequenzielle Natur das Training langsam und schwach bei weitreichenden Abhängigkeiten machte. Transformer verarbeiten die gesamte Sequenz parallel mittels Attention, was schneller trainiert und besser bei weitreichenden Abhängigkeiten ist — deshalb dominieren sie inzwischen NLP und werden zunehmend auch für Vision eingesetzt.

Beschreibe eine typische Trainingsschleife in PyTorch oder TensorFlow.

Man lädt einen Batch, führt den Forward-Pass aus, um Vorhersagen zu erhalten, berechnet den Loss gegenüber der Ground Truth, ruft backward auf, um Gradienten via Autograd zu berechnen, macht dann einen Schritt mit dem Optimizer, um die Gewichte zu aktualisieren, und setzt die Gradienten vor dem nächsten Batch zurück auf null. Um diese Kernschleife herum liegen üblicherweise Validierung auf einem Holdout-Set pro Epoche, Checkpointing des besten Modells und meist ein Learning-Rate-Scheduler, der die Rate im Trainingsverlauf reduziert.

Wie gehst du beim Hyperparameter-Tuning vor?

Grid Search ist erschöpfend, aber teuer und verschwenderisch, wenn manche Parameter kaum eine Rolle spielen. Random Search findet oft schneller eine gute Konfiguration, weil es keine Versuche auf unwichtigen Dimensionen verschwendet. Tools wie Optuna nutzen Bayes'sche Optimierung, um die nächste Konfiguration aktiv anhand vorheriger Ergebnisse zu wählen, was schneller konvergiert als beides — aber die eigentliche Kunst ist, den Suchraum vorher mit Domänenwissen einzugrenzen, statt blind zu tunen.