Middle AI/ML Engineer — Вопросы на собеседовании AI/ML-инженера

Что вызывает затухающие и взрывающиеся градиенты и как с этим справляться?

В глубокой сети градиенты перемножаются через много слоёв во время backpropagation, и если эти множители стабильно меньше 1, градиент к ранним слоям стремится к нулю, а если больше 1 — взрывается. С этим справляются активациями семейства ReLU, аккуратной инициализацией весов (Xavier, He), batch- или layer-нормализацией и residual-связями — отчасти поэтому ResNet и трансформеры можно обучать намного глубже обычных feedforward-сетей.

Что такое transfer learning и когда он помогает?

Transfer learning берёт модель, предобученную на большом общем датасете, и адаптирует её к меньшей, более узкой задаче — либо файнтюнингом части слоёв, либо используя её как замороженный экстрактор признаков. Помогает больше всего, когда собственного датасета мало, чтобы обучить хорошую модель с нуля, — а это большинство реальных проектов, — потому что предобученная модель уже выучила общие признаки вроде границ на изображениях или синтаксиса, переносимые между задачами.

В чём разница между CNN, RNN и трансформерами по своим сильным сторонам?

CNN используют свёрточные фильтры, эксплуатирующие пространственную локальность, поэтому доминируют в задачах с изображениями. RNN обрабатывают последовательность шаг за шагом, перенося скрытое состояние вперёд, что сделало их стандартом для текста и временных рядов, пока их последовательная природа не сделала обучение медленным и слабым на дальних зависимостях. Трансформеры обрабатывают всю последовательность параллельно через attention, что быстрее обучается и лучше справляется с дальними зависимостями, — поэтому сейчас они доминируют в NLP и всё чаще применяются в vision.

Опишите типичный цикл обучения в PyTorch или TensorFlow.

Загружают батч, делают forward pass для получения предсказаний, считают loss относительно истинных значений, вызывают backward для вычисления градиентов через autograd, затем делают шаг оптимизатора для обновления весов и обнуляют градиенты перед следующим батчем. Вокруг этого цикла обычно есть валидация на отложенном наборе каждую эпоху, чекпоинтинг лучшей модели и, как правило, планировщик learning rate, снижающий его по мере обучения.

Как вы подходите к подбору гиперпараметров?

Grid search исчерпывающий, но дорогой и расточительный, когда часть параметров почти не влияет на результат. Random search часто находит хорошую конфигурацию быстрее, потому что не тратит попытки на неважные измерения. Инструменты вроде Optuna используют байесовскую оптимизацию, активно выбирая следующую конфигурацию на основе прошлых результатов, что сходится быстрее обоих подходов — но настоящее мастерство в том, чтобы сначала сузить пространство поиска знанием предметной области, а не подбирать вслепую.