Middle AI/ML Engineer — Питання на співбесіді AI/ML-інженера

Що спричиняє згасаючі й вибухові градієнти і як з цим боротися?

У глибокій мережі градієнти перемножуються через багато шарів під час backpropagation, і якщо ці множники стабільно менші за 1, градієнт до ранніх шарів прямує до нуля, а якщо більші за 1 — вибухає. З цим справляються активаціями родини ReLU, акуратною ініціалізацією ваг (Xavier, He), batch- чи layer-нормалізацією та residual-звʼязками — почасти тому ResNet і трансформери можна навчати набагато глибше за звичайні feedforward-мережі.

Що таке transfer learning і коли він допомагає?

Transfer learning бере модель, попередньо навчену на великому загальному датасеті, і адаптує її до меншої, вужчої задачі — або файнтюнінгом частини шарів, або використовуючи її як заморожений екстрактор ознак. Допомагає найбільше, коли власного датасету замало, щоб навчити хорошу модель з нуля, — а це більшість реальних проєктів, — бо попередньо навчена модель уже вивчила загальні ознаки на кшталт країв на зображеннях чи синтаксису, що переносяться між задачами.

Чим різняться CNN, RNN і трансформери за своїми сильними сторонами?

CNN використовують згорткові фільтри, що експлуатують просторову локальність, тому домінують у задачах із зображеннями. RNN обробляють послідовність крок за кроком, переносячи прихований стан уперед, що зробило їх стандартом для тексту й часових рядів, поки їхня послідовна природа не зробила навчання повільним і слабким на далеких залежностях. Трансформери обробляють усю послідовність паралельно через attention, що швидше навчається і краще справляється з далекими залежностями, — тому зараз вони домінують у NLP і дедалі частіше застосовуються у vision.

Опишіть типовий цикл навчання в PyTorch чи TensorFlow.

Завантажують батч, роблять forward pass для отримання передбачень, рахують loss відносно істинних значень, викликають backward для обчислення градієнтів через autograd, потім роблять крок оптимізатора для оновлення ваг і обнуляють градієнти перед наступним батчем. Навколо цього циклу зазвичай є валідація на відкладеному наборі кожну епоху, чекпоінтинг найкращої моделі і, як правило, планувальник learning rate, що знижує його в міру навчання.

Як ви підходите до підбору гіперпараметрів?

Grid search вичерпний, але дорогий і марнотратний, коли частина параметрів майже не впливає на результат. Random search часто знаходить хорошу конфігурацію швидше, бо не витрачає спроби на неважливі виміри. Інструменти на кшталт Optuna використовують баєсівську оптимізацію, активно обираючи наступну конфігурацію на основі минулих результатів, що сходиться швидше за обидва підходи — але справжня майстерність у тому, щоб спочатку звузити простір пошуку знанням предметної області, а не підбирати наосліп.