Співбесіда AI/ML-інженера поєднує дві речі: класичну теорію машинного навчання — ту, яку питають біля дошки, — і сучасний стек навколо Python, PyTorch чи TensorFlow, а також дедалі частіше трансформери й LLM. Нижче питання, які ставлять найчастіше, кожне з еталонною відповіддю.
До кожного питання — еталонна відповідь, з якою можна порівняти свою.
Навчання з учителем іде на розмічених прикладах — є входи і правильні виходи, і модель вчиться зіставляти одне з іншим, як у класифікації чи регресії. Навчання без учителя працює без міток: модель сама шукає структуру в даних, як у кластеризації чи зменшенні розмірності. Навчання з підкріпленням — третя категорія, де агент вчиться на сигналах винагороди від власних дій, а не на фіксованому датасеті.
Перенавчання — це коли модель запам'ятовує тренувальні дані разом з шумом замість того, щоб вивчити закономірність, тому вона добре працює на train і погано на нових даних. З цим борються регуляризацією (L1/L2), dropout у нейромережах, збільшенням обсягу даних, раннім зупиненням або просто зменшенням моделі. Недонавчання — зворотна проблема: модель занадто проста, щоб вловити закономірність узагалі, і метрики погані і на train, і на validation.
На train модель навчається. Validation використовують у процесі розробки для підбору гіперпараметрів і вибору між моделями, не чіпаючи справжній відкладений набір. Test чіпають рівно один раз, наприкінці, щоб отримати число, якому можна довіряти — якщо підганяти модель під нього, воно перестає щось означати, і це помилка, яку досі трапляють у реальних пайплайнах.
Accuracy вводить в оману на незбалансованих даних — модель, що завжди передбачає "не шахрайство", дасть 99% accuracy на датасеті, де 99% транзакцій легітимні, і буде марною. Precision показує, скільки з передбачених позитивних були справді позитивними; recall — скільки з реально позитивних модель упіймала; F1 — їхнє гармонічне середнє, коли потрібне одне число. ROC-AUC зручний для порівняння моделей за всіма порогами водночас, але precision-recall криві чесніші на сильно незбалансованих класах.
Це алгоритм, що обчислює внесок кожної ваги нейромережі в помилку за допомогою ланцюгового правила, поширюючи градієнт функції втрат від вихідного шару до вхідного. Кожну вагу потім зсувають у напрямку, що зменшує втрати, з кроком, заданим learning rate. Жодної магії — це ефективно застосований матаналіз, що перевикористовує проміжні обчислення шар за шаром замість перерахунку з нуля.
Attention дозволяє кожному токену послідовності "дивитися" на всі інші токени і вирішувати, наскільки сильно їх враховувати при побудові власного представлення, замість суворо послідовної обробки, як у RNN. Self-attention рахує вектори query, key і value для кожного токена, і скалярний добуток query і key дає вагу уваги. Саме це дозволяє трансформерам паралельно моделювати далекі залежності і є головною причиною, чому вони витіснили RNN у більшості задач NLP.
Промптинг — включно з few-shot прикладами в контексті — швидше ітерується, не потребує інфраструктури навчання і добре працює, коли задача близька до того, що базова модель уже вміє. Файнтюнінг виправданий, коли потрібен надійний конкретний формат виводу, коли словник домену сильно відрізняється від даних загального навчання, або коли потрібно закріпити поведінку, яку промпт не може надійно гарантувати. На практиці більшість команд спочатку пробують промптинг і RAG і файнтюнять лише тоді, коли впираються в реальну стелю.
RAG дістає релевантні документи з векторної бази даних — зазвичай через подібність ембедингів — і підставляє їх у промпт, щоб модель відповідала, спираючись на цей контекст, а не лише на дані навчання. Це стандартне рішення проблеми галюцинацій на доменних чи швидкозмінних знаннях, бо оновити індекс набагато дешевше, ніж перенавчити модель. Плата за це — якість відповіді тепер сильно залежить від якості retrieval: невдала стратегія чанкінгу чи застарілий індекс ембедингів непомітно дає погані відповіді.
Відстежують розподіли передбачень, розподіли вхідних ознак і підсумкові реальні результати, коли вони стають відомі, порівнюючи їх з тим, що модель бачила під час навчання. Дрейф даних — це коли розподіл входів змінюється з часом: змінюється поведінка користувачів, відкривається новий ринок, перекалібровується датчик, — і модель, точна на момент навчання, поступово перестає бути точною з причин, не повʼязаних із самою моделлю. Упіймати це можна лише моніторячи входи, а не чекаючи, поки деградація стане помітною за метриками accuracy, — на той момент реальна шкода вже завдана.
На співбесіді ти говориш вголос під тиском. Кем поставить ті самі питання, оцінить кожну відповідь і покаже, що саме підтягнути.
Пройти інтерв'ю AI/ML Engineer →