Junior Data Scientist — Питання на співбесіді data scientist

У чому різниця між статистикою генеральної сукупності та вибірки, і чому це змінює формули?

Статистика генеральної сукупності описує всіх, хто вас цікавить; вибіркова статистика оцінює її за підмножиною, і ця оцінка додає невизначеність, якої немає в параметра генеральної сукупності. Конкретно це проявляється в дисперсії: ділення на n-1 замість n для вибіркової дисперсії (поправка Бесселя) виправляє зміщення, яке інакше систематично занижувало б справжню дисперсію генеральної сукупності.

У чому різниця між кореляцією і причинністю простими словами?

Кореляція означає, що дві змінні рухаються разом; причинність означає, що одна породжує зміну в іншій. Продажі морозива й кількість утоплень корелюють, бо обидва зростають улітку в спеку, — жодне не спричиняє інше. Трактувати кореляцію як причинність без контрольованого порівняння чи правдоподібного механізму — найчастіша аналітична помилка джунів.

Як би ви зʼєднали дві таблиці в SQL і в чому різниця між INNER і LEFT JOIN?

INNER JOIN залишає лише рядки, що збіглися за ключем зʼєднання в обох таблицях; LEFT JOIN залишає кожен рядок лівої таблиці й підставляє NULL там, де збігу справа немає. Взяти INNER JOIN за замовчуванням, коли насправді потрібен LEFT JOIN, тихо губить рядки — клієнти без замовлень просто зникають замість того, щоб показатися з нулем, і це непомітно спотворює будь-яку агрегацію зверху.

Що каже нормальний розподіл і що ламає це припущення в реальних даних?

Нормальний розподіл симетричний відносно середнього, близько 68% значень потрапляють в одне стандартне відхилення й 95% — у два, і на ньому побудовані більшість класичних статистичних тестів. Реальні бізнес-дані часто не нормальні: виручка й тривалість сесії скошені праворуч із довгим хвостом, а кількість рідкісних подій підпорядковується радше розподілу Пуассона, тому розподіл перевіряють перш ніж вважати t-тест застосовним.

У чому різниця між `.loc` і `.iloc` у pandas?

.loc обирає за міткою — фактичним індексом чи іменем стовпця, а .iloc — за цілочисельною позицією незалежно від міток. Вони боляче розходяться після фільтрації чи сортування DataFrame, бо позиційний порядок більше не збігається з початковим індексом: .iloc[0] там дає перший рядок поточного зрізу, а не «індекс 0».

Що таке p-hacking і як випадково цим не зайнятися?

P-hacking — це прогін безлічі аналізів: різних метрик, різних зрізів даних, різних часових вікон, — поки один не перетне p < 0.05, і потім видача лише його так, ніби це був єдиний запланований тест. Це трапляється ненавмисно, коли перевіряють дашборд щодня і зупиняються, щойно метрика виглядає значущою. Лікується попередньою фіксацією того, що і коли вимірюватимете, до того як прийдуть дані, а не після.