Senior AI/ML Engineer — Вопросы на собеседовании AI/ML-инженера

Объясните KV-кэширование и квантование в инференсе LLM — почему они важны?

KV-кэш хранит векторы key и value, посчитанные для предыдущих токенов, так что генерация каждого нового токена требует attention только для этого одного нового токена вместо пересчёта всей последовательности — без этого авторегрессивная генерация была бы квадратично медленнее. Квантование снижает точность весов (например, с FP16 до INT8 или INT4), уменьшая потребление памяти и повышая пропускную способность, обменивая небольшую, обычно приемлемую потерю качества на значительное снижение стоимости serving. Именно эти два приёма делают экономически возможным обслуживание модели на 70 миллиардов параметров вообще.

Что такое RLHF и какую проблему он на самом деле решает?

RLHF (reinforcement learning from human feedback) берёт модель, уже обученную предсказывать следующий токен, и дополнительно настраивает её выдавать то, что люди действительно предпочитают, — обычно обучая reward-модель на сравнениях ответов людьми, а затем используя эту reward-модель для файнтюнинга политики алгоритмом вроде PPO. Он закрывает разрыв между "предсказывает правдоподобный текст" и "полезен, честен и следует инструкциям", который чистое предсказание следующего токена вообще не оптимизирует. Более новые подходы вроде DPO дают похожий результат без отдельной reward-модели и RL-цикла, поэтому команды всё чаще пропускают классический пайплайн RLHF.

Чем различаются data, model и pipeline parallelism и как выбирать между ними?

Data parallelism реплицирует всю модель на устройствах и делит батч — это просто, но требует, чтобы вся модель помещалась на одном устройстве. Model parallelism делит саму модель между устройствами, когда она слишком велика для одного: tensor parallelism делит отдельные слои, pipeline parallelism делит модель на стадии, обрабатываемые последовательно. На практике обучение большой модели использует все три сразу, и реальная инженерная задача — минимизировать накладные расходы на коммуникацию между устройствами, что и определяет реальную пропускную способность.

Как решить, строить ли на API фундаментальной модели, файнтюнить открытую модель или обучать с нуля?

Обучение с нуля почти никогда не оправдано вне горстки хорошо профинансированных лабораторий — стоимость данных и вычислений огромна, а получаемая базовая способность хуже уже существующей. Настоящий выбор — между API и self-hosted открытой моделью: API быстрее запустить и не нужно владеть инфраструктурой, но расходы растут линейно с использованием, и вы зависите от чужого аптайма и лимитов; self-hosted файнтюненная модель требует инженерных затрат заранее, но даёт контроль над данными, предсказуемую юнит-экономику на масштабе и независимость от изменений политики внешнего вендора. Чувствительность и объём данных обычно решают спор быстрее, чем чистое моделирование стоимости.

Как вы выбираете между файнтюнингом, retrieval-augmented generation (RAG) и одним лишь промпт-инжинирингом?

Начинают с промптинга — он дешевле всего в итерациях и часто закрывает 80% задачи, если проблема просто в лучших инструкциях или примерах. За RAG идут, когда модели нужны факты, на которых её не обучали или которые часто меняются: ретрив держит знания актуальными без переобучения и позволяет цитировать источники. Файнтюнинг нужен, чтобы привить устойчивый стиль, формат или специализированный навык, с которым базовая модель ошибается даже при хорошем промпте и контексте, — и это самый дорогой вариант в итерациях, потому что каждое изменение означает новый прогон обучения и оценку. Большинство продакшн-систем в итоге комбинируют RAG для фактов с слегка дообученной моделью для тона и формата, а не выбирают что-то одно.