Топ вопросов с NLP собеседований: обучение LLM, prompt-engineering и alignment

На NLP/LLM собеседованиях часто проверяют не только знание архитектуры Transformer, но и понимание полного жизненного цикла современной LLM: как модель предобучается, почему обычная GPT-модель ещё не является удобным ассистентом, зачем нужен instruction tuning, как работает RLHF и что такое alignment, какие у него есть подводные камни.

В этой статье - чеклист по GPT-like моделям, prompt engineering, этапам обучения LLM и alignment. Это не полноценная лекция с нуля, а тренажёр перед техническим интервью: пройтись по ключевым определениям, увидеть типовые вопросы и закрыть пробелы в формулировках.

Содержание:

Краткая история развития LLM от GPT до ChatGPT

Техники промпт-инжениринга

Этапы обучения LLM

Alignment

Итоговый чеклист вопросов с собесов

Полезные материалы