Своя GPT-like LLM по WH40K с нуля. Часть 2: собираем трансформер
Привет, Хабр! Меня зовут Владимир, и это вторая часть цикла статей по написании и обучению небольшой decoder-only LLM с нуля. В первой части мы вытащили текст, обучили Byte-level BPE токенизатор и собрали pretrain-датасет. Теперь напишем сердце модели - трансформер.
Это отрывок статьи. Полную версию читайте на сайте источника по ссылке ниже.
Источник: Habr