habrGPT. Обучим LLM 0.5B с нуля на статьях Хабра с помощью nanochat от Карпатого. Обучение fp8 дома
Раскрученный проект nanochat обещает "за $100 обучите свой ChatGPT". В оригинале правда обучение на 8xH100 80Gb, но никто не мешает обучить его на домашнем более слабом железе. Попробуем обучить LLM с нуля на статьях Хабра, посмотреть хватит ли там материала, чтобы модель хотя бы смогла связать пару слов.