Перейти к содержимому
SBER 286,53 ₽ 0,42% снижение за прошлую сессиюIMOEX 2 326,05 1,16% снижение за прошлую сессию
·Технологии·источник: Habr·1 мин

Языковая модель с нуля на одной RTX 4060: dpp-gpt 2.2 Pro (260M), претрейн, SFT и RL

Обучил с нуля языковую модель на 260M параметров на одной домашней видеокарте: претрейн на 31 млрд токенов, SFT и RL. Рассказываю, как она устроена, что умеет, где проигрывает Gemma и SmolLM2 и что не получилось.

Отрывок из ленты источникаЧитать у источника: Habr

Языковая модель с нуля на одной RTX 4060: dpp-gpt 2.2 Pro (260M), претрейн, SFT и RL