Перейти к содержимому
SBER 286,53 ₽ 0,42% снижение за прошлую сессиюIMOEX 2 326,05 1,16% снижение
·Технологии·источник: Habr·1 мин

Дообучаем Qwen 3.8 122B на 16 ГБ VRAM: SFT и DPO в Strata

Локальная Qwen 3.8 на 122 миллиарда параметров уже работает в Strata на видеокарте с 16 ГБ памяти и 64 ГБ ОЗУ, но в прикладных задачах всё равно привирает в числах, путает права доступа и сбивается с формата, когда одних промптов уже не хватает. Учить всю сеть на таком железе невозможно — зато можно заморозить все 48 основных слоёв, один раз пропустить обучающие диалоги через видеокарту и за минуту дообучить на обычном процессоре только выходной модуль размером 12,54 МиБ. Под катом — устройство этого узла, готовый скрипт для ваших данных с мгновенным откатом и проверка метода на реальном лабораторном агенте.

Как учить 122B-модель на процессоре

Отрывок из ленты источникаЧитать у источника: Habr

Дообучаем Qwen 3.8 122B на 16 ГБ VRAM: SFT и DPO в Strata