Проект smolmaxxing запустил модель на 80 млрд параметров на телефоне
Патч к llama.cpp подгружает экспертов MoE с флеш-памяти: 80B-модель выдаёт 2,6–3,1 токена в секунду на OnePlus Nord CE 2, а 16B работает на ТВ-приставке с 1 ГБ.
— Читать дальше «Проект smolmaxxing запустил модель на 80 млрд параметров на телефоне»
Отрывок из ленты источникаЧитать у источника: TProger
