Перейти к содержимому
SBER 295,53 ₽ 1,43% снижение за прошлую сессиюIMOEX 2 475,70 1,42% снижение за прошлую сессию
·Технологии·источник: TProger·1 мин

Проект smolmaxxing запустил модель на 80 млрд параметров на телефоне

Патч к llama.cpp подгружает экспертов MoE с флеш-памяти: 80B-модель выдаёт 2,6–3,1 токена в секунду на OnePlus Nord CE 2, а 16B работает на ТВ-приставке с 1 ГБ.

— Читать дальше «Проект smolmaxxing запустил модель на 80 млрд параметров на телефоне»

Отрывок из ленты источникаЧитать у источника: TProger

Проект smolmaxxing запустил модель на 80 млрд параметров на телефоне