Энтузиаст запустил GLM-5.2 на ноутбуке с 25 ГБ RAM: без дистилляции, но на скорости от 0,05 токена в секунду
Разработчик-одиночка под ником JustVugg представил Colibri — движок, который запускает открытую модель GLM-5.2 с 744 миллиардами параметров на обычном компьютере с 25 ГБ оперативной памяти. Для сравнения, даже 2-битный квант моделей этого семейства требует порядка 220 ГБ памяти. На момент написания текста проект собрал более двух тысяч звезд на GitHub. GLM-5.2 — флагманская открытая модель китайской Z.ai, веса опубликованы под лицензией MIT: 744 миллиарда параметров всего, из них около 40 миллиа