Перейти к содержимому
SBER 295,53 ₽ 1,43% снижение за прошлую сессиюIMOEX 2 475,70 1,42% снижение за прошлую сессию
·Технологии·источник: Habr·1 мин

Легкие LLM на CPU, часть 2: какую модель ставить на VPS без видеокарты

В первой части статьи я из любопытства проверил, какие бизнес-задачи могут решать легкие модели на недорогом VPS без видеокарты. В комментариях мне отсыпали критики, и часть ее, как водится, по делу. Так что продолжение отчасти написано в жанре работы над ошибками, и, чтобы понимать, что и почему я переделывал, лучше сначала обратиться к истокам.

Сказать по правде, я и сам хотел кое-что довести до ума: повторить тесты на сервере с 8 ГБ RAM, проверить российские модели покрупнее и т.д. Новый эксперимент я ставил с учетом ошибок и недоделок первой части. Цифры получились точнее и строже, а любопытных фактов, надеюсь, не меньше. На этом перейдем ближе к делу.

Отрывок из ленты источникаЧитать у источника: Habr

Легкие LLM на CPU, часть 2: какую модель ставить на VPS без видеокарты