Перейти к содержимому
SBER 286,53 ₽ 0,42% снижение за прошлую сессиюIMOEX 2 326,05 1,16% снижение
·Технологии·источник: Habr·1 мин

Сколько видеопамяти нужно LLM: считаем веса, KV-кэш и запас на одновременных пользователей

Вопрос «какая видеокарта нужна под модель N миллиардов параметров» обычно получает ответ «возьмите побольше». Но это можно посчитать на салфетке, и считать нужно не только веса модели: память чаще кончается из-за KV-кэша, когда к сервису приходит десяток пользователей с длинным контекстом. Две формулы, таблица для Llama 3.1 и Qwen2.5 и разбор трёх типовых сценариев.

Отрывок из ленты источникаЧитать у источника: Habr