Перейти к содержимому
SBER 295,57 ₽ 1,42% снижениеIMOEX 2 475,70 1,42% снижение за прошлую сессию
·Технологии·источник: Habr·1 мин

Независимые как понятия, зависимые как операции: параметры семплирования в LLM-инференсе

Инфраструктура вывода больших языковых моделей традиционно оптимизируется по пропускной способности и задержке: KV-кэш, CUDA-графы, батчинг, квантизация, параллелизм. Эти компоненты формируют «скелет» системы и задают её предельные характеристики. Однако на периферии внимания нередко остаётся слой, определяющий не скорость, а качество - параметры семплирования, то есть правила выбора следующего токена из распределения логитов на каждом шаге декодирования.

Отрывок из ленты источникаЧитать у источника: Habr

Независимые как понятия, зависимые как операции: параметры семплирования в LLM-инференсе