Перейти к содержимому
SBER 297,91 ₽ 0,22% снижение за прошлую сессиюIMOEX 2 470,81 1,25% снижение за прошлую сессию
·Технологии·источник: TProger·1 мин

Обновление vLLM 0.34 может сломать запуск: разбираем новые умолчания

В vLLM 0.34 удалён Model Runner V1 и нужен huggingface_hub 2.0; кэш MiniMax-M3 на H200 вырос с 433 до 672 тыс. токенов, но задержка может расти.

— Читать дальше «Обновление vLLM 0.34 может сломать запуск: разбираем новые умолчания»

Отрывок из ленты источникаЧитать у источника: TProger