[Перевод] Qwen3.8 Flash на RTX 4090. Лучше обычного 27В?
В одном из экспериментов Kwangju Shin запустил Qwen3.8-27B примерно со 100 токенами в секунду. Для ускорения использовалась DFlash2, технология спекулятивного декодирования, которая позволяет небольшой вспомогательной модели предлагать сразу несколько следующих токенов для проверки основной моделью.
После получения рабочего локального API автор решил проверить Qwen3.8-Flash-Next на том же компьютере. Интерес представляла возможность улучшить качество ответов без увеличения ожидания, сохранив при этом достаточно ресурсов для других приложений.
Конфигурация тестового ПК:
Отрывок из ленты источникаЧитать у источника: Habr
![[Перевод] Qwen3.8 Flash на RTX 4090. Лучше обычного 27В?](https://habrastorage.org/extt/be/23/87/be23875b1644619f2fec772351d5d427.png)