Перейти к содержимому
SBER 298,63 ₽ 1,05% ростIMOEX 2 500,07 0,94% рост
·Технологии·источник: Habr·1 мин

[Перевод] Qwen3.8 Flash на RTX 4090. Лучше обычного 27В?

В одном из экспериментов Kwangju Shin запустил Qwen3.8-27B примерно со 100 токенами в секунду. Для ускорения использовалась DFlash2, технология спекулятивного декодирования, которая позволяет небольшой вспомогательной модели предлагать сразу несколько следующих токенов для проверки основной моделью.

После получения рабочего локального API автор решил проверить Qwen3.8-Flash-Next на том же компьютере. Интерес представляла возможность улучшить качество ответов без увеличения ожидания, сохранив при этом достаточно ресурсов для других приложений.

Конфигурация тестового ПК:

Отрывок из ленты источникаЧитать у источника: Habr

[Перевод] Qwen3.8 Flash на RTX 4090. Лучше обычного 27В?