Qwen показала Qwen3.8-Flash и раскрыла архитектуру будущего Qwen4
Alibaba представила Qwen3.8-Flash — мультимодальную MoE-модель с упором на высокую эффективность инференса и одновременно показала раннюю версию архитектуры, которая станет основой следующего поколения Qwen4. Основная модель содержит 125 млрд параметров, из которых на каждом токене активируется только около 6 млрд. Дополнительно используется 51 млрд параметров N-gram embeddings — отдельная таблица эмбеддингов, которая дополняет основную модель. Здесь важно различать размер основной MoE-модели и
