Mistral выпустила Le Chonk — открытую модель на 1,05 трлн параметров

Le Chonk — мультимодальная MoE-модель на 1,05 трлн параметров, из которых при одном проходе активны 49 млрд. В модели также есть vision-энкодер на 1,6 млрд параметров.

Модель уже доступна в public preview через API. Полные веса Mistral обещает выпустить 27 октября.

Mistral делает ставку на агентное программирование, кибербезопасность, финансовые задачи, инженерные расчёты и работу с изображениями и технической документацией.