Mistral представили Large 4 «Le Chonk» на 1 трлн параметров

Французский стартап Mistral AI представил публичную preview-версию Mistral Large 4. Мультимодальная модель получила прозвище Le Chonk — «пухляш». Она уже доступна через API, а открытые веса компания обещает опубликовать в конце октября.

В анонсе размер модели округлён до 1 трлн параметров. Документация уточняет: у Large 4 архитектура Mixture-of-Experts, 1,05 трлн параметров всего и 49 млрд активных. Контекстное окно составляет 1 млн токенов, визуальный энкодер содержит 1,6 млрд параметров.