Встречайте Maple-Preview: 20B-A1B тернарная MoE-модель, которая выдает 218 токенов в секунду на CPU (Mac Mini M4). Это в несколько раз превышает показатели многих классических плотных или разреженных моделей сопоставимого класса.
На Hot Chips 2026 OpenAI и Broadcom впервые раскрыли цифры по Jalapeño — собственному ASIC компании для инференса. Заявка крупная: прирасти в 1,5–1,9 раз по пропускной способности и 1,7–3,6 по латентности против актуальных ускорителей, а на сценариях со сверхнизкой задержкой — до 4,1. Презентация прошла 25 августа, а вечером 26-го NVIDIA отчитывалась за квартал и конечно это не спроста. Детали разбираем внутри.
